吕家入晋后仕途并不显达，但其靠山强横，故而才能在河东繁盛之地立足。
想当年吕虔担任徐州刺史的时候，用琅琊名士王祥为别驾，极为器重，后得一刀，工匠相之，说配此刀者必登三公之位，吕虔就以之相赠王祥，对他说：“苟非其人，刀或为害。卿有公辅之量，故以相与。”王祥反复推辞，吕虔强之使受。后来王祥临终之时，又将此刀传于其弟王览，说：“汝后必兴，足称此刀。”
因此琅琊王氏的发迹，就中任城吕氏实有助力，王氏既得显达，便即多方关照吕氏——有了琅琊王氏做靠山，则河东虽富，吕氏亦可安居。只可惜其后不久，天下大乱，随即胡汉创建，整个河东郡全都失陷了。吕鹄乃闭门谢客，筑坞自保，并戒子弟不得仕胡。
因而韦忠想要经营蒲坂，将此处作为刘粲西征关中新的后方基地，是不能不跟地头蛇吕氏打交道的。不过此前他多次请求与吕鹄相见，都遭婉拒，此番通过解县柳氏兄弟关说、再请，吕鹄终于松了口，才请韦忠至其坞中一晤。
韦忠想要去见吕鹄，属吏都云不可，说那吕老头素来对朝命阳奉阴违，其心叵测，大将军此去，恐有不测之祸。韦子节昂然道：“我为国家，生死不避，岂惧祸患？！”随即又耐心向属吏解释，说有柳氏兄弟缓颊，吕鹄就算最终不肯合作，也必不敢拿我如何，况且他一行将就木的老朽，岂有叛反的胆量啊？
属吏说既然如此，您多带兵马去吧。韦忠摇摇头，说：“若盛陈兵马，反使吕鹄疑我有相攻之意，不敢相见；况河东兵本不多，即出四五千，亦难攻克吕氏坞堡，何如我孤身前往，以大义说之，必教吕鹄拱手臣服。”
他仗着一腔凛然正气，仅仅带了部曲十数人，就直奔了吕氏坞堡。吕家倒是挺客气，开门相迎，并且摆下酒宴，吕鹄亲坐主位，款待韦忠。
韦忠还是头一回见到这位河东耆老，细一打量，就见吕鹄六七十岁年纪，长相甚丑，一张脸跟风干菊皮一般，头发、胡子稀稀拉拉的，都快要掉光了。老头儿气色很糟糕，是被两名美婢搀扶着入座的，倚着靠几，喘了好一阵子的粗气，才哆哆嗦嗦端起酒盏来，朝向韦忠：“且、且为韦大将军寿。”
韦忠也端起盏来，却道：“我等当为天子寿。”
吕鹄点头道：“也好，也好……”将酒盏略略沾唇，以示饮过，随即就问：“小老无福觐见，不知当今天子，何如人也？”
韦忠饮尽盏中酒水，笑着回答说：“天子人中龙也，得天顾命，聪明勤谨，智勇为一时之冠……”
吕鹄略略一皱眉头，以手抚耳，打断了韦忠的话：“小老耳聋，听不分明，大将军适才云，天子勤谨，不知所言是哪位天子啊？”
韦忠正色道：“自然是我皇汉麒嘉天子。天无二日，国无二君，岂有他哉？！”
吕鹄撇嘴笑笑：“大将军此言，与传言不甚相合啊……都云汉天子自破洛阳以来，沉溺于酒色之间，不理国事，皇太子实监国政，则‘勤谨’二字，何由说起？”
韦忠闻言，脸色不禁有些尴尬，急忙敷衍道：“传言不可尽信……”
吕鹄道：“哦，不可尽信？但不知可信几分？大将军自平阳来，当知天子近况，可是勤民听政，日夕不辍么？”
韦忠答道：“天子富有四海，稍稍寄情于醇酒妇人，也属正常……分列有司，百僚各安其位，自不必天子事必恭亲……”
吕老头儿继续揪他的语病：“北海为鲜卑所据，西海、南海，尚在晋人手中，天子所有，也不过一东海耳，赵公还未必听命……大将军云富有四海，不知是否小老所知之四海啊？”
韦忠听吕鹄之言不善，几乎句句讽刺，便即正色道：“先生慎言。即便天子有过，臣下实不当扬其恶，而当进谏言，并谨执臣道，以利国家。今天下未定，诸夷扰乱，我等更应忠悃为国，共度时艰！”
吕鹄点点头：“善哉，大将军之言，使小老知世间实有忠臣也……”可是不等韦忠谦逊几句，他却又说：“请教，昔日晋天子无德，诸藩扰乱之时，大将军尚为晋人，为何不肯谨守臣节，进献雅言，以与裴、张二公共度时艰呢？”
你当年觉得世道浑浊，晋政紊乱，因而不肯出仕，这我可以理解；可是如今胡汉之政难道不乱吗？你怎么又摆出一副入世的忠臣嘴脸来了？
韦忠闻言，不禁把脸一沉：“先生此为何意啊？今日请某来，是为当面责我的么？”
吕鹄笑一笑，说：“岂敢，岂敢，小老唯于大将军之行事，不甚分明，故而请教一二罢了。若大将军所行合乎圣人所教，天下大义，我吕氏自当恭附骥尾，任凭大将军驱策。”
韦忠心说不管你提这些问题是好心是歹意，我总得跟你把话说明白喽，要你知道大义在皇汉一方，以显我忠臣之节。于是耐着性子，一字一顿地解说道：
“晋与皇汉岂可相提并论？司马氏以篡僭得国，其位所来不正，司马炎刻剥黎民，司马衷昏庸无能，遂使诸藩造乱，生民涂炭。我皇汉光文皇帝承运而起，吊民伐罪，以伐篡晋，上继汉统，下安夏、夷，其德至大，其功至高，某以是而臣之，甘受驱策。可惜光文皇帝天寿不永，殆及今上，虽破洛阳，却因胜而骄，乃使国事略有挫迟。当此际，正忠臣烈士奋勇之时……”
吕鹄一开始还肯侧耳倾听，到这会儿实在忍不住了，插嘴道：“诚然，司马氏得国不正，史笔煌煌，料是逃不得一个‘篡’字。然而皇汉将来，恐怕也脱不得一个‘叛’字吧？刘元海本亦晋臣，则若赵高、章邯之叛秦，秦虽暴，若非项、刘，难道能服天下么？
“而以大将军论，因德于刘元海而及其子孙，则昔裴、张二公，亦因德于武皇帝而及于孝惠皇帝，何以大将军又斥之为‘弃典礼而附贼后’呢？”