颜参政是个饱学，怎么能推为潇洒儒流，情同针芥呢！
将及满月，玉堂与翠绡商议，说起雨墨是个义仆，想把飞奴配他。翠绡应允，问元全愿意否，那知元全在巡按府多日，看雨墨少年干练，为主赤心，合了他的脾气，本有此意。今玉堂肯与撮合，甚为喜悦。玉堂告知参政，参政便叫雨墨叩谢，一边赏雨墨银两，一边赏飞奴妆奁。年内也毕了姻。这两口儿也算称心如意了。
岁尽春来，忙过朝正礼节，又到上元。这日五义聚在卢方处小饮，玉堂道：“我正有一事要与众位哥哥商量。”要知玉堂所商何事，下回分解。
第十六回 三侠荣归途分吏隐 五义避世迹混渔樵
话说白玉堂做了殿帅，娶了翠绡，过新年才二十六岁，正是英年。休说常人处此必然志得意满，就是豪杰卓荤之士，那有不愿意轰轰烈烈做一番事业的？不料玉堂是聪明绝頂的人，自经了铜网地牢的磨折，早巳敛尽豪情，参透世味。况亲见南北侠武艺本领，比自己已胜一筹，却又有翠绡，更超出尘埃之表，益恍然天地之大，不宜稍涉自满。那心高气傲的性情，竟变了个敛抑静定的识力。自江陵破后，便拿定功成身退主意，况翠绡是个神仙中人，旷识冲情，更能启发他的悟境。总是圣心眷注，在朝数月，知道祖宗成法，不许生事，边方辽、夏和约已坚，更无疆场报效之地，不如脱离尘网，为兄弟夫妇偕隐之计。想了又想，觉得所见甚是。便对卢方等道：“我等自结义以来，在陷空岛何等逍遥自在！都是小弟量浅，蹴起波澜，弄得离离合合、死死生生，教众位哥哥费了多少心血。虽目前圣恩优渥，五人同官京师，然而官身羁绊，各有职司，不能同居，终是会少离多。小弟愚见，想着请个修墓假，徐图退步，不知众位哥哥以为何如？”卢方大喜，道：“五弟，我怀此念多时了。自从刘立保传了谎倌，那时我已勘破红尘，幸亏天神庇佑，弟兄们竟一无损伤。以后边疆有事，将军难免阵前亡，哪敢长长侥天之幸。愚兄若有仕宦之念，娶弟媳时早把你嫂嫂接来了。”韩彰道：“我因宦途最险，才辞了军官不做。此番被你们牵率出来，久已腻煩，就兄弟们不退，我也要抽身的。”徐庆拍着手道：“老五的话，正合着哥哥脾气。什么大人老爷，早一个文书，晚一个文书，直把人闹得发昏。行动儿有人跟着，比牢头禁子还管得利害。我们快些回去罢，少做一天官，少受一天罪。”说得众皆大笑。蒋平也叹息道：“我这几年，常闹痢疾，定是水里头寒气所致。年轻时不觉，现已四十多的人了，年纪一年老一年，职任一年重一年，水里事极险，不丧了英名，也送了性命。还是回家养息，倒可以多活几年。”
大家主意相合，次日，都请三个月假，回籍修墓。那是没有不准的。双侠早有此念，便简捷告养。仁宗最孝，就想批准，却因将帅需才，其母年将七十，何必两人全告。恰好浙西都统制缺人，就把丁兆蕙简放，仍兼骁卫将军，就近迎亲。丁兆兰系属长子，准其归养，赏食全俸。兆蕙只得谢恩，省亲后再行赴任。展昭也想回去焚黄祭祖，兼之接丁月华回家看看，便也告假三月。北侠是无拘无束惯的，久欲弃官，众人一走，更独木不成林了，便面求包公说：“年将五十，无儿无女，意欲辞官。如果边廷有事，闻召即出，亦无不可。”包公见他恳切，也就应允。欧阳春遂告了病，也是赏食全俸，准其回籍。
颜昚敏见诸将俱纷纷请假，来见玉堂，问他何预先不提一字。玉堂恐说破了，他又设法挽留，就道：“先兄亡后，侄儿幼小，也得回去料理料理，三五个月便来，所以并未商及。”参政叮嘱早回，玉堂含糊答应。大家想着同归热闹，北侠道：“我客游在外已久，坟墓一切，有侄儿们料理，我不忙在一时，且趁你们都回家，去南方逛逛，聚乐几日。以后你们官身不自由，不知何时再会了。”商议着：韩彰黄州人，坟墓却在河南平县，徐庆是回山西扫墓，都约定一个月到松江会齐。三家眷属，都在卢家居住。这里卢、蒋、白、展、欧、二丁都回南，因玉堂有眷属，雇定船只，由水路回去。
翠绡早已定了终隐之计，从玉堂告假那日，收拾收拾，便到元谨处住了，作为闲话，把家事斟酌的妥妥当当。元全也愿随行，翠绡说：“你也上了年纪，该回去同你兄弟元成商量过继，安安家再来。”元全别了女儿女婿，参政念他有救玉堂之功，赏银千两安家。四义亦各赏五百金。元全再三推却，参政定要赏他，只得谢了。雨墨、飞奴都说：“你老人家过继了弟弟，莫忘了女儿，务必还随着进京，在女婿这里奉养。”元全自然答应。飞奴就到翠绡处来住，直到送上船才回。主婢相依日久，虽则暂别，飞奴竟哭的涕泗滂沱。
翠绡到行期将近，才到颜府告辞，颜母婆媳不过劝他早来。于是一齐上船，送者络绎。水平风顺，已到维扬。玉堂想：“由金华到金陵，太觉周折。”趁着蒋平之便，就夫妇先到金陵。到了钟山别业，与蒋平分路。元成等都末参见，玉堂择期到侍郎秘监坟上双双拜奠。翠绡触动终天之恨，涕泗横流。玉堂劝慰了一回，在别业小住几日，办理元全承继，元成兄弟两个本和气，四个儿子尽他哥哥挑捡，元全挑了第二个侄儿元义