补国子生。起家秘书郎，出为淮南太守，时年十八。高祖疑其年少未闲吏事，乃遣主书封取郡曹文案，见其断决允惬，甚称赏之。还除太子舍人、云麾外兵参军。缅少勤学，自课读书，手不辍卷，尤明后汉及晋代众家。客有执卷质缅者，随问便对，略无遗失。殿中郎缺，高祖谓徐勉曰：“此曹旧用文学，且居鹓行之首，宜详择其人。”勉举缅充选。顷之，出为武陵太守，还拜太子洗马，中舍人。缅母刘氏，以父没家贫，葬礼有阙，遂终身不居正室，不随子入官府。缅在郡所得禄俸不敢用，乃至妻子不易衣裳，及还都，并供其母赈赡亲属，虽累载所畜，一朝随尽，缅私室常阒然如贫素者。累迁北中郎谘议参军、宁远长史。出为豫章内史。缅为政任恩惠，不设钩距，吏人化其德，亦不敢欺，故老咸云“数十年未之有也”。
大通元年，征为司徒左长史，以疾不拜，改为太子中庶子，领羽林监。俄迁御史中丞，坐收捕人与外国使斗，左降黄门郎，兼领先职，俄复为真。缅居宪司，推绳无所顾望，号为劲直。高祖乃遣画工图其形于台省，以励当官。中太通三年，迁侍中，未拜，卒，时年四十二。诏赠侍中，加贞威将军，侯如故。赙钱五万，布五十匹。高祖举哀。昭明太子亦往临哭，与缅弟缵书曰：“贤兄学业该通，莅事明敏，虽倚相之读坟典，郄縠之敦《诗》《书》，惟今望古，蔑以斯过。自列宫朝，二纪将及，义惟僚属，情实亲友。文筵讲席，朝游夕宴，何曾不同兹胜赏，共此言寄。如何长谢，奄然不追！且年甫强仕，方申才力，摧苗落颖，弥可伤惋。念天伦素睦，一旦相失，如何可言。言及增哽，巉笔无次。”
缅性爱坟籍，聚书至万余卷。抄《后汉》、《晋书》，众家异同，为《后汉纪》四十卷，《晋抄》三十卷。又抄《江左集》，未及成。文集五卷。子傅嗣。
缵字伯绪，缅第三弟也，出后从伯弘籍。弘籍，高祖舅也，梁初赠廷尉卿。缵年十一，尚高祖第四女富阳公主，拜驸马都尉，封利亭侯，召补国子生。起家秘书郎，时年十七。身长七尺四寸，眉目疏朗，神采爽发。高祖异之，尝曰：“张壮武云‘后八叶有逮吾者’，其此子乎？”缵好学，兄缅有书万余卷，昼夜披读，殆不辍手。秘书郎有四员，宋、齐以来，为甲族起家之选，待次入补，其居职，例数十百日便迁任。缵固求不徙，欲遍观阁内图籍。尝执四部书目曰：“若读此毕，乃可言优仕矣。”如此数载，方迁太子舍人，转洗马、中舍人，并掌管记。
缵与琅邪王锡齐名。普通初，魏遣彭城人刘善明诣京师请和，求识缵。缵时年二十三，善明见而嗟服。累迁太尉谘议参军，尚书吏部郎，俄为长史兼侍中，时人以为早达。河东裴子野曰：“张吏部在喉舌之任，已恨其晚矣。”子野性旷达，自云“年出三十，不复诣人。”初未与缵遇，便虚相推重，因为忘年之交。
大通元年，出为宁远华容公长史，行琅邪、彭城二郡国事。二年，仍迁华容公北中郎长史、南兰陵太守，加贞威将军，行府州事。三年，入为度支尚书，母忧去职。服阕，出为吴兴太守。缵治郡，省烦苛，务清静，民吏便之。大同二年，征为吏部尚书。缵居选，其后门寒素，有一介皆见引拔，不为贵要屈意，人士翕然称之。
五年，高祖手诏曰：“缵外氏英华，朝中领袖，司空以后，名冠范阳。可尚书仆射。”初，缵与参掌何敬容意趣不协，敬容居权轴，宾客辐凑，有过诣缵者，辄距不前，曰：“吾不能对何敬容残客。”及是迁，为表曰：“自出守股肱，入尸衡尺，可以仰首伸眉，论列是非者矣。而寸衿所滞，近蔽耳目，深浅清浊，岂有能预。加以矫心饰貌，酷非所闲，不喜俗人，与之共事。”此言以指敬容也。缵在职，议南郊御乘素辇，适古今之衷；又议印绶官备朝服，宜并著绶，时并施行。
九年，迁宣惠将军、丹阳尹，未拜，改为使持节、都督湘、桂、东宁三州诸军事、湘州刺史。述职经途，乃作《南征赋》。其词曰：
岁次娵訾，月惟中吕，余谒帝于承明，将述职于南楚。忽中川而反顾，怀旧乡而延伫；路漫漫以无端，情容容而莫与。乃弭节叹曰：人之寓于宇宙也，何异夫栖蜗之争战，附蚋之游禽。而盈虚倚伏，俯仰浮沉，矜荣华于尺影，总万虑于寸阴。彼忘机于粹日，乃圣达之明箴。妙品物于贞观，曾何足而系心。抚余躬之末迹，属兴王之盛世；蒙三栾之休宠，荷通家之渥惠。登石渠之三阁，典校文乎六艺。振长缨于承华，眷储皇之上睿。居衔觞而接席，出方舟以同济。彼华坊与禁苑，常宵盘而昼憩。思德音其在耳，若清尘之未逝。经二纪以及兹，悲明离之永翳。惟平生之褊能，实有志于栖息。惭灭没之千里，谢韩哀于八极。如蓑裘之代用，譬轮辕之曲直。愧周任之清规，谅无取于陈力。逢濯缨之嘉运，遇井汲之明时。怀君恩而未答，顾灵琐而依迟。总端揆以居副，长庶僚而称师。犹深泉之短绠，若高墉而无基。伊吾人之罪薄，岂斯满之能持。奉皇命以奏举，方驱传于衡疑。遵夕宿以言迈，戒晨装而永辞。行摇摇于南逝，心眷眷而西悲。
尔乃横济牵牛，傍瞻雉库；前观隐脉，却视云布。追晋氏之启戎，覆中