有闻。高宗谓群臣曰；“贺诚心事国，朕为卿等保之 ，无此明矣。”乃精加讯检，华果引诬。于是遣使者诏贺曰“卿以忠诚款至，著自先朝，以丹青之洁而受苍蝇之汙。朕登时研检，已加极法，故遣宣意。其善绥所莅，勿以嚣谤之言致损虑也。”贺上书谢。书奏，高宗顾谓左右曰：“以贺之忠诚，尚致其诬，不若是者，可无慎乎！”时考殿最，贺治为第一，赐衣马器物，班宣天下。贺上表请代，朝议以贺得民情，不许。在州七年，乃徵拜太尉。
蠕蠕寇边，贺从驾追讨，破之。显祖将传位于京兆王子推，时贺都督诸军屯漠南，乃驰传徵贺。贺既至 ，乃命公卿议之。贺正色固执不可。即诏贺持节奉皇帝玺绶以授高祖。
是岁，河西敕勒叛，遣贺率众讨之，降二千馀落。倍道兼行，追贼党郁朱于等至枹罕 ，大破之，斩首五千馀级，虏男女万馀口、杂畜三万馀头。复追统万、高平、上邽三镇叛敕勒至于金城，斩首三千级。贺依古今法及先儒耆旧之说，略采至要，为十二陈图以上之。显祖览而嘉焉。
贺以年老辞位，诏不许。又诏都督三道诸军，屯于漠南。是时，每岁秋冬，遣军三道并出 ，以备北寇，至春中乃班师。贺以劳役京都，又非御边长计，乃上言：“请募诸州镇有武健者三万人，复其徭赋，厚加赈恤，分为三部。二镇之间筑城，城置万人，给强弩十二床，武卫三百乘。弩一床，给牛六头。武卫一乘，给牛二头。多造马枪及诸器械，使武略大将二人以镇抚之。冬则讲武，春则种殖，并戍并耕，则兵未劳而有盈畜矣。又于白道南三处立仓，运近州镇租粟以充之，足食足兵，以备不虞，于宜为便。不可岁常举众，连动京师，令朝庭恆有北顾之虑也。”事寝不报。
又上书称病笃，乞骸骨，至于再三，乃许之。朝有大议皆就询访，又给衣药珍羞。太和元年二月 ，疗疾于温汤，高祖、文明太后遣使者屡问消息，太医视疾。患笃，还京师。贺乃遣令敕诸子曰：“吾顷以老患辞事，不悟天慈降恩，爵逮于汝。汝其毋傲吝，毋荒怠，毋奢越，毋嫉妒；疑思问，言思审，行思恭，服思度；遏恶扬善，亲贤远佞；目观必真，耳属必正；诚勤以事君，清约以行己。吾终之后，所葬时服单椟，足申孝心，刍灵明器，一无用也。”三年秋薨，年七十三。赠侍中、太尉、陇西王印绶，谥曰宣，赙杂彩五百匹，赐辒辌车及命服、温明秘器，陪葬于金陵。
长子延，性谨厚好学。初以功臣子拜侍御中散，赐爵武城子，西冶都将。卒，赠凉州刺史、广武侯 ，谥曰简。子鳞袭。
延弟思礼，后赐名怀，谦恭宽雅，有大度。高宗末，为侍御中散。父贺辞老 ，诏怀受父爵，拜征南将军。寻为持节、督诸军，屯于漠南。还，除殿中尚书，出为长安镇将、雍州刺史。清俭有惠政，善于抚恤，劫盗息止，流民皆相率来还。岁馀，复拜殿中尚书，加侍中，参都曹事。又督诸军征蠕蠕，六道大将咸受节度。迁尚书令，参议律令。后例降为公。除司州刺史。从驾南征，加卫大将军，领中军事。以母忧去职，赐帛三百匹、谷千石。十九年，除征北大将军、夏州刺史，转都督雍岐东秦诸军事、征西大将军、雍州刺史。
景明二年，徵为尚书左仆射，加特进。时有诏，以奸吏犯罪，每多逃遁 ，因眚乃出，并皆释然。自今已后，犯罪不问轻重，而藏窜者悉远流。若永避不出，兄弟代徙。怀乃奏曰：“谨按知制：逃吏不在赦限。窃惟圣朝之恩，事异前宥，诸流徙在路，尚蒙旋反，况有未发而仍遣边戍？按守宰犯罪，逃走者众，禄润既优，尚有兹失，及蒙恩宥，卒然得还。今独苦此等，恐非均一之法。如臣管执，谓宜免之。”书奏，门下以成式既班，驳奏不许。怀重奏曰：“臣以为法贵经通，治尚简要，刑宪之设，所以纲罗罪人。苟理之所备，不在繁典；行之可通，岂容峻制？此乃古今之达政，救世之恆规。伏寻条制，勋品已下，罪发逃亡，遇恩不宥，仍流妻子。虽欲抑绝奸途，匪为通式。谨按事条，侵官败法，专据流外，岂九品已上，人皆贞白也？其诸州守宰，职任清流，至有贪浊，事发逃窜，而遇恩免罪。勋品已下，独乖斯例。如此，则宽纵上流，法切下吏，育物有差，惠罚不等。又谋逆滔天，轻恩尚免；吏犯微罪，独不蒙赦，使大宥之经不通，开生之路致壅，进违古典，退乖今律？辄率愚见，以为宜停。”书奏，世宗纳之。
其年，除车骑大将军、凉州大中正。怀奏曰：“南贼游魂江扬，职为乱逆，肆厥淫昏，月滋日甚。贵臣重将 ，靡才孑遗，崇信奸回，昵比阉竖，内外离心，骨肉猜叛。萧宝融僭号于荆郢，其雍州刺史萧衍勒兵而东袭，上流之众已逼其郊。广陵、京口各持兵而怀两望，钟离、淮阴并鼎峙而观得失。秣陵孤危，制不出门。君子小人，并罗灾祸，延首北望，朝不及夕。斯实天启之期，吞并之会。乘厥萧墙之衅，藉其分崩之隙，东据历阳，兼指瓜步，缘江镇戍，达于荆郢。然后奋雷电之威，布山河之信，则江西之地，不刃自来，吴会之乡，指期可举。昔士治有言，皓若暴死，更立贤主，文武之官，各得其任，则劲敌也。若萧衍克就，上下同心，非直后图之难，