其才，上曰：“边疆要任，非投閒置散也。若以外任皆左迁，岂国家文武兼资、内外并重之意乎？”咸丰二年，倭仁复上敬陈治本一疏，上谓其意在责难陈善，尚无不合，惟仅泛语治道，因戒以留心边务，勿讬空言。候补道何桂珍上封事，言倭仁秉性忠贞，见理明决，生平言行不负所学，请任以艰钜，未许。三年，倭仁劾叶尔羌回部郡王阿奇木伯克爱玛特摊派路费及护卫索赃等罪，诏斥未经确讯，率行参奏，下部议，降三级调用。
四年，侍郎王茂廕等请命会同筹办京师团练，上以军务非所长，寝其议。寻命以侍讲候补入直上书房，授惇郡王读。五年，擢侍讲学士。历光禄寺卿、盛京礼部侍郎。七年，调户部，管奉天府尹事，劾罢盛京副都统增庆、兵部侍郎富呢雅杭阿。及颁诏中外，命充朝鲜正使。召回京，授都察院左都御史。同治元年，擢工部尚书。两宫皇太后以倭仁老成端谨，学问优长，命授穆宗读。倭仁辑古帝王事迹，及古今名臣奏议，附说进之，赐名启心金鉴，置弘德殿资讲肄。倭仁素严正，穆宗尤敬惮焉。
寻兼翰林院掌院学士，调工部尚书、协办大学士。疏言：“河南自咸丰三年以后，粤、捻焚掠，盖藏已空，州县诛求仍复无厌。朝廷不能尽择州县，则必慎择督抚。督抚不取之属员，则属员自无可挟以为恣睢之地。今日河南积习，祗曰民刁诈，不曰官贪庸；祗狃於愚民之抗官，不思所以致抗之由。惟在朝廷慎察大吏，力挽积习，寇乱之源，庶几可弭。”是年秋，拜文渊阁大学士，疏劾新授广东巡抚黄赞汤贪诈，解其职。
六年，同文馆议考选正途五品以下京外官入馆肄习天文算学，聘西人为教习。倭仁谓根本之图，在人心不在技艺，尤以西人教习为不可；且谓必习天文算学，应求中国能精其法者，上疏请罢议。於是诏倭仁保荐，别设一馆，即由倭仁督率讲求。复奏意中并无其人，不敢妄保。寻命在总理各国事务衙门行走。倭仁屡疏恳辞，不允；因称疾笃，乞休，命解兼职，仍在弘德殿行走。八年，疏言大婚典礼宜崇节俭，及武英殿灾，复偕徐桐、翁同龢疏请勤修圣德，停罢一切工程，以弭灾变，并嘉纳之。十年，晋文华殿大学士，以疾再乞休。寻卒，赠太保，入祀贤良祠，谥文端。光绪八年，河南巡抚李鹤年奏建专祠於开封，允之。
初，曾国籓官京师，与倭仁、李棠阶、吴廷栋、何桂珍、窦垿讲求宋儒之学。其后国籓出平大难，为中兴名臣冠；倭仁作帝师，正色不阿；棠阶、廷栋亦卓然有以自见焉。倭仁著有遗书十三卷。子福咸，江苏盐法道，署安徽徽宁池太广道，咸丰十年，殉难宁国，赠太仆寺卿，骑都尉世职；福裕，奉天府府尹。从子福润，安徽巡抚。光绪二十六年，外国兵入京师，阖家死焉。
李棠阶，字文园，河南河内人。道光二年进士，选庶吉士，授编修。五迁至侍读。二十二年，督广东学政，擢太常寺少卿。会巡抚黄恩彤奏请予乡试年老武生职衔，严旨责谴，棠阶亦因违例送考，议降三级调用，遂引疾家居。文宗即位，复日讲，曾国籓荐棠阶醇正堪备讲官，召来京。既而日讲中辍，棠阶以病未赴。
咸丰三年，粤匪北犯，河北土寇蜂起，用尚书周祖培荐，命治河北团练。棠阶联络村镇，名曰“友助社”。贼踞温县东河滩柳林，四出焚掠，棠阶督团练击之，村民未习战，且无火器，杀贼数十人，卒不敌。会山东巡抚李僡率兵至，贼引去。贼自渡黄河，始知民间有备，稍稍牵缀。洎河北肃清，叙劳，加四品卿衔，赐花翎。
同治元年，诏起用旧臣，棠阶应召至。上疏言：“用人行政，惟在治心。治心之要，莫先克己。请於师保匡弼之馀，豫杜左右近习之渐。暇时进讲通鉴、大学衍义诸书，以收物格意诚之效。”又言：“纪纲之饬，在於严明赏罚。凡朝廷通谕诸事，务饬疆臣实力奉行，庶中外情志可通，而祸乱可弭。”两宫嘉纳焉。授大理寺卿。先是两江总督何桂清偾事逮治，部谳从重拟斩决，廷臣有右之者，言部臣有意畸重，仍从本律监候。棠阶疏谓桂清贻误封疆罪大，不当轻比，非公论。后桂清卒伏法。连擢礼部侍郎、左都御史，署户部尚书。召对，言：“治天下惟在安民，安民必先察吏。今日之盗贼，即昔日之良民，皆地方有司贪虐激之成变。为今日平乱计，非轻徭薄赋不能治本。然非择大吏，则守令不得其人，亦终不能收令行禁止之效。”因极言河南乱事，及诸行省利病甚悉。命为军机大臣，具疏力辞，弗许。二年，授工部尚书。
三年，江宁克复，论功，加太子少保。大憝既平，上谕中外臣工以兢业交勉。棠阶语恭亲王及同直诸大臣，谓当设诚致行，久而不懈，勿徒以空言相文饰，王深然之。翼日召对，王反复陈君臣交儆之义，棠阶与同僚继言之，两宫改容嘉纳。寻调礼部尚书。太后命南书房、上书房诸臣纂辑前史事迹，赐名治平宝鉴，命诸大臣进讲。棠阶因讲汉文帝卻千里马事，反复推言人主不宜有所嗜好，以启窥伺之端。自是每进讲必原本经义，极论史事，归於责难陈善。四年，恭亲王被劾退出军机，棠阶谓王有定难功，时方多故，不当轻弃亲贤，入对，力言王非有心之失。会惇、醇两王亦奏言奕不可遽罢，乃复命入直。