将莅任赞时，职思其忧也。得贤之道，在于莅任；莅任之道，在于能久；久于其道，天下化成。是以三载考绩，三考黜陟，不收一切之功，不采速成之誉。故勋格辰极，道融四海，风流遐邈，声冠百代。凡庸之族众，贤能之才寡，才寡于世而官多于朝，焉得不贤鄙共贯，清浊同官！官众则阙多，阙多则迁速，前后去来，更相代补，非为故然，理固然耳。所以职事未修，朝风未澄者也。职事之修，在于省官；朝风之澄，在于并职。官省则选清而得久，职并则吏简而俗静；选清则胜人久于其事，事久则中才犹足有成。
今内外百官，较而计之，固应有并省者矣。六卿之任，太常望雅而职重，然其所司，义高务约。宗正所统盖鲜，可以并太常。宿卫之重，二卫任之，其次骁骑、左军各有所领，无兵军校皆应罢废。四军皆罢，则左军之名不宜独立，宜改游击以对骁骑。内官自侍中以下，旧员皆四，中兴之初，二人而已。二人对直，或有不周，愚谓三人，于事则无阙也。凡余诸官，无综事实者，可令大官随才位所帖而领之，若未能顿废，自可因缺而省之。委之以职分，责之以有成，能否因考绩而著，清浊随黜陟而彰。虽缉熙之隆、康哉之歌未可，使庶官之选差清，莅职之日差久，无奉禄之虚费，简吏寺之烦役矣。
永和末，多疾疫。旧制，朝臣家有时疾，染易三人以上者，身虽无病，百日不得入宫。至是，百官多列家疾，不入。彪之又言：“疾疫之年，家无不染。若以之不复人宫，则直侍顿阙，王者宫省空矣。”朝廷从之。
既而长安人雷弱兒、梁安等诈云杀苻健、苻眉，请兵应接。时殷浩镇寿阳，便进据洛，营复山陵。属彪之疾归，上简文帝笺，陈弱兒等容有诈伪，浩未应轻进。寻而弱兒果诈，姚襄反叛，浩大败，退守谯城。简文笑谓彪之曰：“果如君言。自顷以来，君谋无遗策，张、陈何以过之！”
转领军将军，迁尚书仆射，以疾病，不拜。徙太常，领崇德卫尉。时或谓简文曰：“武陵第中大修器杖，将谋非常也。”简文以彪之。彪之曰：“武陵王志意尽于驰骋田猎耳。愿深静之，以怀异同者。”或复以此为言，简文甚悦。
复转尚书仆射。时豫州刺史谢奕卒，简文遽使彪之举可以代奕者。对曰：“当今时贤，备简高监。”简文曰：“人有举桓云者，君谓如何？”彪之曰：“云不必非才，然温居上流，割天下之半。其弟复处西籓，兵权尽出一门，亦非深根固蒂之宜也。人才非可豫量，但当令不与殿下作异者耳。”简文颔曰：“君言是也。”
后以彪之为镇军将军、会稽内史，加散骑常侍。居郡八年，豪右敛迹，亡户归者三万余口。桓温下镇姑孰，威势震主，四方修敬，皆遣上佐纲纪。彪之独曰：“大司马诚为富贵，朝廷既有宰相，动静之宜自当谘禀。修敬若遣纲纪，致贡天子复何以过之！”竟不遣。温以山阴县折布米不时毕，郡不弹纠，上免彪之。彪之去郡，郡见罪谪未上州台者，皆原散之。温复以为罪，乃槛收下吏。会赦，免，左降谪为尚书。
顷之，复仆为射。是时温将废海西公，百僚震栗，温亦色动，莫知所为。彪之既知温不臣迹已著，理不可夺。乃谓温曰：“公阿衡皇家，便当倚傍先代耳。”命取《霍光传》。礼度仪制，定于须臾，曾无惧容。温叹曰：“作元凯不当如是邪！”时废立之仪既绝于旷代，朝臣莫有识其故典者。彪之神彩毅然，朝服当阶，文武仪准莫不取定，朝廷以此服之。温又废武陵王遵，以事示彪之。彪之曰：“武陵亲尊，未有显罪，不可以猜嫌之间，便相废徙。公建立圣明，遐迩归心，当崇奖王室，伊周同美。此大事，宜更深详。”温曰：“此已成事，卿勿复言。”
及简文崩，群臣疑惑，未敢立嗣。或云，宜当须大司马处分。彪之正色曰：“君崩，太子代立，大司马何容得异！若先面谘，必反为所责矣。”于是朝议乃定。及孝武帝即位，太皇太后令以帝冲幼，加在谅闇，令温依周公居摄故事。事已施行，彪之曰：“此异常大事，大司马必当固让，使万机停滞，稽废山陵，未敢奉令。谨具封还内，请停。”事遂不行。
温遇疾，讽朝廷求九锡，袁宏为文，以示彪之。彪之视讫，叹其文辞之美，谓宏曰：“卿固大才，安可以此示人！”时谢安见其文，又频使宏改之，宏遂逡巡其事。既屡引日，乃谋于彪之。彪之曰：“闻彼病日增，亦当不复支久，自可更小迟回。”宏从之，温亦寻薨。
时桓冲及安夹辅朝政，安以新丧元辅，主上未能亲览万机，太皇太后宜临朝，彪之曰：“先代前朝，主在襁抱，母子一体，故可临朝。太后亦不能决政事，终是顾问仆与君诸人耳。今上年出十岁，垂婚冠，反令从嫂临朝，示人君幼弱，岂是翼戴赞扬立德之谓乎！二君必行此事，岂仆所制，所惜者大体耳。”时安不欲委任桓冲，故使太后临朝决政，献替专在乎自己。彪之不达安旨，故以为言。安竟不从。
寻迁尚书令，与安共掌朝政。安每曰：“朝之大事，众不能决者，谘王公无不得判。”以年老，上疏乞骸骨，诏不许。转拜护军将军，加散骑常侍。安欲更营宫室，彪之曰：“中兴初，即位东府，殊为俭陋