。诏曰：「彪虽宿非清第，代阙华资，然识性严聪，学博坟籍，刚辩之才，颇堪时用。兼优吏职，载宣朝美，若不赏庸叙绩，将何以劝奖勤能。特迁秘书令。以参议律令之勤，赐帛五百匹，马一匹、牛二头。」其年，加员外散骑常侍，使于齐。
齐遣其主客郎刘绘接对，并设宴乐。彪辞乐。及坐，彪曰：「向辞乐者，卿或未相体。我皇孝性自天，追慕罔极，故有今者丧除之议。去三月晦，朝臣始除缞裳，犹以素服从事。裴、谢在北，固应具此。今辞乐，想卿无怪。」绘答言：「请问魏朝丧礼竟何所依？」彪曰：「高宗三年，孝文逾月。今圣上追鞠育之深恩，感慈训之厚德，报于殷、汉之间，可谓得礼之变。」绘复问：「若欲遵古，何不终三年？」彪曰：「万机不可久旷，故割至慕，俯从群议。服变不异三年，而限同一期，可谓失礼？」绘言：「汰哉叔氏，专以礼许人。」彪曰：「圣朝自为旷代之制，何关许人。」绘言：「百官总己听于冢宰，万机何虑于旷？」彪曰：「五帝之臣，臣不若君，故君亲揽其事。三王君臣智等，故共理机务。主上亲揽，盖远轨轩、唐。」彪将还，齐主亲谓彪曰：「卿前使还日，赋阮诗云：'但愿长闲暇，后岁复来游。'果如今日。卿此还也，复有来理否？」彪答：「请重赋阮诗曰：'宴衍清都中，一去永矣哉。'」齐主惘然曰：「清都可尔，一去何事！观卿此言，似成长阔。朕当以殊礼相送。」遂亲至琅邪城，登山临水，命群臣赋诗以送别。其见重如此。彪前后六度衔命，南人奇其謇博。后为御史中尉，领著作郎。
彪既为孝文所宠，性又刚直，遂多劾纠，远近畏之。豪右屏气。帝常呼为李生，从容谓群臣曰：「吾之有李生，犹汉之有汲黯。」后除散骑常侍，领御史中尉，解著作事。帝宴群臣于流化池，谓仆射李冲曰：「崔光之博，李彪之直，是我国得贤之基。」
车驾南伐，彪兼度支尚书，与仆射李冲、任城王澄等参理留台事。彪素性刚豪，与冲等意议乖异，遂形于声色，殊无降下之心。冲积其前后罪过，乃于尚书省禁止彪，上表曰：「案臣彪昔于凡品，特以才拔，等望清华，司文东观，绸缪恩眷，绳直宪台，左加金珰，右珥蝉冕。东省。宜感恩厉节，忠以报德。而窃名忝职，身为违傲，矜势高亢，公行僭逸。坐与禁省，冒取官材，辄驾乘黄，无所惮惧。肆志傲然，愚聋视听。此而可忍，谁不可怀。臣今请以见事免彪所居职，付廷尉狱。」冲又表曰：
臣与彪相识以来，垂二十二载。彪始南使之时，见其色厉辞辩，臣之愚识，谓是拔萃之一人。及彪官位升达，参与言宴，闻彪平章古今，商略人物。兴言于侍筵之次，启论于众英之中；赏忠识正，发言恳恻，惟直是语，辞无隐避。臣虽下愚，辄亦钦其正直。及其始居司直，执志径行，其所弹劾，应弦而倒。赫赫之威，振于下国；肃肃之称，著自京师；天下改目，贪暴佥手。然时有私于臣云其威暴者，臣以直绳之官，人所忌疾，风谤之际，易生音谣，心不承信。
往年以河阳事，曾与彪在领军府共太尉、司空及领军诸卿等集阅廷尉所问囚徒。时有人诉枉者，二公及臣少欲听采。语理未尽，彪便振怒，东坐攘袂挥赫，口称贼奴，叱吒左右。高声大呼曰：「南台中取我木手去，搭奴肋折！」虽有此言，终竟不取。即言：「南台所问，唯恐枉活，终无枉死。」时诸人以所枉至重，有首实者多，又心难彪，遂各默尔。因缘此事，臣遂心疑有滥，知其威虐。犹谓益多损少，故不以申彻，实失为臣知无不闻之义。及去年大驾南行以来，彪兼尚书，日夕共事，始乃知其言与行舛，是己非人，专恣无忌，尊身忽物。臣与任城卑躬曲己，其所欲者无不屈从。依事求实，悉有成验。如臣列得实，宜亟投彪于有北，以除奸矫之乱政；如臣列无证，宜放臣于四裔，以息青蝇之白黑。
帝在悬瓠，览表叹愕曰：「何意留京如此也！」有司处彪大辟；帝恕之，除名而已。
彪寻归本乡。帝北幸鄴，彪野服称草茅臣，拜迎鄴南。帝曰：「朕以卿为已死。」彪对曰：「子在，回何敢死。」帝悦，因谓曰：「朕期卿每以贞松为志，岁寒为心，卿应报国，尽心为用，近见弹文，殊乖所以。卿罹此谴，为朕与卿？为宰事？为卿自取？」彪曰：「臣愆由己至，罪自身招，实非陛下横与臣罪，又非宰事无辜滥臣。臣罪既如此，宜伏东皋之下，不应远点属车之清尘。但伏承圣躬不豫，臣肝胆涂地，是以敢至，非谢罪而来。」帝曰：「朕欲用卿，忆李仆射不得。」帝寻纳宋弁之言，将复采用。会留台表至，言彪与御史贾尚往穷庶人恂事，理有诬抑，奏请收彪。彪自言事枉，帝明彪无此，遣左右慰勉之。听以牛车散载，送之洛阳。会赦得免。
宣武践阼，彪自托于王肃，又与郭祚、崔光、刘芳、甄琛、邢峦等诗书往来，迭相称重。因论求复旧职，修史官之事，肃等许为左右。彪乃表曰：
惟我皇魏之奄有中华也，岁越百龄，年几十纪，史官叙录，未充其盛。加以东观中圮，册勋有阙，美随日落，善因月稀。故谚曰：「一日不书，百事荒芜。」至于太