衣而去。及密败，徵随密来降，至京师，久不见知。自请安辑山东，乃授秘书丞，驱传至黎阳。时徐世勣尚为李密拥众，徵与世勣书曰：
自隋末乱离，群雄竞逐，跨州连郡，不可胜数。魏公起自叛徒，奋臂大呼，四方响应，万里风驰，云合雾聚，众数十万。威之所被，将半天下，破世充于洛口，摧化及于黎山。方欲西蹈咸阳，北凌玄阙，扬旌瀚海，饮马渭川，翻以百胜之威，败于奔亡之虏。固知神器之重，自有所归，不可以力争。是以魏公思皇天之乃睠，入函谷而不疑。公生于扰攘之时，感知己之遇。根本已拔，确乎不动，鸠合遗散，据守一隅。世充以乘胜余勇，息其东略；建德因侮亡之势，不敢南谋。公之英声，足以振于今古。然谁无善始，终之虑难。去就之机，安危大节。若策名得地，则九族廕其余辉；委质非人，则一身不能自保。殷鉴不远，公所闻见。孟贲犹豫，童子先之，知几其神，不俟终日。今公处必争之地，乘宜速之机，更事迟疑，坐观成败，恐凶狡之辈，先人生心，则公之事去矣。
世勣得书，遂定计遣使归国，开仓运粮，以馈淮安王神通之军。俄而建德悉众南下，攻陷黎阳，获徵，署为起居舍人。及建德就擒，与裴矩西入关。隐太子闻其名，引直洗马，甚礼之。徵见太宗勋业日隆，每劝建成早为之所。及败，太宗使召之，谓曰：“汝离间我兄弟，何也？”徵曰：“皇太子若从徵言，必无今日之祸。”太宗素器之，引为詹事主簿。及践祚，擢拜谏议大夫，封钜鹿县男，使安辑河北，许以便宜从事。徵至磁州，遇前宫千牛李志安、齐王护军李思行锢送诣京师。徵谓副使李桐客曰：“吾等受命之日，前宫、齐府左右，皆令赦原不问。今复送思行，此外谁不自疑？徒遣使往，彼必不信，此乃差之毫厘，失之千里。且公家之利，知无不为，宁可虑身，不可废国家大计。今若释遣思行，不问其罪，则信义所感，无远不臻。古者，大夫出疆，苟利社稷，专之可也。况今日之行，许以便宜从事，主上既以国士见待，安可不以国士报之乎？”即释遣思行等，仍以启闻，太宗甚悦。
太宗新即位，励精政道，数引徵入卧内，访以得失。徵雅有经国之才，性又抗直，无所屈挠。太宗与之言，未尝不欣然纳受。徵亦喜逢知己之主，思竭其用，知无不言。太宗尝劳之曰：“卿所陈谏，前后二百余事，非卿至诚奉国，何能若是？”其年，迁尚书左丞。或有言徵阿党亲戚者，帝使御史大夫温彦博案验无状，彦博奏曰：“徵为人臣，须存形迹，不能远避嫌疑，遂招此谤。虽情在无私，亦有可责。”帝令彦博让徵，且曰：“自今后不得不存形迹。”他日，徵入奏曰：“臣闻君臣协契，义同一体。不存公道，唯事形迹，若君臣上下，同遵此路，则邦之兴丧，或未可知。”帝瞿然改容曰：“吾已悔之。”徵再拜曰：“愿陛下使臣为良臣，勿使臣为忠臣。”帝曰：“忠、良有异乎？”徵曰：“良臣，稷、契、咎陶是也。忠臣，龙逢、比干是也。良臣使身获美名，君受显号，子孙传世，福禄无疆。忠臣身受诛夷，君陷大恶，家国并丧，空有其名。以此而言，相去远矣。”帝深纳其言，赐绢五百匹。贞观三年，迁秘书监，参预朝政。徵以丧乱之后，典章纷杂，奏引学者校定四部书。数年之间，秘府图籍，粲然毕备。时高昌王麹文泰将入朝，西域诸国咸欲因文泰遣使贡献，太宗令文泰使人厌怛纥干往迎接之。徵谏曰：“中国始平，疮痍未复，若微有劳役，则不自安。往年文泰入朝，所经州县，犹不能供，况加于此辈。若任其商贾来往，边人则获其利；若为宾客，中国即受其弊矣。汉建武二十二年，天下已宁。西域请置都护、送侍子，光武不许，盖不以蛮夷劳弊中国也。今若许十国入贡，其使不下千人，欲使缘边诸州何以取济？人心万端，后虽悔之，恐无所及。”上善其议。时厌怛纥干已发，遽追止之。后太宗幸九成宫，因有宫人还京，憩于湋川县之官舍。俄又右仆射李靖、侍中王珪继至，官属移宫人于别所而舍靖等。太宗闻之，怒曰：“威福之柄，岂由靖等？何为礼靖而轻我宫人！”即令案验湋川官属及靖等。徵谏曰：“靖等，陛下心膂大臣；宫人，皇后扫除之隶。论其委付，事理不同。又靖等出外，官吏访朝廷法式，归来，陛下问人间疾苦。靖等自当与官吏相见，官吏亦不可不谒也。至于宫人，供食之外，不合参承。若以此罪责县吏，恐不益德音，徒骇天下耳目。”帝曰：“公言是也。”乃释官吏之罪，李靖等亦寝而不问。寻宴于丹霄楼，酒酣。太宗谓长孙无忌曰：“魏徵、王珪，昔在东宫，尽心所事，当时诚亦可恶。我能拔擢用之，以至今日，足为无愧古人。然徵每谏我不从，发言辄即不应，何也？”对曰：“臣以事有不可，所以陈论，若不从辄应，便恐此事即行。”帝曰：“但当时且应，更别陈论，岂不得耶？”徵曰：“昔舜诫群臣：‘尔无面从，退有后言。’若臣面从陛下方始谏，此即‘退有后言’，岂是稷、契事尧、舜之意耶？”帝大笑曰：“人言魏徵举动疏慢，我但觉妩媚，适为此耳。”徵拜谢曰：“陛下导之使言，臣所以敢谏，若陛下不受臣谏，岂敢数犯龙鳞？”是月，长乐公主将出降，帝以皇后所生，敕有司资送倍于