，改集贤殿修撰，判流内铨，修起居注，除知制诰。公虽罢言职，而无岁不言储嗣事。以仁宗春秋益高，每因事及之，冀以感动上心。及为知制诰，正谢上殿，面论之曰：“陛下许臣今复三年矣，愿早定大计。”明年，又因享献赋以讽。其后韩琦卒，定策立英宗。迁翰林学士充史馆修撰，改右谏议大夫。
英宗即位，迁给事中，充仁宗山陵礼仪使。坐误迁宰臣官，改翰林侍读学士，复为翰林学士。中书奏请追尊濮安懿王，下两制议，以为宜称皇伯，高官大国，极其尊荣，非执政意，更下尚书省集议。已而台谏争言其不可，乃下诏罢议，令礼官检详典礼以闻。公时判太常寺，率礼官上言：“汉宣帝于昭帝为孙，光武于平帝为祖，则其父容可以称皇考，然议者犹非之，谓其以小宗而合大宗之统也。今陛下既考仁宗，又考濮安懿王，则其失非特汉宣、光武之比矣。凡称帝若皇若皇考，立寝庙，论昭穆，皆非是。”于是具列仪礼及汉儒论议、魏明帝诏为五篇奏之。以翰林侍读学士出知陈州。陈饥，公至三日，发库廪三万贯石，以贷不及奏，监司绳之急，公上书自劾，诏原之。是岁大熟，所贷悉还，陈人至今思之。
神宗即位，迁礼部侍郎。召还，复为翰林学士兼侍读、群牧使、句当三班院、知通进银台司。公言：“故事，门下封驳制敕，省审章奏，纠举违滞，著于所授敕。其后刊去，故职浸废，请复之，使知所守。”从之。纠察在京刑狱。
王安石为政，始变更法令，改常平为青苗法。公上疏曰：“常平之法，始于汉之盛时，视谷贵贱发敛，以便农末，最为近古，不可改。而青苗行于唐之衰乱，不足法。且陛下疾富民之多取而少取之，此正百步与五十步之间耳。今有二人坐市贸易，一人下其直以相倾夺，则人皆知恶之，其可以朝廷而行市道之所恶乎！”疏三上，不报。
迩英阁进读，与吕惠卿争论上前，因论旧法预买绸绢亦青苗之比。公曰：“预买亦敝法也。若陛下躬节俭，府库有余，当并预买去之，奈何更以为比乎？”韩琦上疏，极论新法之害，安石使送条例司疏驳之。谏官李常乞罢青苗钱，安石令常分析，公皆封还其诏。诏五下，公执如初。
司马光除枢密副使。光以所言不行，不敢就职，诏许辞免，公再封还之。上知公不可夺，以诏直付光，不由门下。公奏：“由臣不才，使陛下废法，有司失职，乞解银台司。”许之。
会有诏举谏官，公以轼应诏，而御史知杂谢景温弹奏轼罪。公又举孔文仲为贤良。文仲对策，极论新法之害。安石怒，罢文仲归故官。公上疏争之，不报。
时年六十三。即上言：臣言不行，无颜复立于朝，请致仕。疏五上，最后指言安石以喜怒赏罚事曰：“陛下有纳谏之资，大臣进拒谏之计；陛下有爱民之性，大臣用残民之术。”安石大怒，自草制极口诋公，落翰林学士，以本官致仕。闻者皆为公惧。公上表谢，其略曰：“虽曰乞身而去，敢忘忧国之心。”又曰：“望陛下集群议为耳目，以除壅蔽之奸；任老成为腹心，以养和平之福。”天下闻而壮之。安石虽诋之深，人更以为荣焉。
公既退居，专以读书赋诗自娱。客至，辄置酒尽欢。或劝公称疾杜门。公曰：“死生祸福，天也。吾其如天何！”同天节乞随班上寿，许之。遂著为令。久之归蜀。与亲旧乐饮，赈施其贫者，期年而后还。轼得罪，下御史台狱，索公与轼往来书疏文字甚急。公犹上书救轼不已。朝廷有大事，辄言之。
官制行，改正议大夫。今上即位，迁光禄大夫。初，英宗即位，仁宗主而迁僖祖。及神宗即位，复还僖祖而迁顺祖。公上言：“太祖起宋州有天下，与汉高祖同，僖祖不当复还。乞下百官议。”不报。及上即位，公又言乞迁僖祖，正太祖东向之位。时年几八十矣。
韩维上言：公“在仁宗朝，首开建储之议，其后大臣继有论奏，先帝追录其言，存没皆推恩，而镇未尝以语人，人亦莫为言者，虽颜子不伐善，介之推不言禄，不能过也。”悉以公十九疏上之。拜端明殿学士。特诏长子清平县令百揆改宣德郎，且起公兼侍读提举中太一宫。诏语有曰：“西伯善养，二老来归。汉室卑词，四臣入侍。为我强起，无或惮勤。”公固辞不起，天下益高之。
改提举嵩山崇福宫。公仲兄之孙祖禹，为著作郎，谒告省公于许。因复赐诏，及龙茶一合，存问甚厚。数月，复告老，进银青光禄大夫，再致仕。
初，仁宗命李照改定大乐，下王朴乐三律。皇中，又使胡瑗等考正，公与司马光皆与。公上疏，论律尺之法。又与光往复论难，凡数万言，自以为独得于心。元丰三年，神宗诏公与刘几定乐。公曰：“定乐当先正律。”上曰：“然。虽有师旷之聪，不以六律，不能正五音。”公作律尺、龠、合、升、斗、豆、区、釜、斛，欲图上之。又乞访求真黍以定黄钟，而刘几即用李照乐，加用四清声而奏乐成。诏罢局，赐赉有加。公谢曰：“此刘几乐也，臣何与焉。”及提举崇福宫，欲造乐献之，自以为嫌，乃先请致仕。既得谢，请太府铜为