所谮，改为司仆卿，知政事如故，使充灵武道大总管。
神龙元年，张柬之、桓彦范等谋诛易之兄弟，适会元之自军还都，遂预谋，以功封梁县侯，赐实封二百户。则天移居上阳宫，中宗率百官就閤起居，王公已下皆欣跃称庆，元之独呜咽流涕。彦范、柬之谓元之曰：“今日岂是啼泣时！恐公祸从此始。”元之曰：“事则天岁久，乍此辞违，情发于衷，非忍所得。昨预公诛凶逆者，是臣子之常道，岂敢言功；今辞违旧主悲泣者，亦臣子之终节，缘此获罪，实所甘心。”无几，出为亳州刺史，转常州刺史。
睿宗即位，召拜兵部尚书、同中书门下三品，寻迁中书令。时玄宗在东宫，太平公主干预朝政，宋王成器为闲厩使，岐王范、薛王业皆掌禁兵，外议以为不便。元之同侍中宋璟密奏请令公主往就东都，出成器等诸王为刺史，以息人心。睿宗以告公主，公主大怒。玄宗乃上疏以元之、璟等离间兄弟，请加罪，乃贬元之为申州刺史。再转扬州长史、淮南按察使，为政简肃，人吏立碑纪德。俄除同州刺史。先天二年，玄宗讲武在新丰驿，召元之代郭元振为兵部尚书、同中书门下三品，复迁紫微令。避开元尊号，又改名崇，进封梁国公。固辞实封，乃停其旧封，特赐新封一百户。
先是，中宗时，公主外戚皆奏请度人为僧尼，亦有出私财造寺者，富户强丁，皆经营避役，远近充满。至是，崇奏曰：“佛不在外，求之于心。佛图澄最贤，无益于全赵；罗什多艺，不救于亡秦。何充、苻融，皆遭败灭；齐襄、梁武，未免灾殃。但发心慈悲，行事利益，使苍生安乐，即是佛身。何用妄度奸人，令坏正法？”上纳其言，令有司隐括僧徒，以伪滥还俗者万二千余人。
开元四年，山东蝗虫大起，崇奏曰：“《毛诗》云：‘秉彼蟊贼，以付炎火。’又汉光武诏曰：‘勉顺时政，劝督农桑，去彼蝗蜮，以及蟊贼。’此并除蝗之义也。虫既解畏人，易为驱逐。又苗稼皆有地主，救护必不辞劳。蝗既解飞，夜必赴火，夜中设火，火边掘坑，且焚且瘗，除之可尽。时山东百姓皆烧香礼拜，设祭祈恩，眼看食苗，手不敢近。自古有讨除不得者，只是人不用命，但使齐心戮力，必是可除。”乃遣御史分道杀蝗。汴州刺史倪若水执奏曰：“蝗是天灾，自宜修德。刘聪时除既不得，为害更深。”仍拒御史，不肯应命。崇大怒，牒报若水曰：“刘聪伪主，德不胜妖；今日圣朝，妖不胜德。古之良守，蝗虫避境，若其修德可免，彼岂无德致然！今坐看食苗，何忍不救，因以饥馑，将何自安？幸勿迟回，自招悔吝。”若水乃行焚瘗之法，获蝗一十四万石，投汴渠流下者不可胜纪。时朝廷喧议，皆以驱蝗为不便，上闻之，复以问崇。崇曰：“庸儒执文，不识通变。凡事有违经而合道者，亦有反道而适权者。昔魏时山东有蝗伤稼，缘小忍不除，致使苗稼总尽，人至相食；后秦时有蝗，禾稼及草木俱尽，牛马至相啖毛。今山东蝗虫所在流满，仍极繁息，实所稀闻。河北、河南，无多贮积，倘不收获，岂免流离，事系安危，不可胶柱。纵使除之不尽，犹胜养以成灾。陛下好生恶杀，此事请不烦出敕，乞容臣出牒处分。若除不得，臣在身官爵，并请削除。”上许之。黄门监卢怀慎谓崇曰：“蝗是天灾，岂可制以人事？外议咸以为非。又杀虫太多，有伤和气。今犹可复，请公思之。”崇曰：“楚王吞蛭，厥疾用瘳；叔敖杀蛇，其福乃降。赵宣至贤也，恨用其犬；孔丘将圣也，不爱其羊。皆志在安人，思不失礼。今蝗虫极盛，驱除可得，若其纵食，所在皆空。山东百姓，岂宜饿杀！此事崇已面经奏定讫，请公勿复为言。若救人杀虫，因缘致祸，崇请独受，义不仰关。”怀慎既庶事曲从，竟亦不敢逆崇之意，蝗因此亦渐止息。
是时，上初即位，务修德政，军国庶务，多访于崇，同时宰相卢怀慎、源乾曜等，但唯诺而已。崇独当重任，明于吏道，断割不滞。然纵其子光禄少卿彝、宗正少卿异广引宾客，受纳馈遗，由是为时所讥。时有中书主书赵诲为崇所亲信，受蕃人珍遗，事发，上亲加鞫问，下狱处死。崇结奏其罪，复营救之，上由是不悦。其冬，曲赦京城，敕文时标诲名，令决杖一百，配流岭南。崇自是忧惧，频面陈避相位，荐宋璟皆获进见。有人于洛水中获自代。俄授开府仪同三司，罢知政事。
居月余，玄宗将幸东都，而太庙屋坏，上召宋璟、苏颋问其故，璟等奏言：“陛下三年之制未毕，诚不可行幸。凡灾变之发，皆所以明教诫。陛下宜增崇大道，以答天意，且停幸东都。”上又召崇问曰：“朕临发京邑，太庙无故崩坏，恐神灵诫以东行不便耶？”崇对曰：“太庙殿本是苻坚时所造，隋文帝创立新都，移宇文朝故殿造此庙，国家又因隋氏旧制，岁月滋深，朽蠹而毁。山有朽坏，尚不免崩，既久来枯木，合将摧折，偶与行期相会，不是缘行乃崩。且四海为家，两京相接，陛下以关中不甚丰熟，转运又有劳费，所以为人行幸，岂是无事烦劳？东都百司已作供拟，不可失信于天下。以臣愚见，旧庙既朽烂，不堪修理，望移神主于太极殿安置，更改造新庙，以申诚敬。车驾依前径发。”上曰：“卿言正合朕意。”赐绢二百