将引安石预其事，公主屡使子婿唐晙邀安石至宅，安石竟拒而不往。睿宗尝密召安石，谓曰：“闻朝廷倾心东宫，卿何不察也？”安石对曰：“陛下何得亡国之言，此必太平之计。太子有大功于社稷，仁明孝友，天下所称，愿陛下无信谗言以致惑也。”睿宗矍然曰：“朕知之矣，卿勿言也。”太平于帘中窃听之，乃构飞语，欲令鞫之，赖郭元振保护获免。俄而迁尚书左仆射，兼太子宾客，依旧同中书门下三品，虽假以崇宠，实去其权。其冬，罢知政事，拜特进，充东都留守。太常主簿李元澄，即安石之子婿，其妻病死，安石夫人薛氏疑元澄先所幸婢厌杀之。其婢久已转嫁，薛氏使人捕而捶之致死。由是为御史中丞杨茂谦所劾，出为蒲州刺史。无几，转青州刺史。
安石初在蒲州时，太常卿姜皎有所请托，安石拒之，皎大怒。开元二年，皎弟晦为御史中丞，以安石等作相时，同受中宗遗制，宗楚客、韦温削除相王辅政之辞，安石不能正其事，令侍御史洪子舆举劾之。子舆以事经赦令，固称不可。监察御史郭震希皎等意，越次奏之，于是下诏曰：“青州刺史韦安石、太子宾客韦嗣立、刑部尚书赵彦昭等，往在先朝，曲蒙厚赏，因缘幸会，久在庙堂，朋党比周，闻于行路。景龙之末，长蛇纵祸，仓卒之间，人神愤怨，未闻舍生取义，直道昌言，遂削太上皇辅政之辞，用韦氏临朝之策。比常隐忍，复以崇班，将期愧畏，稍惩前恶，而尚款回邪，苟安荣宠。宜从谪官之典，以励事君之节。安石可沔州别驾，嗣立可岳州别驾，彦昭可袁州别驾，并员外置。”安石既至沔州，晦又奏云：“安石尝检校定陵造作，隐官物入己。”敕符下州征赃。安石叹曰：“此祇应须我死耳！”愤激而卒，年六十四。开元十七年，赠蒲州刺史。天宝初，以子贵，追赠开府仪同三司、尚书左仆射、郇国公，谥曰文贞。二子陟、斌，并早知名。
陟字殷卿，代为关中著姓，人物衣冠，弈世荣盛。安石晚有子，及为并州司马，始生陟及斌，俱少聪敏，颇异常童。陟自幼风标整峻，独立不群，安石尤爱之。神龙二年，安石为中书令，陟始十岁，拜温王府东阁祭酒，加朝散大夫，累迁秘书太堂丞，有文彩，善隶书，辞人、秀士已游其门矣。开元初，丁父忧，居丧过礼。自此杜门不出八年，与弟斌相劝励，探讨典坟，不舍昼夜，文华当代，俱有盛名。于时才名之士王维、崔颢、卢象等，常与陟唱和游处。广平宋公见陟叹曰：“盛德遗范，尽在是矣。”历洛阳令，转吏部郎中。张九龄一代辞宗，为中书令，引陟为中书舍人，与孙逖、梁涉对掌文诰，时人以为美谈。
后为礼部侍郎。陟好接后辈，尤鉴于文，虽辞人后生，靡不谙练。曩者主司取与，皆以一场之善，登其科目，不尽其才。陟先责旧，仍令举人自通所工诗笔，先试一日，知其所长，然后依常式考核，片善无遗，美声盈路。后为吏部侍郎，常病选人冒名接脚，阙员既少，取士良难，正调者被挤，伪集者冒进。陟刚肠嫉恶，风彩严正，选人疑其有瑕，案声盘诘，无不首伏。每岁皆赎得数百员阙，以待淹滞，常谓所亲曰：“使陟知铨衡一二年，则无人可选矣。”
陟门地豪华，早践清列，侍兒阉阍，列侍左右者十数，衣书药食，咸有典掌，而舆马僮奴，势侔于王家主第。自以才地人物，坐取三公，颇以简贵自处，善诱纳后进，其同列朝要，视之蔑如也。如道义相知，靡隔贵贱，而布衣韦带之士，恆虚席倒屣以迎之，时人以此称重。
李林甫忌之，出为襄阳太守，兼本道采访使，又改陈留采访使，复加银青光禄大夫。天宝中袭封郇国公，以亲累贬钟离太守，重贬义阳太守。寻移河东太守，充本道采访使。
十二年入考，在华清宫。右相杨国忠恶其才望，恐践台衡，乃引河东人吴象之谓曰：“子能使人告陟乎？吾以子为御史。”象之曰：“能。”乃告陟与御史中丞吉温结托，欲谋陷朝廷，又诱陟侄韦元志证之。陟坐贬为桂州桂岭尉，未之任，再贬昭州平乐尉。
会禄山反，陷洛阳，陟爱弟斌为贼所得。国忠欲构陟与贼通应，潜令吏卒伺其所居，欲协之令陟忧死。其士豪人劝陟曰：“昔张燕公窜逐，藏于陈氏，以免危亡。诏命傥来，谁敢申覆？未若轻舟千里，且泛溪洞，候事清徐出，岂不美也！”陟慨然应之曰：“我积信于国朝，非一代也。况素所秉心，无负神理，命之合尔，其敢逃刑？燕公之谋，诚愧厚意，不能从也。”因谢遣之，乃坚卧不动。
经岁余，潼关失守，肃宗即位于灵武，起为吴郡太守，兼江南东道采访使。未到郡，肃宗使中官贾游严手诏追之。未至凤翔，会江东永王擅起兵，令陟招谕，除御史大夫，兼江东节度使。陟以季广琛从永王下江，非其本意，惧罪出奔，未有所适，乃有表请拜广琛为丹阳太守、兼御史中丞、缘江防御使，以安反侧。因与淮南节度使高适、淮西节度使来瑱等同至安州。陟谓适、瑱曰：“今中原未复，江淮动摇，人心安危，实在兹日。若不齐盟质信，以示四方，令知三帅协心，万里同力，则难以集事矣。”陟推瑱为地主，乃为载书，登坛誓众曰：“淮西节度使、兼御史大夫瑱，江东节度使、御