子婿唐晙邀安石至宅,安石竟拒而不往。睿宗尝密召安石,谓曰:“闻朝廷倾心东宫,卿何不察也?”安石对曰:“陛下何得亡国之言,此必太平之计。太子有大功于社稷,仁明孝友,天下所称,愿陛下无信谗言以致惑也。”睿宗矍然曰:“朕知之矣,卿勿言也。”太平于帘中窃听之,乃构飞语,欲令鞫之,赖郭元振保护获免。俄而迁尚书左仆射,兼太子宾客,依旧同中书门下三品,虽假以崇宠,实去其权。其冬,罢知政事,拜特进,充东都留守。太常主簿李元澄,即安石之子婿,其妻病死,安石夫人薛氏疑元澄先所幸婢厌杀之。其婢久已转嫁,薛氏使人捕而捶之致死。由是为御史中丞杨茂谦所劾,出为蒲州刺史。无几,转青州刺史。
安石初在蒲州时,太常卿姜皎有所请托,安石拒之,皎大怒。开元二年,皎弟晦为御史中丞,以安石等作相时,同受中宗遗制,宗楚客、韦温削除相王辅政之辞,安石不能正其事,令侍御史洪子舆举劾之。子舆以事经赦令,固称不可。监察御史郭震希皎等意,越次奏之,于是下诏曰:“青州刺史韦安石、太子宾客韦嗣立、刑部尚书赵彦昭等,往在先朝,曲蒙厚赏,因缘幸会,久在庙堂,朋党比周,闻于行路。景龙之末,长蛇纵祸,仓卒之间,人神愤怨,未闻舍生取义,直道昌言,遂削太上皇辅政之辞,用韦氏临朝之策。比常隐忍,复以崇班,将期愧畏,稍惩前恶,而尚款回邪,苟安荣宠。宜从谪官之典,以励事君之节。安石可沔州别驾,嗣立可岳州别驾,彦昭可袁州别驾,并员外置。”安石既至沔州,晦又奏云:“安石尝检校定陵造作,隐官物入己。”敕符下州征赃。安石叹曰:“此祇应须我死耳!”愤激而卒,年六十四。开元十七年,赠蒲州刺史。天宝初,以子贵,追赠开府仪同三司、尚书左仆射、郇国公,谥曰文贞。二子陟、斌,并早知名。
陟字殷卿,代为关中著姓,人物衣冠,弈世荣盛。安石晚有子,及为并州司马,始生陟及斌,俱少聪敏,颇异常童。陟自幼风标整峻,独立不群,安石尤爱之。神龙二年,安石为中书令,陟始十岁,拜温王府东阁祭酒,加朝散大夫,累迁秘书太堂丞,有文彩,善隶书,辞人、秀士已游其门矣。开元初,丁父忧,居丧过礼。自此杜门不出八年,与弟斌相劝励,探讨典坟,不舍昼夜,文华当代,俱有盛名。于时才名之士王维、崔颢、卢象等,常与陟唱和游处。广平宋公见陟叹曰:“盛德遗范,尽在是矣。”历洛阳令,转吏部郎中。张九龄一代辞宗,为中书令,引陟为中书舍人,与孙逖、梁涉对掌文诰,时人以为美谈。
后为礼部侍郎。陟好接后辈,尤鉴于文,虽辞人后生,靡不谙练。曩者主司取与,皆以一场之善,登其科目,不尽其才。陟先责旧,仍令举人自通所工诗笔,先试一日,知其所长,然后依常式考核,片善无遗,美声盈路。后为吏部侍郎,常病选人冒名接脚,阙员既少,取士良难,正调者被挤,伪集者冒进。陟刚肠嫉恶,风彩严正,选人疑其有瑕,案声盘诘,无不首伏。每岁皆赎得数百员阙,以待淹滞,常谓所亲曰:“使陟知铨衡一二年,则无人可选矣。”
陟门地豪华,早践清列,侍兒阉阍,列侍左右者十数,衣书药食,咸有典掌,而舆马僮奴,势侔于王家主第。自以才地人物,坐取三公,颇以简贵自处,善诱纳后进,其同列朝要,视之蔑如也。如道义相知,靡隔贵贱,而布衣韦带之士,恆虚席倒屣以迎之,时人以此称重。
李林甫忌之,出为襄阳太守,兼本道采访使,又改陈留采访使,复加银青光禄大夫。天宝中袭封郇国公,以亲累贬钟离太守,重贬义阳太守。寻移河东太守,充本道采访使。
十二年入考,在华清宫。右相杨国忠恶其才望,恐践台衡,乃引河东人吴象之谓曰:“子能使人告陟乎?吾以子为御史。”象之曰:“能。”乃告陟与御史中丞吉温结托,欲谋陷朝廷,又诱陟侄韦元志证之。陟坐贬为桂州桂岭尉,未之任,再贬昭州平乐尉。
会禄山反,陷洛阳,陟爱弟斌为贼所得。国忠欲构陟与贼通应,潜令吏卒伺其所居,欲协之令陟忧死。其士豪人劝陟曰:“昔张燕公窜逐,藏于陈氏,以免危亡。诏命傥来,谁敢申覆?未若轻舟千里,且泛溪洞,候事清徐出,岂不美也!”陟慨然应之曰:“我积信于国朝,非一代也。况素所秉心,无负神理,命之合尔,其敢逃刑?燕公之谋,诚愧厚意,不能从也。”因谢遣之,乃坚卧不动。
经岁余,潼关失守,肃宗即位于灵武,起为吴郡太守,兼江南东道采访使。未到郡,肃宗使中官贾游严手诏追之。未至凤翔,会江东永王擅起兵,令陟招谕,除御史大夫,兼江东节度使。陟以季广琛从永王下江,非其本意,惧罪出奔,未有所适,乃有表请拜广琛为丹阳太守、兼御史中丞、缘江防御使,以安反侧。因与淮南节度使高适、淮西节度使来瑱等同至安州。陟谓适、瑱曰:“今中原未复,江淮动摇,人心安危,实在兹日。若不齐盟质信,以示四方,令知三帅协心,万里同力,则难以集事矣。”陟推瑱为地主,乃为载书,登坛誓众曰:“淮西节度使、兼御史大夫瑱,江东节度使、御史大夫陟,淮南节度使、御