侍郎严挺之善。挺之初娶妻出之，妻乃嫁蔚州刺史王元琰。时元琰坐赃，诏三司使推之，挺之救免其罪。玄宗察之，谓九龄曰：“王元琰不无赃罪，严挺之嘱托所由辈有颜面。”九龄曰：“此挺之前妻，今已婚崔氏，不合有情。”玄宗曰：“卿不知，虽离之。亦却有私。”玄宗籍前事，以九龄有党，与裴耀卿俱罢知政事，拜左、右丞相，出挺之为洺州刺史，元琰流于岭外。即日林甫代九龄为中书、集贤殿大学士、修国史；拜牛仙客工部尚书、同中书门下平章事，知门下省事。监察御史周子谅言仙客非宰相器，玄宗怒而杀之。林甫言子谅本九龄引用，乃贬九龄为荆州长史。
玄宗终用林甫之言，废太子瑛、鄂王瑶、光王琚为庶人，太子妃兄驸马都尉薛锈长流瀼州，死于故驿，人谓之“三庶”，闻者冤之。其月，佞媚者言有乌鹊巢于大理狱户，天下几致刑措。玄宗推功元辅，封林甫晋国公，仙客豳国公。其冬，惠妃病，三庶人为崇而薨。储宫虚位，玄宗未定所立。林甫曰：“寿王年已成长，储位攸宜。”玄宗曰：“忠王仁孝，年又居长，当守器东宫。”乃立为皇太子。自是林甫惧，巧求阴事以倾太子。
林甫既秉枢衡，兼领陇右、河西节度，又加吏部尚书。天宝改易官名，为右相，停知节度事，加光禄大夫，迁尚书左仆射。六载，加开府仪同三司，赐实封三百户，而恩渥弥深。凡御府膳羞，远方珍味，中人宣赐，道路相望。与宰相李适之虽同宗属，而适之轻率，尝与林甫同论时政，多失大体，由是主恩益疏，以至罢免。黄门侍郎陈希烈性便佞，尝曲事林甫，适之既罢，乃引希烈同知政事。林甫久典枢衡，天下威权，并归于己，台司机务，希烈不敢参议，但唯诺而已。每有奏请，必先赂遗左右，伺察上旨，以固恩宠。上在位多载，倦于万机，恆以大臣接对拘检，难徇私欲，自得林甫，一以委成。故杜绝逆耳之言，恣行宴乐，衤任席无别，不以为耻，由林甫之赞成也。
林甫京城邸第，田园水硙，利尽上腴。城东有薛王别墅，林亭幽邃，甲于都邑，特以赐之，及女乐二部，天下珍玩，前后赐与，不可胜纪。宰相用事之盛，开元已来，未有其比。然每事过慎，条理众务，增修纲纪，中外迁除，皆有恆度。而耽宠固权，己自封植，朝望稍著，必阴计中伤之。初，韦坚登朝，以坚皇太子妃兄，引居要职，示结恩信，实图倾之，乃潜令御史中丞杨慎矜阴伺坚隙。会正月望夜，皇太子出游，与坚相见，慎矜知之，奏上。上大怒，以为不轨，黜坚，免太子妃韦氏。林甫因是奏李适之与坚昵狎，及裴宽、韩朝宗并曲附适之，上以为然，赐坚自尽，裴、韩皆坐之斥逐。后杨慎矜权位渐盛，林甫又忌之，乃引王鉷为御史中丞，托以心腹。鉷希林甫意，遂诬罔密奏慎矜左道不法，遂族其家。杨国忠以椒房之亲，出入中禁，奏请多允，乃擢在台省，令按刑狱。会皇太子良娣杜氏父有邻与子婿柳勣不叶，勣飞书告有邻不法，引李邕为证，诏王鉷与国忠按问。鉷与国忠附会林甫奏之，于是赐有邻自尽，出良娣为庶人，李邕、裴敦复枝党数人并坐极法。林甫之苞藏安忍，皆此类也。
林甫自以始谋不佐皇太子，虑为后患，故屡起大狱以危之，赖太子重慎无过，流言不入。林甫尝令济阳别驾魏林告陇右、河西节度使王忠嗣，林往任朔州刺史，忠嗣时为山东节度，自云与忠王同养宫中，情意相得，欲拥兵以佐太子。玄宗闻之曰：“我兒在内，何路与外人交通？此妄也。”然忠嗣亦左授汉阳太守。八载，咸宁太府赵奉章告林甫罪状二十馀条。告未上，林甫知之，讽御史台逮捕，以为妖言，重杖决杀。
十载，林甫兼领安西大都护、朔方节度，俄兼单于副大都护。十一载，以朔方副使李献忠叛，让节度，举安思顺自代。国家武德、贞观已来，蕃将如阿史那杜尔、契苾何力，忠孝有才略，亦不专委大将之任，多以重臣领使以制之。开元中，张嘉贞、王晙、张说、萧嵩、杜暹皆以节度使入知政事，林甫固位，志欲杜出将入相之源，尝奏曰：“文士为将，怯当矢石，不如用寒族、蕃人，蕃人善战有勇，寒族即无党援。”帝以为然，乃用思顺代林甫领使。自是高仙芝、哥舒翰皆专任大将，林甫利其不识文字，无入相由，然而禄山竟为乱阶，由专得大将之任故也。
林甫恃其早达，舆马被服，颇极鲜华。自无学术，仅能秉笔，有才名于时者尤忌之。而郭慎微、苑咸文士之阘茸者，代为题尺。林甫典选部时，选人严迥判语有用“杕杜”二字者，林甫不识“杕”字，谓吏部侍郎韦陟曰：“此云‘杖杜’，何也？”陟俯首不敢言。太常少卿姜度，林甫舅子，度妻诞子，林甫手书庆之曰：“闻有弄麞之庆。”客视之掩口。
初，杨国忠登朝，林甫以微才不之忌；及位至中司，权倾朝列，林甫始恶之。时国忠兼领剑南节度，会南蛮寇边，林甫请国忠赴镇。帝虽依奏，然待国忠方渥，有诗送行，句末言入相之意。又曰：“卿止到蜀郡处置军事，屈指待卿。”林甫心尤不悦。林甫时已寝疾。其年十月，扶疾从幸华清宫，数日增剧，巫言一见圣从差减，帝欲视之，左右谏止。乃敕林甫出于庭中，上登降圣阁遥视，举红巾