丹去矣。郭子仪听了，连连跌足说道：“大事去矣！”杨国忠问是何故，子仪道：“禄山面有反骨，此去重兵在握，宛如纵虎归山，反中原必矣！”杨国忠听了子仪的话，亦不觉恍然大悟。一面表奏郭子仪为卫尉卿，统兵保卫京师；一面入宫面奏天子，说安禄山有反意，不可使久留在外。玄宗疑信参半，国忠再三言之，玄宗始下诏召禄山还朝。
安禄山在京师时，知杨丞相不能相容，便入宫与贵妃密议；杨贵妃劝禄山出外建立奇勋，再回朝来，替他在皇帝跟前进言，退去杨国忠，便可立禄山为相。禄山听了贵妃的话，又想到将来功成回朝，身为丞相，大权在握，那时出入宫廷，与贵妃早夕相见，谁也奈何他不得。因此他辞别玄宗，一意图功去。这时适值契丹弄兵，玄宗便命禄山率河东兵讨契丹。
贵妃自禄山去后，寂处宫中，时时想念；适有交趾贡龙脑香，有蝉蚕形状的五十枚，波斯人言老龙脑树节上方有，宫中呼为瑞在脑。玄宗赐贵妃十枚，贵妃私发明驼史，持三枚赠与安禄山。后又私赐金平脱装具玉合，金平脱铁面碗。禄山在军中，也时与贵妃通消息。明驼是一种驼鸟，腹下有毛，夜发光明，日行五百里；唯帝王有军国要事，可遣发明驼。今贵妃因爱禄山甚切，亦私发明驼，玄宗却不知道。那禄山受贵妃宠爱，便力求立功战场；兵至土护真河，禄山传令，每兵持一绳，欲尽缚契丹兵，连夜进兵三百里，直上天门岭。忽遇大雨，弓软箭脱，败坏不可用，禄山在后催逼前进，不肯停留。大将何思德劝道：“兵士疲于奔命，宜少息，待天晴再行。”禄山大怒，欲斩思德；思德大惧，便带领士卒，奋勇下山杀敌。何思德面貌与安禄山相同，那敌营中箭如飞蝗，齐向何思德射来，可怜何思德死于乱箭之下，手下数千兵士，尽向四处逃命。禄山见势不佳，忙拨转马头，落荒而走，后面契丹兵乘胜长驱。正危急时候，只听得空中呜呜一声响，一枝箭飞来，正中安禄山肩窝，顿时马仰人翻，滚下山涧去。幸他儿子庆宗，养子孙孝哲，紧随在后，忙下涧去，把禄山扶起，乘夜逃窜。看看到了平卢地界，有安禄山部将史定方，统兵十万把守着。
这时朔方节度使阿思布，统帅雄兵，镇守边关；安禄山这时地位狭小，无可立足，见阿思布兵多地广，便令史定方带领大兵，出其不意，直攻阿思布。口称：“奉天子之命，取叛将阿思布首级。”那阿思布一时惊慌无措，便单骑出走，奔葛罗禄。安禄山便坐得数千里地方，领兵四十余万，声势甚大。葛罗禄酋长，畏唐皇加罪，便活捉阿思布，送安禄山营。当时禄山报入朝廷，说阿思布谋反，已将叛臣擒住。玄宗下旨，令安禄山解送京师。那时杨国忠和太子已知道安禄山兵败，和并吞阿思布的实情；便同进宫去，奏明皇上，玄宗不信，说且看禄山来京形状如何。
那禄山到京，已有他的心腹人告诉他，丞相和太子在天子跟前说的话。安禄山便至华清宫朝见天子，那时杨贵妃也侍坐在旁，一见禄山回朝，芳心不禁喜悦；禄山却做出一副可怜的样子来，哭拜在地。口称：“臣儿生长蕃中，不识上国文字，蒙陛下宠爱过甚，使臣儿统兵在外；朝内杨丞相，因妒生恨，必欲置臣儿于死地，求陛下见怜！”玄宗见他这副可怜的样子，便竭力拿好话安慰他。杨贵妃忙命看酒，赐吾儿洗尘。这一天，安禄山吃得醺醺大醉，从宫中出来，回到府中，自有孙孝哲母子二人伺候。
孙孝哲见安禄山奸污了他的母亲，不但心中不愤怒，而且又百般承迎着，得安禄山的欢心。孙孝哲面貌既长得俊美，皮肤又生成白净；兼之语言伶俐，举动轻巧，禄山常常玩弄着他，拿他消愁解闷。孙孝哲的母亲作主，命孝哲拜禄山做义爷，孝哲每见义爷出外回家，总是寸步不离的。便是眼看着他母亲被禄山拥抱戏弄着，他也毫不觉得羞耻，反在一旁欢笑助兴。有一天，安禄山在朝门候旨，忽然衣带中断，正进退两难，孙孝哲在一旁，他衣袋中原带着针线的，便跪近身去，替他把衣带缝好。禄山大喜，回得府来，便把一个绝美的姬人，赏与孝哲做妻子。好今因孝哲在天门岭求了禄山的性命，回得认来，愈加把个孝哲宠上天去了。孝哲在禄山府中，出入内室，毫不避忌。禄山原有姬妾数十人，都和孝哲调笑无忌，渐渐地都和孝哲勾搭上手了。禄山却昏昏沉沉地睡在鼓中。
这一次，禄山进京来原来探听消息；他也曾几次偷进宫去，和杨贵妃相会。安禄山便悄悄把自己的意思对杨贵妃说了。在安禄山的意思，因贵妃深居宫闱，每次相会，颇不方便；此次禄山有兵四十余万，驻扎在边境，他想把妃子劫出宫去，同至边境，一双两好地过着日子，因此早已把府中的细软人口，陆续搬运出京，送至边境安顿。可笑满朝文武数千人，把守京城的兵士余万人，竟没有一人发觉安禄山的奸谋。这安禄山看看诸事停妥，便又偷进宫去，劝杨贵妃逃出宫去，图个天长地久。
杨贵妃听了这禄山的话，便笑说道：“痴儿！人皆为天子，汝独不能为天子乎？我大唐妃子也，不能学村妇私奔。”一句话提醒了安禄山，忙叩着头说道：“孩儿领娘娘旨意。儿去矣，娘娘珍重！”说着，便出宫来。
那杨