隐忍；又因武宗巡幸不时，朝臣屡谏不听。不得已上疏奏陈时政，讥切钱宁、江彬近幸等人。钱宁、江彬切齿痛恨，江彬因说道：“杨一清这老匹夫如此可恶！怎得设个法儿，将这老匹夫赶出，我辈才可为所欲为。”钱宁道：“这却不难，可如此如此，包管那老匹夫不久就要见罪于圣上了。”
过了两日，果有优人造成蜚语，妄说杨一清妄议国政，跋扈朝廷，奴隶廷臣，交通外党。却好这日武宗张乐饮宴，优人便将所造各蜚语乘间报之，武宗果相信不疑，次日上朝，面责杨一清各事。杨一清当下吓得汗流浃背，即碰头奏道：“臣世受国恩，虽肝脑涂地。不足报于万一，臣又何敢跋扈朝廷，擅揽国政？尚乞圣上明查暗访。果有前项各事，请治臣以不臣之罪；若无此事，必有近幸妄造蜚语，以惑主听，亦请圣上务查造语之人，治以诬蔑之罪，则国家幸甚，微臣幸甚。”武宗闻奏，便望杨一清笑道：“朕前言戏之耳，卿何必如此认真耶？朕岂不知卿之为人素称忠直，而顾有如此之妄乎？卿毋介意便了。”杨一清当下又碰头谢罪道：“臣诚有罪，惟愿圣上亲贤臣、远小人，臣虽碎身粉骨，亦所愿耳。臣不胜昧死以奏。”武宗闻奏，不觉微有不悦，道：“卿所奏‘亲贤臣，远小人’二语，贤臣自宜亲近，但不知朕所亲小人者何在，想卿有所见闻耳。”杨一清见问，知武宗不悦，赶着碰头奏道：“聪明神圣，莫如陛下，岂不知亲贤臣、远小人？原不足为臣虑。臣所以不得不奏者，欲陛下防之于将来，不必为小人所惑，臣亦庶几报恩于陛下耳。幸陛下察之。”武宗见杨一清说得委婉，方才息了怒容，退朝进宫而去。
各官朝散，杨一清回至私第，心中想道：“现在圣上偏见不明，我若久恋朝廷，必难终局，不若乞休归田，尚可克全晚节。”因与夫人田氏言道：“卑人现年已过花甲，日渐颓唐，儿子尚未成立。若久恋爵禄，殊觉非计。况当此阉宦专权，我又生性刚直，一举一动，大半不满人意，现在圣眷虽隆，却不可待。常言道‘伴君如伴虎’，倘若一旦圣心偏向，败坏晚节，反为不美。不若趁此急流勇退，解组归田，做一个闲散农夫，以了天年，反觉得计。至于名垂青史，功在简编，后世自有定论，此时亦不必计及。卑人立意如此，不知夫人意下如何？”田夫人闻杨相之言，便喜道：“老爷所虑甚是。现在钱宁、江彬一流，专权用事，眼见朝纲紊乱。圣上又宠幸异常，老爷又刚直不阿，难保不为若辈所忌。乞休之计，甚是保全之道，但不识圣上可能允准否？”杨一清道：“不瞒夫人说，今早上朝，圣上即责卑人数事，说卑人揽权专政，跋扈朝廷。卑人当妻告圣上，此必有小人妄造蜚语，上惑君听，并劝圣上‘亲贤臣、远小人’。那知圣上不察卑人之言，反有不悦之意，问卑人所谓小人何在。幸亏卑人委婉奏对，圣上始觉转怒为喜。因此卑人见此情形，惟恐圣上偏听不明，谗口铄金，事所必至。与其有失晚节，不如及早罢休，所以卑人才有这归田之意的。若谓圣上不准，卑人逆料断无此事。现在钱宁一流，只虑卑人不肯乞休，若果上了这乞休表章，即使圣上有留用之意，钱、江辈亦必怂恿圣明，准我所请。我于那表章上再说得委婉动听，必然允准的。”
此时，杨相的公子名唤克贤，年方一十三岁，听得杨相这番议论，也便恭恭敬敬的说道：“爹爹方才与母亲所言，孩儿亦觉甚善。在孩儿看来，做官虽有光耀，却是最苦之事。人家觉未睡醒，五更甫到，便要上朝。每天还要面皇帝碰头，更要跪在那里说话。少年人还可劳苦，如爹爹这偌大的年纪，早起睡晚，怎么能吃这样苦？官却不可不做，古人有言：‘显亲扬名’，正是这个意思。若长久做下去，也殊觉无味。不如依爹爹主意，辞去爵禄，安稳家居。每日又不须起早，无事的时节，或同朋友下棋，或自己看书，或与母亲闲谈闲谈，或教授孩儿些古往今来之事，在家享福，何等不好？等爹爹过到一百岁，那时孩儿也成人了，便看着孩儿去中状元，再如爹爹这样大的官做几年，代皇上家立一番事业，建下些功劳，再学爹爹今日归田的法子。”公子言毕，杨公大喜，便笑道：“我儿，为父的就照你这样说，明日上朝面奏一本，绝计归田便了。”
少刻摆上午饭，夫妻父子用饭已毕，即命家丁将徐鸣皋等请来，有话面说。家丁答应前去。一会儿，徐鸣皋等十位英雄齐集相府。杨丞相与徐鸣皋等分宾主坐定，徐鸣皋却首先问道：“丞相见召，有何示谕？”杨丞相便叹了口气，说道：“诸位将军有所不知，现在朝廷阉宦专权，钱宁、江彬等颇得近幸。眼见朝纲紊乱，不可收拾，老夫目不忍视，圣上又偏听不明。现在老夫年纪已大，不能顾全朝政，与其素餐尸位，不如解组归田。因将军等皆国家栋梁，忠义素著，所以老夫特请诸位到此，用告一言：老夫乞休之后，诸位将军当以上报国家为重，锄奸诛恶为心；而且宸濠叛逆虽未大明，终久必为大患，那时总赖将军等竭力征讨，以定国家磐石之安。老夫虽已乞休，亦属不得已之举，还望将军等俯听老夫一言，共相自勉，则老夫有厚望焉。”杨丞相将徐鸣皋等勉励一番，若有恋恋不舍之意。毕竟徐鸣皋等说出