眼看著曾布怒氣衝衝走出了垂拱殿，一向脾氣溫和的徽宗，這回是真的生氣了，拂袖而起，嘟著嘴、漲紅著臉，也向殿外走去。楊光華和楊戩急忙跟了上去，留下蔡京、溫益和陳中。三個人望著皇上的背影，很無奈的搖頭。蔡京說：“你們看，這就是宰相應有的形象嗎？宰相就可以不管不顧，連皇上都不在他的眼裡嗎？”
陳中說：“皇上太慣他，把他寵壞了，簡直無法無天。”
溫益說：“這怎麼能怪皇上呢？這人就是這樣的德行。”
蔡京沒有再說什麼，而是給兩位使了個眼色，三人就離開了垂拱殿。
因為徽宗很少這樣生氣，所以走出殿門後，反而有些茫然，一時不知道該往哪裡走。就站在殿門外。蔡京等三人經過他身邊的時候，都給他作了個揖，然後離去了。
楊戩兩手手指絞著，低聲下氣的問道：“皇上您要去哪裡呀？”
徽宗看了楊戩一眼，過了好一會兒，才突然轉身說：“回去。”然後就重新回到了垂拱殿。
楊光華知道，皇上被曾布氣暈了，就給楊戩示意，讓楊戩給皇上端來了熱茶，送到皇上的手邊。皇上看了一眼說：“不喝。簡直太不像話了，這朝廷簡直成了他家的天下了，什麼時候學成了這樣？”
楊光華接口說：“皇上，您是一國之君，犯不上跟這樣的人生氣。他雖然是宰相，但是他的所作所為都說明他還是個小人；皇上您是天子，不必跟這樣的人一般見識”。
楊戩也點著頭說，“是啊是啊，皇上要是氣壞了身子，那可是全天下人的事了”。
徽宗轉過臉來問楊光華，“你說這事怎麼辦？我真的沒想到。他竟然到了這樣的地步。”
楊光華說：“其實前幾天，那十多封彈劾奏章，就已經把他的所作所為列出了不少，今天溫益和陳中又都在場，估計這事啊，他們還得要彈劾。如果再有彈劾的，皇上，您可以新賬舊賬一塊算，該怎麼處分就怎麼處分，這次不能讓著他，您如果在這種事上還讓著他的話，那您皇上的尊嚴和權威可真的就被他踩在腳下了”。
果然，事態像楊光華預料的一樣。到了下午，陳中的彈劾奏章就上來了。同時溫益在給徽宗講課之前，交給了徽宗一篇論君臣之禮的奏疏。到第二天上午，又接連上來十多封奏書，全是彈劾曾布的。有的說，曾布在呼吸之間都帶有戾氣，喜怒之際就給人帶來禍害；曾布仗著自己是宰相，為所欲為。其中有兩封奏書，列舉了曾布在地方州府，擅自提拔官員的事例。吏部的一份奏書，則直接列出了曾布未經皇上同意，自己當家提拔的一百多名官員。楊光華特彆把這份奏疏標出來，優先呈交給了皇上。徽宗一看臉就有些發白，嘴唇哆嗦著說，“豈有此理，他才當宰相不足五個月，居然就擅自提拔了一百多名官員，我一個都不知道，真是膽大包天。”說著就把那份奏書“砰”的一聲，按在了手底下。
楊光華知道，這一回，徽宗這氣，可以說是怒氣衝天了。就接著說，“皇上，曾布到了這個份兒上，那就不能怪皇上手下無情了，您對他夠可以的。您信任他，重用他，也很倚重他，把朝廷的權利基本上都交給了他，可是他辜負了您的希望，他忘了自己僅僅是個宰相，天下是皇上的天下，朝廷是皇上的朝廷，官職和爵祿，也都是皇上的。到了這種情況，皇上您就不能再跟他客氣了，也不能再給他留情麵”。
徽宗說，“唉，我肯定不會再給他留情麵，不過說起來，他對朝廷是也算是有貢獻的。這樣吧，光華，你呢，側麵提醒他一下，看看讓他自己辭職。如果它不主動辭的話，再對他采取措施。”
楊光華知道，曾布對自己並沒有很強的惡感。即便在大堂上因建畫院的事兒，楊光華提出了跟曾布不一致的意見，當時引起了曾布的反感，但那也隻是特殊情況下不得已的做法，不知曾布是不是還在記恨他呢？所以皇上交代給他這個任務之後，他就想應該怎樣去給曾布說？如果被曾布轟出來，不但完不成皇上交代的任務，自己還會丟麵子。想來想去，他覺得還是應該托曾肇去說更合適。
楊光華來到政事堂，看到曾肇正伏案疾書。說起來，曾肇這個人也夠有個性的。他在中書舍人的位置上已經連續乾了八年多，也就是說自從哲宗親政以來，他就一直是中書舍人，這中間跟他一起做中書舍人的像袁布凡、張商英、蔡卞等人都已經提拔起來，唯獨他依然做這個中書舍人。雖說他現在是首席中書舍人，徽宗還給他掛上了個龍圖閣直學士，把他的品級提高到了從三品，但是除了袁布凡和蔡卞作為章惇餘黨被貶官，同期的中書舍人張商英已經比他高，可曾肇卻安於這個崗位，在曾布要給他提拔一下的時候，他斷然否決了。這事本來隻有他兄弟兩個和曾布的秘書知道，正常情況下其他人應該不會知道的，但是曾布的秘書卻把消息透露了出去，因此楊光華知道此事。說起來曾布的秘書本不該對外透露這樣的事，可自從曾布當宰相之後，脾氣越來越大，動輒訓人，並且有幾次把這個秘書都訓得掉了眼淚又無處訴說，因此秘書對曾布的怨氣也越來越大，有時候就在外邊對比較知己的人發牢騷，抱怨曾布。