在乾隆十五年八月，據說當時乾隆派了最信賴的內務府大臣德保去執行收繳任務的時候，秘密的叮囑了壹番德保便出發了。到了老張家裏，老張率領全家，跪在大門口迎接被收繳（也夠可憐的）。早早就遵循聖旨把從上班以來，三朝皇帝賞給他的字畫、珠寶、衣服統統收拾到壹塊兒，準備上繳（幸虧這些東西保存的好，要不更倒黴）。
沒想到的是，德保帶了十多名侍從和二百兵丁。這些人到了張家，不由分說，口口聲聲查找遺漏，結果開箱砸鎖，挖地三尺，就這樣把老張家翻了個亂七八糟。最後把翻出來的所有文字東西統統帶走了。
乾隆十五年，老張準備要走，
這時候皇長子永璜死了，這老張是永璜的老師，必須參加喪禮，好不容易熬過了初祭，老張又向皇帝上奏，要走。
妳可想想，這是皇帝的兒子，心肝沒了，心情正難過呢。這奏折上去能有好果子吃嗎？
就這樣小宇宙徹底爆發的皇帝舊事重提，把過去的壹切都翻出來了，老張被取消配享太廟的榮譽，灰溜溜的回家了。為了這個配享，老張可是奮鬥了壹生呀！
老張從要退休就那時候就憧憬衣錦還鄉的那壹刻，多大的尊榮，如今卻變成了這樣，到了老家，地方官員沒有壹個迎接，只有壹個侄子率領幾個家人，把他接近了老屋。老頭真是心灰意冷，後悔死了。
倒黴事兒還沒完，過了幾天老張精神才好點，他親家四川學政朱荃出事了，為了掙點考試補貼款，隱瞞了他老媽去世的消息，讓禦史給參了。這朱荃上位全是靠了張廷玉的舉薦。
於是越想越生氣的皇帝眼裏再揉不得壹點沙子了，決定收回以往三代皇帝對張廷玉的壹切賞賜，以表示對老張的懲罰。