1136(紹興六年)農歷三月二十六日，就在嶽飛即將進入襄陽領兵北上的時候，他70歲的母親姚夫人不幸死在了武昌軍中。婆婆是個深明大義的女人。“婆婆紋身”的故事，千百年來家喻戶曉。相傳，母親為了鼓勵嶽飛精忠報國，親自在兒子的背上刺上了“精忠報國”四個字。嶽飛是個孝子，母親的死讓他很難過。他立即向朝廷報到，自動解除兵役，帶著妻兒護送靈柩回廬山，準備在母親墳前守孝三年。
但是，由於軍事形勢緊急，朝廷不允許嶽飛這樣做，宋高宗也不同意開除嶽飛。他壹方面安葬丈母娘，壹方面派人到廬山要求嶽飛立即返回武昌軍營，但嶽飛沒有做到。宋高宗看到嶽飛拒絕返回軍隊。五月中旬，他命令所有嶽家軍軍官輔佐他，* * *前往廬山邀請嶽飛歸軍。否則，他們都會受到懲罰。自古忠孝難容。至此，嶽飛只好“改忠為孝”，離開廬山回到武昌軍營。孝順的任務就交給了他的妻子李太太。
次年(公元1137年)三月，朝廷原計劃將另壹支軍隊並入嶽飛的軍隊，這樣嶽家軍以十萬之師就可以發兵北上收復中原。但是宋高宗突然臨時改變主意(擔心將軍們會有太多的軍隊)並取消了這個計劃。這種出爾反爾讓嶽飛非常失望，悶悶不樂地從南京回到九江。他再次要求解除軍權，守好廬山，孝順母親。宋朝廷不同意，高宗相繼拒絕了嶽飛的辭職信，並派元老院官員李若虛和桂王邀請嶽飛歸隊。李、王前往廬山傳達朝廷的意見，但嶽飛不願意改變主意。李若望著急地說:“如果妳這次不回武昌軍營，我和桂王都會被處死。我們辜負了將軍什麽？為什麽將軍忍心殺我們？我們為此而死，妳的良心沒有受到譴責嗎？”
嶽飛無奈，七月回到武昌。
1140年，金兵侵境，嶽飛率軍禦敵。嶽家軍驍勇善戰，不僅粉碎了敵人的進攻，還多次破關斬將，收復了金人先前占領的應昌(許昌)、(淮陽)、鄭州、洛陽等地。淪陷區人民也揭竿而起，響應宋軍，金軍聞風喪膽，心慌意亂，大呼:“撼山易，撼嶽家軍難！”正當嶽飛的軍隊所向披靡，準備傾家蕩產的時候，壹心和談的宋高宗和漢奸秦檜卻不願擴大戰果。他們壹方面命令其他宋軍撤退，另壹方面還派人到嶽飛的營地要求他“調兵遣將”(並不存在宋高宗壹天12塊金牌催嶽飛調兵，壹直流傳的說法)。宋軍從其他道路撤退，這使得嶽家軍失去了他的角，他被單獨留下。嶽飛和將領們緊急商議，分析利益，只好忍痛出兵。臨行前，嶽飛感嘆:“十年心血白費！州縣收入壹次全收；興國難，收復天下難！”