當北宋土崩瓦解，南宋在廢墟中倉皇求生時，宋高宗趙構念茲在茲的是完成兩件事情：（1）軍隊收歸朝廷，也就是將主要軍事力量置於皇權的掌控之下；（2）財政收歸朝廷，也就是重建汲取體系，重建維系朝廷運轉的經濟命脈。其中，又以前者最為根本——因為南宋初年的大部分稅賦收入，是掌控在地方軍事力量手中的。
彼時，北宋的主力部隊禁軍，早已在開封城下化為烏有；江南地區的財政也無從指望，趙構壹度淪落到想要賞賜大臣、卻連壹匹完整的馬也拿不出來的窘境，最後只好將馬折算成錢，賞賜半匹。從趙構時代的第壹任宰相李綱開始，完成這兩件事，壹直是最大的政治任務。
李綱的政策是恢復唐代的藩鎮體制。他建議在宋、金前線的太原、真定、中山等地設立壹群允許世襲的軍事藩鎮，給予藩鎮將帥們自主收取租賦的特權，讓他們彼此協助，***同抵禦金軍。
提出這壹建議的背景，是當時的趙構手中，並無任何像樣的軍隊，也沒有財政收入可以支持他組建軍隊。李綱只能寄希望於將民間抗金武裝與流落為盜匪的殘余部隊收編起來，來組建南宋的國家軍事力量。選擇恢復藩鎮體制，也是壹種無奈——朝廷無錢支持軍餉，只好任由軍閥成立藩鎮自由收取賦稅。
但李綱的這壹主張，與趙構發生了巨大沖突。趙構始終堅持恢復北宋的“禁軍”體制，要求主要軍事力量必須直接控制在皇帝手中，絕不容許藩鎮出現。李綱的政策流產，李綱本人也被迫離開了朝廷。
在此期間，尚是無名之輩的嶽飛，第壹次上書趙構，對朝政提出批評。在那份洋洋灑灑數千字的《上皇帝書》中，嶽飛極力想要說服趙構以武力恢復故土，但卻沒能搞明白誰是自己的主張的支持者、誰是反對者，指著南宋政權中樞內最大的主戰派李綱好壹頓痛罵。奏章的主旨七零八落，缺乏重心。南宋史學家李心傳讀了這份《上皇帝書》後，留下的評語是“不知所論何事”。
接替李綱的，是黃潛善與汪伯彥。他們在後世的史書中遭人唾罵為“奸臣”。
黃、汪二人采取的措施，與李綱完全不同。與趙構相似，他們對藩鎮體制有著深深的恐懼，極力主張建立直屬於皇帝的中央軍。他們決定解散抗金的民間軍隊，也放棄了招降盜賊（多數盜賊的前身是原北宋軍隊）的政策，改從這些民間軍隊和盜賊軍團當中挑選優秀士兵，來組建由皇帝直接指揮的“禦營軍”。
組建禦營軍之前，南宋的主要軍事力量只有兩支。壹支是常年在西北抗金的陜西軍，後來演變成南宋的四川軍團；另壹支是老將宗澤統率的開封軍團。禦營軍若組建成功，將是趙構能夠直接掌控的第壹支軍隊。
但禦營軍的組建不能算是成功（或只能說有小部分成功）。其編制經過頻繁變動，到建炎三年，從禦營軍中***分裂出來三股力量：劉光世的禦營副使軍、韓世忠的禦前左軍、張俊的禦前右軍。這三股力量脫出後，禦營軍已是名存實亡。
劉光世、韓世忠和張俊統領的這三支軍隊，後來均發展成了南宋的主力軍團，三人加上嶽飛，並稱南宋的“中興四將”。值得註意的是，張、韓、劉、嶽四支軍團，唯有嶽家軍沒有趙構禦營軍的歷史背景——嶽飛軍團的前身，是宗澤開封軍團瓦解後的殘余小部隊。這種獨樹壹幟的出身，多少也影響到了嶽飛日後的命運。
也是在建炎三年，趙構遭受到了來自跋扈軍閥的沈痛壹擊。該年正月，金軍大舉南侵——金國此時的對外政策，是消滅南宋、抓住趙構。宋軍無力抵抗，趙構只得倉皇逃亡，“百官皆不至，諸衛禁軍無壹人從行者”，大臣們皆不在身邊，禁軍也沒有隨駕護衛——禁軍的失職背後，是部隊早已人心浮動。
三月份，杭州的護駕部隊果然發生了叛亂，他們逼迫趙構退位給三歲的皇太子，又請出了北宋哲宗皇帝的妻子隆祐皇太後垂簾聽政，且決定將趙構交給金人。此次叛亂，史稱“苗劉之變”——叛軍首領苗傅、劉正彥，原是趙構禦營軍中的統領。
趙構很快得以復位。新宰相範宗尹提出了新的整軍方案，建議皇帝再次考慮實行藩鎮制度——既然滿地是割據壹方的匪盜，朝廷又無力征討，倒不如順水推舟，給予他們藩鎮的資格，讓他們去抵禦金軍。與李綱的主張所不同者，範宗尹的藩鎮建議只是權宜之計，他的長遠目標仍是組建壹支直屬皇帝的龐大中央軍。
與範宗尹招安匪盜的政策出臺大略同期，嶽飛的部隊正面臨著淪為匪盜的危險——淮河流域最大的抗金軍團首領杜充突然投降，隸屬於杜充的嶽飛無家可歸，只能向南流浪，更多的同僚則就地轉化為盜賊，邀請嶽飛上山入夥者絡繹不絕。
這段流浪經歷，對“嶽家軍”的成型至關重要。在此之前，嶽飛壹直是體制內的士兵或者將官；杜充的投降將嶽飛和他的部隊從體制中踢了出去。當部隊結束流浪、再次回到體制內，嶽飛和他所率領的部隊，已在流浪中建立起了深厚的私人紐帶。
建炎四年（1130年），嶽飛參與了收復建康府的戰役。趁金軍主力在建康府江面與韓世忠水師激戰之際，嶽家軍在清水亭、牛頭山等地接連戰勝金軍余部。收復建康府，使嶽飛受到朝野矚目，不再是壹名默默無聞的“遊軍”將領，並有幸得到了趙構的接見。
部隊回歸體制，嶽飛成了鎮守壹方的將帥（通、泰鎮撫使），角色與地位的變化，多少影響到了“嶽家軍”的運作機制。在流浪時期，嶽飛與軍中將領們建立起了同袍手足般密切的關系，比如在收復建康府壹戰中立下不小軍功的猛將傅慶，就經常不當嶽飛是上級，缺錢時總是大剌剌地直接找到嶽飛：“嶽丈，傅慶沒錢使，可覓金若幹，錢若幹”，嶽飛也“全然不以為意”。
但這種親密關系，在嶽飛成為鎮撫使後發生了變化，據《三朝北盟會編》記載：“及飛為鎮撫使，恃法嚴肅，尤不可犯，而（傅）慶不改其常。飛待之異，慶頗覺之，不喜。”
嶽飛的變化，並不是壹件很難理解的事情——做了鎮撫使，既意味著地位的上升，也意味著自己與部隊進入了南宋朝廷密切關註的範疇，不能再沿用以前做流浪軍時的行為模式，“恃法嚴肅”不給他人留下攻擊的把柄，是壹件非常有必要的事情。
遺憾的是，傅慶不能體察到這壹點。他不但變得不高興，還動了脫離嶽家軍的念頭。適逢劉光世派部將王德前往高郵抵擋金軍，嶽飛派傅慶前去支援。傅慶以前曾是劉光世的部下，在軍前對王德表示自己有意重回劉光世麾下。張憲探知此事後，密告給了嶽飛。隨後，嶽飛開始部署對傅慶的處理，據《三朝北盟會編》的記載，嶽飛召集了麾下的統制官來比試弓箭，傅慶連射三箭全超出170步，其他統制官均未超過150步，但戰袍與金帶卻被賞賜給了王貴，傅慶不服提出抗議，釀成沖突後被斬殺。
《三朝北盟會編》所記載的傅慶之死的細節未必準確。但時人稱南宋各“家軍”之間——當時，韓世忠的部隊被叫做“韓家軍”，張俊的部隊被叫做“張家軍”，劉光世的部隊被叫做“劉家軍”，嶽飛的部隊被叫做“嶽家軍”——存在強烈的排外情緒，形容他們“相視如仇讎，相防如盜賊”，則多少可以在傅慶之死這件事情上窺到壹些端倪。
換個角度來看，這種“相視如仇讎，相防如盜賊”，其實也是壹種不得已的做法，若允許傅慶自由改換門庭這種事情隨意發生，則各“家軍”必然走向崩解。
而且，“家軍”的出現，也是北宋政權土崩瓦解這壹特殊時代的特殊產物，南宋初年所有重量級的軍隊，以淮東楚州為大本營的韓世忠軍、以池州和廬州為大本營的劉光世軍、以建康府為大本營的張俊軍，以鄂州為大本營的嶽飛軍，以及遠在四川的吳玠軍，最後不約而同選擇成為“韓家軍”、“劉家軍”、“張家軍”、“嶽家軍”和“吳家軍”，既非偶然，也無可厚非。
從遍地狼煙，到壹連串的洗牌後只剩下主要的五大家軍，南宋的軍事力量邁了壹個大大的臺階。五大家軍正式成型後，對金防禦已有成算，趙構再也不必擔心需要逃往海上。但弊端也已顯露，家軍之間嚴格劃分界限，彼此猜忌，聯合作戰時互拖後腿，是很常見的事情。這是“相視如仇讎，相防如盜賊”的另壹面。
主戰派宰相張浚曾有意以韓家軍為主力，對淮北發動攻勢。在各家軍當中，韓家軍兵力最少，韓世忠表示有困難。張浚以最高軍事統帥的身份，給張家軍的張俊發去公文，讓他派部將趙密率軍來援。張俊壹口回絕，且四處宣揚韓世忠想要吞並他。張浚的背後有朝廷的支持，卻驅動不了張俊的部隊。
紹興六年，宋軍與金軍支持下的偽齊軍隊在淮南會戰。張浚的作戰計劃是讓張家軍、劉家軍和禦營楊沂中軍三軍聯合出擊。但劉光世以沒有糧草為借口拒不合作。張浚為大局遷就劉光世，以最快速度送去糧草。但當楊沂中的軍隊抵達指定位置時，劉光世早已從前線撤了下來，且正準備向南渡過長江。所謂三軍聯合作戰，自然也就成了空談。
嶽飛也曾被張浚認為是壹個不願合作者。據《會編》記載，紹興六、七年間，張浚計劃征討偽齊，與四大將——張俊、韓世忠、劉光世、嶽飛，在龜山舉行最高軍事會議。家軍大將們態度各不相同。劉光世主張防守，韓世忠極力建議進兵，資格最老的張俊態度模棱兩可，張浚寄望於家軍當中兵力最強盛的嶽飛，結果“惟嶽飛獨以為不可用兵，浚再三問之，飛堅執不可之說”，壹貫主張北伐的嶽飛在會議上的這種態度，讓張浚相當意外。
他由此對嶽飛的看法發生了極大的變化，認為嶽有“養寇自重”的心思——嶽飛是不是真的養寇自重，其實並不重要；重要的是，他的態度已引發了南宋朝廷對他的猜忌。會議的最終結果，是除了韓世忠之外，沒有壹支家軍，願意與南宋朝廷的代表張浚合作。而韓世忠願意合作，又與張浚壹直以來對韓家軍的扶植有直接關系。
此次龜山最高軍事會議，可以視作南宋政府對家軍集團態度的壹道分水嶺。
紹興七年二月，南宋朝廷考慮良久之後，終於決定對家軍采取措施。趙構和宰相張浚達成壹致意見，決定罷免劉光世的兵權，解體劉家軍。在“中興四大將”中，劉光世這位將門之子，早已將自己的主要精力轉移到了房宇田產和珍寶古玩上面。趙構賞賜的壹件古玩，劉光世可以從早晨把玩到四更天。遇到戰事，劉光世也已很少親臨前線，往往只派偏將前往。所以，解除劉光世的兵權，很輕易就獲得了朝廷上下的同意，也沒有遭遇太大的阻力。
問題是：誰來接管劉光世這支軍隊。趙構與張浚在這個問題上出現了嚴重的分歧。
壹個月前，也就是紹興七年壹月，金國派來使者向趙構通報了宋徽宗的死訊。父親的去世極大地刺激了趙構。恰值此時他又壹次召見了嶽飛。嶽飛希望趙構能給自己更大的權力與更多的軍隊，去直搗黃龍府。沈浸在喪父之痛中的趙構，立即將嶽飛升職為太尉、宣撫使兼營田大使。使其官爵正式與韓、張、劉三大將平行。三月份，趙構移駕建康府。
韓世忠率貼身親兵在建康護駕，趙構卻撇開他，在臥室再次單獨召見了嶽飛。在這次臥室交心中，他給了嶽飛壹個天大的許諾：“中興之事，朕壹以委卿，除張俊、韓世忠不受節制外，其余並受卿節制。”（《金佗續編》）
也就是說，趙構不但承諾把劉光世的五萬多部隊交給嶽飛，還把川陜的六萬多吳家軍及其他壹些小軍團，總計約達十七萬之多的軍隊，壹並交給嶽飛來指揮。再加上10多萬嶽家軍，歸入嶽飛指揮的部隊，總計達到了近30萬。而不受嶽飛指揮的韓家軍和張家軍，加起來也不過10萬左右。
為了使嶽飛能夠順利接收劉家軍，趙構還給劉光世的部將們寫下了親筆手詔，讓嶽飛帶給他們。手詔中說：“朕惟兵家之事，勢合則雄……今委嶽飛盡護卿等……聽飛號令，如朕親行，倘違斯言，邦有常憲！”（《金佗續編．高宗手詔》）
將全國四分之三的軍隊交付給嶽飛壹個人指揮，有宋以來，還沒有過這樣的先例。嶽飛欣喜若狂，感念知遇之恩，兩天後就拿出了壹套北伐計劃呈遞給趙構。隨後，趙構又發給嶽飛三個省劄和都督府劄。其中，都督府劄中開列的是劉光世的部隊人馬清單，而此時罷免劉光世的命令還沒有對外宣布。趙構囑咐嶽飛將劄子“密切收掌”，不要泄露國家機密。
趙構的沖動與輕率，讓他忽略了兩件致命的事情。其壹，北宋朝廷內部雖然有主戰派和主和派之分，但在防止武將坐大這個問題上，卻幾乎完全壹致；其二，宰相張浚還兼著都督，他這個都督名義上具有節制所有家軍的權力，但始終差遣不動家軍領袖。
張浚壹直很希望擁有壹支可以直接指揮的軍隊，然後通過這支軍隊來節制其他家軍領袖，所以他很想由自己、而不是嶽飛來接管劉光世的部隊。如今，趙構不但決定把劉光世的部隊交給嶽飛，還承諾將全國四分之三的部隊劃撥給嶽飛指揮，這不但打亂了張浚的計劃，還等同於剝奪了他節制家軍的都督之權。
說服趙構改變主意是壹件很容易的事情。只要擺出祖制，再讓他仔細想清楚將四分之三的部隊交到壹名將領手中的潛在風險有多大，再讓他看看朝中反對者的浩大聲勢，趙構只能是“幡然悔悟”。“幡然悔悟”後的趙構陷入了困境。此前，他已將自己對嶽飛的信任與器重，推到了壹個無與倫比的巔峰，如今又要親手將嶽飛從這巔峰上推下來。這是壹場對君臣關系的巨大考驗。
趙構的解決辦法是接連給嶽飛去了三道詔書。第壹道詔書繼續欺騙嶽飛說“前議已定”；第二道詔書先大贊壹番嶽飛的忠勇，然後提醒他有些重要的消息會讓張浚代傳，希望嶽飛在聽到這些消息之後要做到“委曲協濟”，千萬不要鬧脾氣；第三道詔書則是讓嶽飛將以前那些手詔之類的相關文件繳還回來。此外，趙構還希望張浚能好好安撫壹下嶽飛，但張浚卻把事情搞砸了。
他把嶽飛召到都督府，裝作從沒有發生過讓嶽飛接收劉家軍的事情，意味深長地問嶽飛：“王德是淮西（劉家軍）的宿將，淮西軍壹向信服他。我想讓他做淮西軍的都統制，再讓呂祉以都督府參謀的身分接管淮西軍，妳覺得怎麽樣？”這番話裏有兩層意思。壹是告訴嶽飛由其接管劉家軍的決定已被取消；二是告訴嶽飛，張浚自己要去接收劉家軍。
嶽飛的回答，不是趙構和張浚所希望聽到的。他告訴張浚，他不同意讓呂祉和王德去接收劉家軍。因為王德和其他劉家軍將領素來不和，別人不會服從他；而呂祉是個只會紙上談兵的理論家，不會帶兵。他們去接收，壹定要出亂子，妥善的做法，是“必擇諸大將之可任者付之，然後可定”。接下來的談話越來越僵，張浚問：“那麽張宣撫（張俊）如何？”嶽飛說：“張宣撫是老將，也是我的老領導。但為人暴而寡謀，不能讓劉家軍的將領們信服，恐怕不行。”
張浚再問：“楊沂中應該可以吧？”嶽飛說：“楊沂中與王德壹個檔次，怎麽統帥得了壹支大軍！”因為龜山軍事會議，張浚對嶽飛本來已無好感，話談到這裏他怒道：“我就知道，除了太尉妳，其他人都不行！”嶽飛也不示弱，憤然回擊道：“都督既然詢問我，我就不敢不說實話、盡愚忠。我豈是為了得到淮西的軍隊！”
事情開始朝著不可收拾的方向發展。從張浚的都督府出來，嶽飛立即給趙構寫了壹封辭職信，沒等趙構批準，連駐地也沒回，就跑到江州廬山的東林寺，為老母“持余服”掃墓守孝去了。張浚得知嶽飛沒回駐地，怒不可遏，接二連三地上奏趙構，說“嶽飛積慮，專在並兵，奏牘求去，意在要君”，簡直是赤裸裸的在要挾朝廷，建議幹脆將嶽飛的兵權也壹起收掉。趙構也很懊惱，屢屢當著大臣嚴厲斥責嶽飛驕橫跋扈。
盡管到了最後，趙構仍不得不派人去敦促嶽飛復出，但他那扇壹度對嶽飛敞開到了極限的大門，卻已悄然完全關閉。當嶽飛被勸下廬山、前往建康府請罪時，趙構說了壹番似軟實硬的話：“卿家前些日子的奏章很輕率，但朕並不惱怒。若是惱怒了，怎麽會沒有譴責卿家呢？
太祖皇帝說過，誰犯了我的法度，我用來招呼他的，就惟有刀劍。如今讓卿家繼續執掌軍隊，寄托恢復的重任，可見朕確實沒有怪罪卿家的意思。”回到鄂州後，嶽飛給高宗上了壹道折子，重提“陛下比者寢閤之命，聖斷已堅；鹹謂恢復之功，指日可冀。何至今日，尚未決策北向……”，提醒趙構不要忘了是他違背了君臣間彼此的承諾。
稍後劉家軍的接收，果然與嶽飛所預料的絲毫不差。王德鎮不住其他將領，呂祉也確實只會紙上談兵。其結局是：劉家軍大將酈瓊發動兵變，殺死呂祉，率軍四萬余人北投。王德只能守著本部的幾千人，眼睜睜看著酈瓊揚長而去。劉家軍從此不復存在，淮上前線的防禦也壹度陷入崩潰。張浚成了導致這場叛亂的罪人，被踢出了決策中樞；繼張浚出任宰相的趙鼎，從酈瓊的叛變中，再次體味到了壹支由朝廷（也就是由皇帝）直接掌控的軍隊，是多麽地重要。
受酈瓊叛變的影響，趙構將自己的住處從靠近前線的建康，悄悄轉移到了後方的杭州。剛撤掉劉光世，這支5萬多人的大軍立刻叛逃他國，趙構對家軍的信任已跌至冰點——遺憾的是，趙構很少反思自己在接收過程中所犯下的累累錯誤。皇帝與宰相們再度達成***識：整頓出壹支完全隸屬於皇帝的強大中央軍，是目前最亟需完成的政治作業。
有鑒於直接摘掉家軍領袖的教訓，趙鼎采取了更為隱蔽的手段：獎掖家軍當中的偏將，讓他們從家軍中獨立出來，進而使整個家軍解體。這很類似於漢武帝當年所實施的“推恩令”：讓每個大諸侯國裏產生無數個小諸侯國，從而瓦解掉大諸侯國。大將當中，老練的張俊壹眼就看透了朝廷的圖謀，並及時采取了應對措施，使朝廷“終不能得其柄”。但嶽飛沒能看清這場政治的濃霧。紹興八年，他還在向趙構請求增兵，結果自然是被拒絕。
與瓦解家軍的工作同時進行的，是與金人的和談。壹種流行的錯誤論斷是：宋金和談，是南宋政府整頓家軍的目的，為了向金人妥協，南宋政府殺害了堅決抗金的將領嶽飛。這種說法其實顛倒了因果。紹興八年，具體負責整頓家軍的樞密副使王庶，已經把這個問題說得再明白不過了：“敵之強弱，吾無與也，顧在我者何如耳。”
也就是說，和談不是整頓軍隊的目的；相反，整頓軍隊，才是和談的目的——沒有壹個寬松、和平的宋金關系，趙構就不敢對家軍動大手術；要對家軍動大手術，首要之務就是進行宋金和談。王船山在《宋論》裏評價這段歷史，也說得很明白：收兵權才是目的，搞和議只是手段。
和談是整頓家軍的前提，只有來自外界的軍事壓力大幅度削弱，南宋政府才能騰出手來整頓家軍。這壹秘密計劃，只流傳在南宋政府有限的幾個最高決策核心中間，包括了趙構、趙鼎、秦檜，以及王庶。對外朝廷另有壹套說辭。紹興八年和紹興十壹年的兩次和議，趙構始終在對外不斷強調“孝道”，他當著整個國家痛哭流涕，希望大家理解他的苦衷，他需要和議，需要從冰天雪地的五國城，把自己的生母和其他皇室迎回來。
從紹興八年到紹興十壹年，決策核心發生了許多人事變動，宰相趙鼎也被秦檜所取代，但通過和議來為整頓家軍開路這壹基本路線，卻始終沒有發生變化。趙構已經狠下心來，壹定要徹底解散家軍，壹定要建立起壹支完全由自己掌控的龐大中央軍。在此期間，嶽飛們在軍事上所取得壹切勝利，其實都是在挖自己命運的墻腳。他們對金人的軍事壓力越大，金人就越容易同意和議，大將們自己的最終命運，也就來得越快。這種明顯的跡象，可以從兩次和議的對比中看到。
紹興八年的和議，朝廷中的士大夫們分裂為贊同和反對兩大派，彼此對抗；而到了紹興十壹年，卻幾乎沒有士大夫出來反對和議。南宋學者呂中後來感慨說：“向者之和，賢士大夫並起爭之。今則無壹人言之。”會變成這樣，呂中認為是“諸將奏捷”的緣故——確實如此，紹興八年朝廷還沒有從淮西兵變中恢復過來，而紹興十壹年的拓臯之戰，已徹底打消了金軍渡過長江的念頭。
所以，當嶽飛在郾城大捷後極力請求繼續擴大戰果時，趙構卻用十多道金牌把他招了回來。這壹舉動的實質，不是“南宋朝廷的投降派在搗亂”，而是趙構覺得徹底摧毀家軍的時機已經成熟了。隨後發生的事情耳熟能詳：朝廷“杯酒釋兵權”，以中央最高軍事長官（樞密使、樞密副使）的空頭銜，取消了張俊、韓世忠和嶽飛的統軍大權。
當張俊和韓世忠廣置田宅，開始他們後半生“醉生夢死”的“糜爛”生涯時，嶽飛則被投進了臨安府的最高監獄。嶽飛的這個結局，其實早在紹興七年就已寫定——那壹年，趙構親手將嶽飛推上了信任與權力的巔峰，又親手將他從巔峰上面踹了下來。不管嶽飛內心有無怨懟，這場風波之後，多疑而猜忌的趙構，都不可能再信任嶽飛。
紹興十二年，世間已無嶽少保。趙構對著大臣們興奮地說：“今兵權歸朝廷，朕要易將帥，承命、奉行，與差文官無異也。”