從1912年3月10日袁世凱在北京就任臨時大總統開始，到1928年12月29日張學良宣布易幟為止，是中華民國的北京政府時代，由於其軍政大權壹直被北洋集團所把握，故通常又稱作北洋政府時代。然而，這17年中更叠的七位國家元首，卻並非都是北洋人物。袁世凱、馮國璋、徐世昌、曹錕、段祺瑞誠然是百分之百的北洋派；但黎元洪出身南洋新軍，日後雖在北京政府貴為總統，卻與北洋派格格不入；張作霖則晚至民國元年才被編入北洋系的軍隊，充其量只是北洋系的支脈。換壹個角度來看，這七位元首中，袁、黎、馮、曹、段都是職業軍人出身，都是從前清正規的新式軍隊中磨礪出來的；徐雖是文官，卻有襄贊小站練軍的經歷，被北洋諸將奉為長官；惟獨張作霖，是以綠林響馬的身份接受招安，然後混跡於雜牌軍，最後才整編為正規北洋軍的。
相比之下，張作霖顯然是這七位元首中最具傳奇色彩的壹位。1923年，《密勒氏評論報》的主編鮑威爾專訪張作霖時，詢問他曾在哪裏讀過書，張即幽默地回答道：“綠林學校。”
張作霖字雨亭，光緒元年(1875年)出生於奉天海城，家境赤貧。8歲時，父親因賭博被仇家殺害，家境更加窘困，全家遂逃荒至廣寧縣，為人做工度日。13歲時，他在別人家私塾外偷聽，感動了先生，遂得到免費讀書的機會。這對他日後的發展極為重要。他對這位湯景鎮先生十分感激，後來便請他做兒子張學良的啟蒙老師。
他迫於家境，不能專力讀書。他賣包子，做貨郎，也給人家放過豬，但都沒什麽成就，直到後來在營口學做獸醫，才取得了壹點成就，在遠近有了壹點名氣。當地有壹個著名的綠林人物叫“鉆天燕”，慕名來找他醫馬，他手到病除，名聲於是大噪，經濟狀況也有所好轉。但由於他從小就跟父親進賭場，早已沾染上這壹惡習，所得錢財大多賠折在內。有壹次，他輸到心頭火起，便壹刀從自己腿上割下壹塊肉來，擲於案上作註，賭友們大驚失色，忙把錢全數還了給他。
甲午戰爭期間，他浪跡於遼西壹帶，常為宋慶的毅軍部隊醫馬，以此投入軍旅，在馬玉崀門下，當了壹名騎兵。因為熟知馬性，精於騎射，不久提拔為哨長，白馬紅纓，春風得意，娶了當地鄉紳趙占元的女兒。但他這壹段行伍生涯很短，不久中國戰敗，毅軍回防直隸，他即留在了遼西。當時國家新敗，奉天首當其沖，散兵遊勇與流氓無產者到處搶劫，鄉間幾無寧日，各地遂出現“保險團”的組織。保險團並不同於團練軍：團練軍是準官兵，是朝廷允許和鼓勵創建的地方自保武裝，如曾國藩的湘軍和李鴻章的淮軍，都是由團練軍發展壯大而來的；而保險團以收取保險費作為保護鄉民的條件，事實上是壹種黑社會組織，即通常所謂之“胡匪”或“綠林”，向為朝廷所禁止。大致說來，保險團有似梁山泊，依盜賊而自壯；團練軍好比祝家莊，賴官府而圖強。
然而，保險團的表現也各有不同，這正如《水滸傳》中的“四大寇”，宋江是“替天行道”，方臘、田虎、王慶則是窮兇極惡之輩。張作霖在嶽父趙占元的資助下，拉20多個弟兄組織起了保險團。他這個“大團”負責附近七八個村子的治安，不僅能保境安民，且能抵禦外侮，是個合格的小梁山泊，受到了鄉民的稱贊和信任。然而，他雖是個合格的“宋江”，相鄰地區卻有更多的“方臘”、“田虎”、“王慶”。比如，附近中安堡有個大團，首領叫金壽山，手下100多人，控制20多個村子，在小王國內橫征暴斂，甚至公開搶劫。最後，中安堡的鄉民只好求助張作霖。張替天行道，馬上去把金壽山給趕走了，把自己的勢力範圍擴大到27個村子，手下兄弟增加到40多個。不想金壽山不肯善罷甘休，趁大家過年時發動了突然襲擊，張作霖落荒而逃，他的好兄弟湯玉麟和孫大虎背著他的妻女隨他逃出，其余兄弟也逐漸來會合。他們稍做休息後，決定去高坨子投奔綠林前輩馮德麟。馮德麟手下有千余人，是遼南規模最大的保險團，而最難得的是他打出了殺富濟貧的大旗。
但是張作霖和馮德麟的緣分還未到，他途經八角臺時，遇到了壹個獨具慧眼的秀才張程九。張程九是八角臺的鄉紳，在當地屬於壹言九鼎的人物，他認為張作霖北人南相，言談不俗，有心要留住他這個人才，便將張作霖的40余人編入了當地的保險團，並由張作霖做頭把交椅，原來的頭領張景惠作副。他們雖實為綠林，卻也自稱團練，故張作霖此時的徽號是“團練長”。此時，他有了70多個弟兄，並有了壹個富庶的商鎮八角臺作大本營。
《辛醜條約》簽訂後，地方局勢漸漸平復。張程九是個讀書人，他以團練的標準去衡量“保險團”，認為既然局勢已經穩定，團練就該解散。可他又無從安置這生龍活虎的百十號人，遂去拜見新民知府增韞，表示願將團練交給政府。增韞聽他對張作霖贊不絕口，很感興趣，便招來壹見，結果他壹見張作霖聰慧儒雅的樣子便很喜歡，馬上便答應收編。恰巧此時盛京將軍趙爾巽深以“胡匪”為患，正令張錫鑾派員招撫。因此，張作霖之“受招安”是十分順利的。
可有壹點他與宋江壹樣——受招安後，就得征方臘。他得到官府的支持，在八角臺招兵買馬，大量收編綠林隊伍，如張作相、薄振聲、葉景全、薄芳庭等均來投奔。此時，他已有400弟兄，乃正式受編為新民府巡警前路遊擊馬隊，他任幫帶，統率五哨人馬，仍駐八角臺。翌年又升任管帶，移駐新民府，奉令剿殺各綠林山頭，如王六哨、杜立三等均覆沒在他的手裏。
剿滅杜立三可看出他手段之殘忍。杜立三是壹支勢力較大的綠林，張作霖自知不敵，遂在杜立三的族叔杜泮林身上下功夫。老舉人杜泮林自然不希望自家出個盜賊，乃力勸賢侄接受招安，並說張雨亭便是好榜樣雲雲。結果杜立三真的帶人來投，不料卻被張作霖灌醉後全部殺死，他收編江顯真等五大哨也是用這樣的手段。不久他以剿匪有功升任巡防營統領，因此，說他用綠林同道的鮮血染紅自己的頂子，也是毫不過分的。當他進省城謝恩時，總督徐世昌派周樹模代為接見，周樹模問他為何願意受招安，他直截了當地答道：“為了升官發財！”
此時，徐世昌任東三省總督，決心在東蒙壹帶移民屯田，以對抗沙俄的鯨吞蠶食。然而，蒙族牧民因牧場被占，奮起反抗，漸至形成匪患，著名的有白音大賚、牙仟驅、陶克胡克等。1908年，徐世昌在增韞的推薦下，派張作霖移駐奉天西北的通遼、洮南壹帶，以發揮他騎射的特長，對抗來去如風的蒙匪。洮南壹帶系幹燥的沙漠，草長逾尺，毒蟲四處，餓狼遍野，條件之艱苦，至於無法完成偵察工作，斥候兵往往人死了馬跑回來。蒙人對這壹帶自是十分熟悉，可以來去如風，經常打官兵壹個措手不及，張作霖本人也曾經遇險，九死壹生。起初，他對此壹籌莫展，經年無功，遂被朝廷褫奪了頂戴，命他戴罪立功，以觀後效。他於是結交了綠林豪傑安遇吾，委托他打入蒙匪內部，以破獲蒙匪的巢穴位置和活動路線。安遇吾是荊軻那樣的俠客，找到關系進入蒙匪內部，順利地畫好了地圖。但他並不滿足於此，還想刺殺壹兩個蒙匪頭目，不慎事泄被殺，屍體被肢解。蒙匪將安遇吾的屍體送給張作霖以示威，大家在為安遇吾入殮的時候，發現安的身上有個傷口，裏面藏有地圖。張作霖就用這張地圖擊潰了蒙匪，白音大賚被擊斃，牙仟驅投降、陶克胡克逃往西伯利亞。張作霖以這件大功升任九營統領，原駐洮南之孫烈臣部也歸其麾下，部眾達到3500人，兵精馬多，成為東北壹支勁旅。他為了感謝安遇吾，十分照顧安的兩個兒子。但老子英雄兒好漢，這兩個年輕人不願接受報答，甘願飄然離去。後來，他們仍然混跡綠林，以行俠仗義為己任。
如安遇吾這樣的俠客，春秋戰國以後就很少見了。清末的革命黨人，為刺殺權貴，甘於殺身成仁，是可歌可泣的烈士，卻不是重義輕生的俠士。俠士的要旨在於壹個“義”字，如大刀王五與譚嗣同這對好友，壹個是俠士，壹個是烈士，氣質上是截然不同的。安遇吾僅為了與張作霖的朋友之義，就甘願身涉險地，雖死無恨，正是古時俠客的風範。而這樣的人物，往往遁跡於綠林中。張作霖之所以能在眾多的保險團中脫穎而出，成為綠林“總瓢把子”，很大程度上也正是基於這個“義”字。顯然，他本人也是壹個大有俠客風範的人。
他說自己畢業於“綠林學校”，幽默之余，卻也十分貼切。他只上過壹點私塾，無論成名前後均無廣泛讀書的可能性，接觸最多的無非是市井之間最流行的說書演義，諸如他的能力、氣度、義氣，固然有天生的成分，但未必就沒有這些說書演義的影子。評書藝術精彩絕倫，多帶有草莽豪俠之氣，對人的影響作用不可小覷。張作霖的壹生便是壹部傳奇，日後編入評書演義，也是很自然的事，這就決不是段祺瑞等人所能比擬的了。
張作霖在關外受朝廷招安的時候，朝廷已經日薄西山了。然而，作為壹個出身綠林的人物，生當亂世並非壞事，此時他已擁有壹支精銳的武裝，身經百戰，野心勃勃，對奉天乃至東北都有強烈的征服欲望。
他要掃除的第壹個障礙是革命黨人。宋教仁等革命黨人有取天下的上中下三策，其上策便是在東北起事，然後直迫北京。自1904年留日學生組織抗俄義勇軍以來，革命黨人在東北的活動是有傳統的。到1911年5月趙爾巽回任東三省總督時，奉天已有壹大半落在革命黨人手裏，第六鎮統制吳祿貞、二十鎮統制張紹曾、協統藍天蔚，加上為趙爾巽訓練新軍的蔣方震，以及奉天本地富家子弟張榕，這些著名革命黨人占據著新軍中的要職，在奉天有著舉足輕重的地位。不過，由於辛亥革命後，為防備別省革命黨的活動，吳祿貞奉調正太線，張紹曾奉調灤州，剩下藍天蔚和張榕留駐奉天，實力有所削弱。
武昌起義後，奉天省城的惟壹壹支駐軍即藍天蔚之新軍第二混成協，因此其起義條件不在武昌之下。然而，藍天蔚是壹個優柔寡斷的人，他生怕急則生變，因此壹直隱忍不發，等待時機。他擬與駐石家莊的吳祿貞、駐灤州的張紹曾，以及山西的閻錫山同時舉事，結果吳祿貞被刺殺，此事遂告流產。此時距武昌首義已將壹月，他才準備在奉天壹省發動起義。11月7日，張榕、柏文蔚等人推舉藍天蔚為中華民國軍政府臨時關東大都督，擬驅逐趙爾巽，宣布奉天獨立。趙爾巽獲悉後十分恐懼，準備逃走，但袁金鎧認為，新軍雖已不可用，正可重用巡防營舊軍。趙爾巽遂密調後路巡防營吳俊升部自遼源馳援奉天。
這個重要的情報被張作霖探知。張作霖早有圖省之誌，故在省城安排有密探。如今得到這個消息，即刻親率七個營的全部人馬，浩浩蕩蕩，從洮南直馳奉天。在路過遼源時，吳俊升出城迎接，竟還不知道此事，他也虛與委蛇，刻意隱瞞。到了省城後，他即面謁趙爾巽，聲稱聽說局勢緊張，生怕總督陷於危境，故擅自行動，甘願接受懲罰雲雲。趙爾巽正望眼欲穿，不僅不責怪他，且令他兼任中路巡防營統領。如此壹來，他壹下子增加了壹倍的兵力，有了15個營的人馬了。
藍天蔚錯失良機，貽誤大事，此時竟還奢望以和平方式取得政權。11月12日，他與吳景濂等人組織了保安會，邀請紳商200余人到會，準備以表決方式通過奉天獨立的方案。趙爾巽亦攜張作霖到會，且在會場內外布置了人馬，持槍待命。吳景濂等人倒也不懼，仍舊慷慨陳辭，主張脫離清廷，宣布獨立。趙爾巽馬上予以反駁，張作霖則將手槍置於案上，予以公然恐嚇。革命黨人與傾向革命的議員見狀，均憤然離去，此議遂告流產。不久保安會復會，袁金鎧以副議長身份主持，最終成立了奉天國民保安公會，推舉趙爾巽為會長，伍祥楨、吳景濂為副會長，袁金鎧為參議長，蔣方震、張榕為參議副長。於是，保安會成了保皇會，張作霖成了保安公會軍政部副部長，進壹步取得了軍事實權。
翌日，趙爾巽即褫奪了藍天蔚的兵權，令聶汝清暫兼第二混成協的協統，令藍天蔚赴東南各省考察。藍天蔚很不情願，張作霖便拔槍相向，被趙爾巽勸開，如此，藍天蔚便不得不走了。事實上，當藍天蔚試圖有所作為時，第二混成協已完全不聽從他的號令了，由此可見他對新軍的策反工作幾乎毫無成效。
藍天蔚走後，張榕落單。張榕曾與吳樾壹起刺殺使洋五大臣，在革命黨中聲望很高。他為人機智且有感召力，故因刺殺案件被捕入獄後，獄吏居然與他壹起逃亡到日本。他本是奉天的富家子弟，頗能以家產資助革命，因此實為奉天革命黨中第壹要人。他與張根仁、柳大年等人組織了奉天聯合急進會，自任會長，密謀起事。但他為人過於光明磊落，毫無保密意識，故其壹舉壹動，均為趙爾巽所掌握，趙爾巽便命張作霖負責監視張榕。不久南北議和，趙爾巽便主動找張榕要求講和，張榕自然應允。1912年1月23日，袁金鎧慫恿張榕請客吃飯，張作霖也到場，但被袁金鎧借故支開。筵席散後，張榕在回家途中，即被張作霖所害。張作霖迫不及待要殺張榕，還有壹個原因，即覬覦張家的財富，故張榕死後，他馬上就查抄了張家，並因此株連了100余人。他出身綠林的嗜殺本性，在此事中體現無遺。但趙爾巽對他極其嘉賞，保奏清廷任命他為關外練兵大臣，賞戴花翎，以總兵記名，並將所部改為第二十四鎮，授統制，兼奉天巡防營總辦。
那個貽誤戰機的藍天蔚，被臨時大總統孫中山任命為關外軍政府大都督，節制北伐之滬軍及部分海軍，駐節煙臺，準備進攻遼寧半島。此時聽到張榕死難的消息，極為悲憤，於二月初攻入大連，暫設都督府於此，與張作霖等部激戰連日。不久，清帝退位，南北妥協，雙方遂停戰。不久，黃興飭令東北保持現狀，藍天蔚遂辭職南返。1915年洪憲帝制中，他又曾潛反遼沈，擬推翻張作霖，事泄反被通緝，遂南下廣州襄助孫中山。他在辛亥革命期間的優柔寡斷，使革命黨人在占據優勢的情況下坐失東北，對今後中國政治格局之影響不容小視。
革命黨的勢力被清出奉天，張作霖取得奉天的軍權，現在他要清除的下壹個障礙，便是他的頂頭上司——奉天都督。第壹任奉天都督張錫鑾是袁世凱的好友，張作霖和馮德麟都是他間接招安來的，有些像《水滸》中的宿太尉。但是，張、馮手握重兵，又都是桀驁不馴的綠林人物，對有人淩駕在自己頭上十分不滿，言談舉止之間毫不保留。可憐張錫鑾已是年逾古稀的老人，對此實在不堪忍受。加之張作霖曾被袁世凱接見過壹次，身價為之倍增，其府邸日日門庭若市，車水馬龍，成為奉天事實上的政治中心。張作霖還致電陸軍總長段祺瑞說：
辛亥癸醜之役，大總統註意南方，皆作霖坐鎮北方之力。今天下底定，以讒夫之排擠，鳥盡弓藏，思之寒心。中央欲以護軍使將軍等職相待，此等牢籠手段施之他人則可，施之作霖則不可。承總長相待甚優，與吳俊升對調壹節，極所贊同。謹率全軍駐防荒僻，以俟鈞命。但願早脫奉省，以免禍至無日。
張作霖直截了當地向中央居功討賞，實際上便是沖著督軍之職，而所謂“與吳俊升對調壹節”，實則是壹種威脅，意思是若敢“對調”，則必然自由行動，到時“禍至無日”，後果自負。其梟雄本色躍然紙上，但是袁世凱和段祺瑞這種正規的軍人，根本看不上張作霖這種綠林出身，因此當張錫鑾迫於壓力請辭的時候，袁世凱仍不願委張作霖以都督，而是派段芝貴入督奉天。
段芝貴字香巖，人稱香帥，既是袁世凱的寵臣，又是段祺瑞的同鄉本家。袁世凱稱帝時，封張作霖為壹等子，比段芝貴的壹等公差之遠甚。張作霖固然不能拒絕段香帥上任，但他有自己的辦法。他壹方面搜購珍奇古玩，以結段氏的歡心，另壹方面則借口不願給人作“子”而拒絕封爵，並請求辭職。事實上他以區區第二十七師師長的身份得封爵位，已是天大的恩寵了。可他既然提出辭職，段芝貴便不能不置之不理，因為將領的所謂“辭職”其實就是自由行動的同義詞。不想段總督親自登門造訪，他卻閉門不見，這樣壹來，段芝貴在奉天就呆不住了。
段芝貴先是請袁世凱為周旋說項，袁世凱乃欲委張作霖為綏遠都統，被張拒絕。袁世凱遂召張作霖進京，勸他率兵南征，並許諾事成後封公爵。張作霖佯裝同意，但取得軍餉軍械後又突然變卦，與馮德麟唱了壹出黑白臉，由馮德麟的二十八師進城逼宮，張作霖則代表二十七師勸段芝貴暫避風頭。段芝貴是著名的貪官，他自知奉天非久留之地，遂攜巨額官款逃回北京。張作霖則馬上公開段芝貴貪汙之事，誓欲為奉天父老討還公道，接著又模仿藍天蔚等人的舊例，組織了新的奉天保安會，宣稱“奉人治奉”，以獨立要挾袁世凱。袁世凱無奈，只好任命張作霖為盛京將軍督理奉天軍務，以馮德麟為軍務幫辦。
袁世凱考慮奉督人選時，征詢了段芝貴的意見。其實當時的人選只有張作霖和馮德麟二人，而段芝貴對唱黑臉的馮德麟恨之入骨，故推薦了張作霖。袁世凱對張作霖的印象向來不錯，亦表同意，遂發布了任命狀。不久袁世凱病死，黎元洪任大總統，改各省將軍為督軍，巡按使為省長，張作霖遂改任奉天督軍兼省長。奉天為東北最重要的壹省，取得奉督地位，鼎定了他日後成為東北王的基礎。
但是他就任奉督，惹惱了那個綠林前輩馮德麟，這便是張作霖要排除的第三個障礙了。馮德麟是秀才出身，遠比張作霖“高貴”；在綠林時已擁眾數千，非張作霖的小打小鬧所可比擬；而受招安後的地位也壹度在張作霖之上。張作霖以征討蒙匪有功，在徐世昌的提拔下，得以與馮德麟同為巡防營統領。此後二人地位相當，關系也相當融洽。然而壹山不容二虎，馮德麟固然可以在雙簧戲中唱黑臉，讓好兄弟張作霖唱白臉，但後來壹知道是被張給利用了，這壹氣便非同小可，何況這個昔日的綠林晚輩竟搖身壹變為自己的頂頭上司，是可忍孰不可忍！袁世凱和段芝貴分別以張、馮為正副職，也未必沒有挑撥離間的意思。
於是，在張作霖就職那日，馮德麟便未去道賀，當然也拒絕接受幫辦之職。張作霖可以對張榕痛下殺手，對段芝貴愛理不理，卻不能對馮德麟略有怠慢。他連忙親自登門拜會，說了不少低聲下氣的話，不料馮德麟還是提出了極其苛刻的條件，即另設軍務幫辦公署，其組織與督辦公署完全壹樣，內設參謀長及四課，其編制和經費也要完全相同。張作霖自然不會同意，便電請袁世凱出面解決，不料馮德麟也以辭職要挾袁世凱。袁世凱樂得坐山觀虎鬥，將奉天的問題束之高閣。於是，馮德麟率五營人馬浩浩蕩蕩開入省城，準備正面與張作霖爭雄。張作霖聞訊，立刻親自來拜會，晚上且在將軍署宴請馮德麟，不料馮德麟到時未至，張作霖只好把酒席擡到馮的司令部，並召十余歌妓助興。但馮德麟鐵了心要做奉天之主，張作霖越畢恭畢敬，他就越趾高氣昂，翌日他即令財政廳撥款50萬為編練飛行隊之用，並電請袁世凱要求增招七營兵力等等，更與吳景濂等人聯合，準備驅張討袁，響應南方。張作霖於是對南方人十分敏感，曾通令驅逐行政機構中的南方人，不久黃興、蔡鍔病故，舉國痛悼，他竟禁止奉天舉行悼念活動。
馮德麟始終不予讓步，他也始終不願對馮德麟動武，只好向中央電請辭職。但此時袁世凱新喪，新政府無暇過問此事，他又只好請吳俊升做調人，結果吳俊升被馮德麟罵了出來，因為吳俊升口口聲聲稱張作霖為“將軍”，惹得馮德麟大動肝火。最終迫於無奈，張作霖只好答應馮德麟的苛刻要求，其中包括由他親率二十七師營長以上軍官赴二十八師辦公處正式道歉。張作霖能屈能伸，真的登門致歉，倒使馮德麟有些過意不去，二人和吳俊升等打了幾桌麻將了事。
但道歉並不能解決問題，馮德麟仍是不能滿意，又不好提新的條件，便以辭職為要挾。張作霖只好問馮：“麟閣，條件都依了妳，請問妳到底還要怎樣呢？”馮德麟這次說了實話：“兼任省長！”
在北洋政府時期，省長固然是督軍的傀儡，但若是馮德麟這樣的實力派做了省長，便不止不會是傀儡，肯定將張作霖擠作傀儡了。因此，對這個條件，張作霖是萬萬不會同意的。雙方劍拔弩張，武鬥壹觸即發。此時，段祺瑞為專力對付南方，請趙爾巽來奉天做調人，還召開了壹個盛大的調解大會，但仍毫無效果。然而張作霖卻因此與段內閣進壹步靠近，成為督軍團的壹員，有了壹個大靠山。
奉天的內部矛盾最終需要外部解決。誠如總統黎元洪和總理段祺瑞的府院之爭壹樣，馮德麟和張作霖的對立也是十分刻意的，往往是張往壹個方向，馮則必往相反方向。因此，當張作霖加入段祺瑞之督軍團時，馮德麟則通電擁護黎元洪。而當黎元洪召張勛進京時，他也攜壹支人馬，冒冒失失地進了北京。他無非想立勤王之功，走中央路線，以取代張作霖的地位，不料張勛復辟轉瞬即敗，他自己也成為階下囚。
復辟失敗後，馮德麟喬裝逃出北京，在天津站被捕。這個消息令張作霖喜出望外，即刻令孫烈臣為二十八師師長，另編二十九師，以吳俊升為師長。但他始終不忘綠林人物的那個“義”字，要求中央對馮德麟網開壹面，然馮德麟雖得自由，卻已無壹兵壹卒，毫無危險性了。不久段祺瑞封馮德麟為“山陵守護大臣”，負責守護清朝入關前的祖宗陵墓，從此馮田多地廣，樂得做壹個富家翁，而與政治絕緣。張作霖則通過對馮德麟的有情有義，得到了二十八師官兵們的認同。
清除了馮德麟這個勁敵之後，他在奉天的地位已經不可動搖，接下來，他便將目光投向了黑龍江和吉林。他對此有充分的法理依據，因為東三省在前清只有壹個總督，而治所在奉天，因此黑、吉自當聽命於奉天。事實上，民國的督軍和前清的總督完全不是壹個概念，但是他要稱霸圖強，故強詞奪理，偷換概念，也就不足為怪！
他欲謀黑龍江已久。洪憲帝制時的黑龍江督軍為朱慶瀾，任第十七鎮統制時曾駐奉天，當時地位比張作霖高，很看不起張作霖。此時張作霖想控制黑龍江，就必須驅逐此人。他於是極力拉攏駐黑龍江的陸軍第壹師師長許蘭洲，許以未來的黑督職位，慫恿他制造事端。許蘭洲便鼓動齊齊哈爾的旗人通電反對朱慶瀾，揭發他種種莫須有的罪名，袁世凱為息事寧人，遂將朱慶瀾調任廣東省長，同時調畢桂芳為黑龍江將軍兼巡閱使，許蘭洲竹籃打水壹場空。督軍團反黎元洪的時候，許蘭洲也宣布獨立，不過他不是對中央獨立，而是對畢督軍獨立。畢桂芳只好同意以省長相讓，僅保留督軍之職。盡管如此，許蘭洲都不知足，竟勒令畢桂芳24小時內離境。畢桂芳壹走，段祺瑞在征詢張作霖的意思後，任命自己的老鄉、張作霖的親家鮑貴卿為黑督，許蘭洲依舊是為他人做嫁衣裳。鮑貴卿任黑督，使黑龍江成為張作霖的勢力範圍，後來的兩任督軍孫烈臣和吳俊就都由張作霖直接委派了，而許蘭洲則被張作霖調入奉天，成為自己的參謀長，結果也不算太壞。不過，許蘭洲在黑龍江的地位和當年張作霖在奉天是類似的，且無馮德麟那樣的競爭對手，他做不了督軍，必然也與自己的能力有關。
黑龍江到手，接下來是吉林。當時的吉林督軍是孟恩遠，此人出身袁世凱的小站陸軍，在吉林駐紮多年，根深蒂固，非黑龍江的那些督軍可比。張作霖先是告發孟恩遠在張勛復辟中從逆，段祺瑞遂調孟恩遠為誠威將軍，調田中玉為吉督，但孟恩遠置之不理。1918年，徐世昌剛上臺三天，便任命張作霖為東三省巡閱使，使張作霖過問吉林事務合法化。此時孟恩遠已年逾花甲，不想作戰，但他的部下高士儐等人強烈主戰。不久張作霖大軍壓境，孟恩遠自知非敵，乃密電張作霖表示願交出吉林。奉軍進入吉林，鮑貴卿轉任吉林督軍，孫烈臣接任黑龍江督軍，東北三省遂歸張作霖所有。從此，山海關外成為半獨立的王國，張作霖成為名副其實的“東北王”。