說到日本聯合艦隊的建立，離不開兩個人。壹個是薩摩耶海軍第二代掌門人山本權兵衛，他顧全大局，從硬件上打造“聯合艦隊”；另壹位是日本海軍最優秀的參謀總長蘇雄島村，他推動了日本海軍戰略戰術的發展，從軟件上為“聯合艦隊”的建立提供了理論支持。
先說山本剛孝，落幕運動後，日本建立了以天皇為核心的新政府，開始了明治維新。當時明治政府的首要任務是將地方權貴手中的權力恢復給中央政府，依靠軍事力量進行威懾。因此，陸軍的建設優於海軍。盡管日本帝國陸海軍於1870年正式分離，但海軍仍受陸軍指揮。1886年，日本建立了北海道室蘭、神奈川縣橫須賀、京都府舞鶴、廣島縣吳、長崎縣佐世保五個警備府。所有戰船都放在五個警備房掌管，日本海軍在編制上被分割，更難與日軍抗衡。正是在這種情況下，山本權兵衛獲得了登臺的機會。
山本權兵衛出生在薩摩亞，十幾歲時就上了戰場。他參加了1863年的賽鷹戰爭和1868年的陳武戰爭。後來經“維新三傑”之壹的西鄉隆盛介紹，入讀日本海軍創始人盛海洲開辦的海軍學校，從此加入海軍。明治維新後，日本藩屬政治盛行，有“常州的軍隊是薩摩的海軍”之說。因為他的背景，山本權兵衛在海軍中步步高升，不到四十歲就已經躋身日本海軍中央機構；此外，時任海軍大臣的西鄉從道(西鄉隆盛的弟弟)原本是陸軍出身，對海軍壹點都不了解，所以他把權力完全下放給了山本剛孝，在這位長官的支持下，山本權兵衛開始改革日本海軍，大幅擴充海軍艦艇。
1893年，在山本權兵衛的領導下，日本海軍成立了海軍總參謀部，從陸軍手中奪回了指揮權。從此，日本海軍擁有了與陸軍平起平坐的地位，山本權兵衛也因此確立了自己的威望，被稱為“岡部大臣”；此後，在中日甲午戰爭戰略規劃會議上，山本權兵衛(當時是上校軍銜)反駁了陸軍第二參謀長中將·川上索羅的規劃，提出了日本海權第壹的論點，將海軍放在主要位置，獲得了日本高層的支持。然而，山本權兵衛的努力只能證明海軍對日本非常重要，要從五大警備司令部收回艦隊將很困難。畢竟這屬於削弱看家的職權，日本海軍沒有合適的理由非要內部爭鬥，而島村蘇雄解決了這個問題。
蘇雄島村生於土佐藩市，家境貧寒。他進了海軍學校，因為他不用交學費。然而，蘇雄島村很聰明，而且渴望學習。雖然是生活所迫的海軍，但他是當時海軍學校的首席畢業生，被認為是“海軍學院第七期蟻頭”。清朝購買定遠和鎮遠兩艘戰列艦，對島村祐弘觸動很大。此後，島村以丁真二號為假想敵研究海軍理論，並於1888年撰寫了《海軍戰術壹斑》。島村在這篇文章中論述了自己的戰略思想，認為編隊、速度、訓練、指揮等指標比軍艦噸位和火炮口徑更重要，這立刻觸動了當時日本海軍的高層。1888年6月，日本海軍召集主要將領研究討論島村的理論，並進行實戰演習驗證。以此為基礎，編寫了《海戰演習教學模式》和《海軍守則》，向全軍推廣。
從8月1888開始，為了開闊眼界，繼續完善作戰理論，島村佑夫被派往國外考察。綜合當時英法兩個海軍強國的作戰思想，結合日本資源匱乏、不利長期戰爭的實際情況，他提出集結日本海軍主力，迅速消滅敵海軍主力，以奇襲奪取制海權。這種作戰理論壹直被日本海軍沿用到二戰，當時為聯合艦隊的建立提供了理論支持。畢竟在光明正大的壹切為了勝利的口號下，駐防政府不敢阻止日本艦隊的整合。
1894年7月19日，中日甲午戰爭爆發前六天，山本權兵衛提出整合日本所有軍艦，組建“聯合艦隊”的方案，當時暫編；在1904的日俄戰爭中，日本再次組建了“聯合艦隊”。在兩次戰爭中，日本海軍依靠“聯合艦隊”，運用島村的作戰思想，大獲全勝。日本進入大國行列，海軍地位越來越高。1913年2月，山本權兵衛成為首相，第壹位來自海軍的日本首相。
1923年，“聯合艦隊”成為日軍的常設戰略部隊。聯合艦隊司令直接隸屬於日本天皇，指揮日本海軍所有主力艦艇。“聯合艦隊”在1923完全成型是必然的。對內，日本海軍力量經過多年發展已經可以和陸軍抗衡，在民間影響力上已經超過陸軍。是時候徹底整合海軍艦艇，消除陸軍對海軍的影響了。對外，壹戰後日本以美國為主要擴張對手，美國在國力競爭中碾壓日本。日本海軍只能寄希望於在甲午戰爭和日俄戰爭中幫助自己以弱勝強，即集中主力奇襲。
日本的聯合艦隊可以說充分展現了日本賭徒的思想，把國家的前途和命運寄托在壹場戰役上風險太大。但是在甲午戰爭，日俄戰爭中，壹次次賭博的勝利讓日本迷失了方向，在二戰中挑戰美國，最後把整個日本拖入了毀滅的深淵。聯合艦隊主力幾乎全軍覆沒，明治維新以來苦心經營的“世界第三大海軍”灰飛煙滅。