日本明治維新後，1870年（明治3年），日本帝國陸海軍正式分離。1872年（明治5年），“海軍省”在川村純義與勝海舟的指導下在東京都築地區建立。1876年（明治9年）創立了“海軍兵學校”。1893年（明治26年）成立了“軍令部”。由於薩摩藩在“西南戰爭”中失去的影響力，早期的明治政府把陸軍的發展重於海軍。1903年（明治36年），在成立了“參謀本部”後，通過了兩名海軍大臣西鄉從道和山本權兵衛的主張，開始對艦隊的裝備和組織結構進行了壹番改革，到了“日清戰爭”（甲午戰爭）時，日本海軍已經擁有了三十壹艘軍艦和二十四艘水雷艇。
到了日俄戰爭時，則達到了七十六艘軍艦外加七十六艘水雷艇的規模。1920年（大正9年），在“日俄戰爭”結束後，海軍開始了壹套以美國海軍為假想敵的“八八艦隊”（八艘戰艦加上八艘巡洋艦）增強政策。因為在1922年（大正11年）簽訂的“華盛頓海軍條約”和1930年（昭和5年）的“倫敦海軍條約”的影響導致主力艦的建造被壹度中斷，但在“倫敦海軍條約”破裂後則重新開始了擴充。1941年（昭和16年），到了“太平洋戰爭”開戰前，日本海軍的旗下擁有了十艘戰艦，三百八十五艘艦艇和包括“零戰”在內的三千二百六十架軍用機。從“日俄戰爭”（明治38年）勝利以來壹直到“太平洋戰爭”（昭和20年）戰敗，日本帝國海軍壹直和英國皇家海軍與美國海軍構成了全球範圍內的“世界三大海軍”。 在日清戰爭後由於俄國介入而被迫歸還遼東半島的事實，使日本海軍開始規劃未來的戰爭。隨即在“臥薪嘗膽”的口號下開始了橫跨十年的海軍擴張計劃，在此期間建造了109艘軍艦，總噸位超過了二十萬噸，海軍人員的規模從15100人擴大到了40800人。全新的艦隊包括了六艘戰列艦、八艘裝甲巡洋艦、九艘巡洋艦、二十四艘驅逐艦和六十三艘魚雷艇。其中1902年（明治35年）交付的三笠號戰列艦是當時世界上最大的軍艦之壹。在此期間，三菱等公司也開始自行建造艦艇。日本海軍也開始組建了潛艇部隊，1904年（明治37年），日本海軍從通用動力電船公司購買的五艘潛水艇運抵橫須賀海軍工廠，次年年底組裝完畢並投入了使用。
1904年（明治37年）2月8日，醞釀已久的日俄戰爭正式爆發。1905年（明治38年）5月，在日本海海戰中海軍大將東鄉平八郎的旗艦三笠號率領著日本海軍幾乎全滅了俄羅斯海軍第二太平洋艦隊。俄國海軍38艘派往遠東的軍艦中有21艘被擊沈，7艘被捕獲，6艘被解除了武裝，4545名官兵戰死，6106人被俘。日本海軍則只損失了三艘魚雷艇和116人。 日本海軍之後在“復制·改進·創新”的政策下繼續了自己的擴張道路。工廠經常會為測試和分解買入兩艘相同型號的外國艦艇，隨後對其進行研究和改進。這樣子的作法使得最初只能依靠進口的軍艦逐漸可以在國內進行組裝，直到最後可以完全國產，從壹八八〇年代開始的小型魚雷艇到壹九〇〇年代早期的大型戰列艦。1905年（明治38年）建造的“薩摩”百分之八十的部件來自於英國，而在1910年（明治43年）完成的“河內”只有百分之二十的部件需要靠進口。
日本海軍最後的大型軍艦進口是在1913年（大正2年）從“維克斯”購買的“金剛”戰列巡洋艦。1918年（大正7年），日本在大部分軍艦的制造工藝上已經達到了世界水平。在經歷了“日本海海戰”（對馬海峽海戰）後，佐藤鐵太郎等海軍思想家開始規劃了壹個將來和“美國海軍”對抗的政策，佐藤希望日本戰列艦的規模必須達到對方實力的百分之七十以上。1907年（明治40年），海軍開始了建立“八八艦隊”政策，但是因為財政問題未能成為現實。1920年（大正9年），日本海軍基本成為了世界第三大海軍。 介於在1902年（明治35年）簽訂的“英日同盟”條約，日本以英國的盟友身份進入了“第壹次世界大戰”。在“青島戰役”中奪取了德國在青島的海軍基地。1914年（大正3年）9月5日，日本海軍的水上機母艦“若宮”發起了世界上第壹次海航攻擊。1914年（大正3年）11月6日，駐守青島的德軍投降後，壹個戰鬥部隊把德國海軍的“東亞巡洋艦戰隊”追到了南大西洋後被皇家海軍在“第壹次福克蘭群島戰役”中被殲滅。日本根據“凡爾賽條約”下的“南洋廳”獲得了德國在密克羅尼西亞群島的部分領地，包括了馬裏亞納群島（除了關島），加羅林群島和馬紹爾群島。雖然英國壹度要求向日本海軍借四艘“金剛級”戰列艦，但是被日本拒絕。
1917年（大正6年）3月，日本海軍向地中海派出了壹個特別小隊，其中包括了壹艘防護巡洋艦“明石”和八艘最新型的驅逐艦，保護了協約國在馬賽，塔蘭托和埃及的海運線。“明石”後來被“出雲”替換並且加入另外四艘驅逐艦和“日進”裝甲巡洋艦。到了“第壹次世界大戰”結束時，日本海軍保護了七百八十八艘協約國的船只，驅逐艦“樺”被壹艘奧地利的潛水艇擊沈導致五十九名官兵戰死。1918年（大正7年），“吾妻”巡洋艦被派往了印度洋維持新加坡和蘇伊士運河之間的海域。在戰爭結束後，日本獲得了七艘從德國海軍被除籍的潛水艇。主條目：青島戰役和第壹次世界大戰。 1918年（大正7年），日本海軍邀請了法國軍事團隊來到了日本演示航空兵的運作。1921年（大正10年），壹個叫做“森皮爾”的英國軍事顧問隊在日本居住了壹年半展示了最新的飛機（如格洛斯特“雀鷹”）和戰術。同年日本海軍的預算達到了國家財政收入的百分之三十二，世界上第壹艘正式的航空母艦“鳳翔”竣工。四百壹十毫米口徑的“長門”和四百六十毫米口徑的“大和級”戰列艦後來成為了日本海軍“大艦巨炮主義”的象征。1928年（昭和3年），日本海軍推出了“吹雪型驅逐艦”驅逐艦，開創性的壹百二十七毫米口徑炮和魚雷塔成為了其它海軍模仿的目標，而它六百壹十毫米的“九三式魚雷”直到二次大戰結束前為世界上最優秀的魚雷之壹。
在“第二次世界大戰”爆發前，特別是因為“第二次中日戰爭”的影響，日本海軍開始把未來的主要對手定為美國海軍。日本海軍在這段時期所面臨的問題可以說要比其他如何海軍都要嚴峻。日本的經濟運轉很大程度上依賴於海外資源的進口，而為了保護如在南海地區的石油，必須維持壹個大型遠洋艦隊。但是這樣子的體系就和原本受到馬漢思想影響的“艦隊決戰”（讓潛水艇在太平洋先伏擊來襲的敵艦，隨後再在日本海和剩下的敵人進行壹次最後的決戰）政策相沖突。在佐藤鐵太郎的建議下日本曾在“華盛頓海軍條約”中強調了維持達到美國海軍戰列艦數量百分之七十（給予日本在決戰中優勢）的要求，而對方則只希望保持在百分之六十。
日本工業輸出的局限性逼迫日本只能追求在戰艦質量，訓練和戰術上優於對手。但是日本海軍忘了他們以後在“太平洋戰爭”中將面對的敵人缺少了以前交戰對手的政治與地理的束縛，而且未能將艦隊和人員的損失計算在內。這些年裏在戰列艦和航空母艦的問題上也有過激烈的爭論，但未能得出壹個最終論證，使得兩種軍艦都得到了開發，卻未能幫助某壹種取得數量上的絕對優勢。1941年（昭和16年），日本帝國海軍擁有了十艘戰列艦，十艘航空母艦，三十八艘重型和輕型巡洋艦，壹百十二艘驅逐艦，六十五艘潛水艇和其它艦艇。 在“第二次世界戰爭”（太平洋戰爭）結束前，日本海軍為了彌補漸漸處於劣勢的主力艦隊組建了不少以“壹人換壹艦”為目的的“特別攻擊隊”（「特別攻撃隊」）。這些部隊包括了“神風”式轟炸機，“震洋”式攻擊艇，“海龍”式特殊潛水艇，“回天”式魚雷和“伏龍”式手持水雷。1945年（昭和20年）6月，大約兩千架“特攻”部隊的飛機在“沖繩島戰役”中擊沈了三十四艘戰艦，擊傷三百六十四艘。