九州島豐前國（福岡縣）的藩主是細川忠興，細川忠興與其父細川幽齋都是織田信長重用的大名，細川忠興更是明智光秀的女婿。妻子是日本史有名的那位細川珈拉莎（洗禮名）。明智光秀篡弒織田信長的「本能寺事變」之後，細川忠興拒絕嶽父的引誘，站在豐臣秀吉這壹方。豐臣秀吉過世後，立即見風轉舵，想辦法接近德川家康，日後在「關之原戰役」立下戰功，德川家康於是賜予他豐前壹國。細川忠興也是日本茶道創始人千利休的「七哲弟子」之壹。
細川家是俸祿將近四十萬石的大藩，改封領地之後，國內治安還算良好，只是內部紛爭頻仍。所謂內部紛爭，是藩主派與三男細川忠利派之間的對立。對立的原因是藩主采迫害天主教耶穌會教徒政策，兒子卻堅守保護政策立場。當時，日本總人口大約是二千五百萬，天主教信徒大約是五十萬左右。
佐佐木小次郎是藩主寵愛的劍術師範，宮本武藏則與細川忠利的家臣之首有前緣（據說，細川忠利的家臣之首是宮本無二齋的弟子）。再者，小次郎赴會時所搭乘的船只，是藩主特賜的；而武藏所搭乘的船只，則是細川忠利這壹派準備的。此外，武藏終生郁郁不得誌，晚年客寄於熊本藩藩主那壹段時期，受到藩主不合常理的厚待，而此時的熊本藩藩主，正是細川忠利。由此看來，「嚴流島決鬥」是不是極有可能是「代理戰爭」？也因此，決鬥之後，武藏為了逃避藩主派的追殺，才不得不再度步上漂泊之旅吧。
至於武藏當天遲到兩小時之說，其實有個很有趣的比照。武藏過世四年後，其養子宮本伊織所建立的「小倉碑文」中，沒有武藏遲到這個事實。四十五年後，「嚴流島決鬥」見證人沼田家所紀錄的《沼田家記》中之〈船島決鬥見聞錄〉，也沒有武藏遲到這種說法。六十九年後，取材自武藏的第三代弟子口述所紀錄下的《武藝小傳》，更沒有武藏遲到之類的記述。那麽，武藏到底是何時才開始遲到的？原來是在壹百壹十年後的《二天記》中，武藏才「開始」遲到的。過世後壹百壹十年才「開始」遲到，這，合理嗎？
另外，比武當天，武藏所持的木劍，真的是渡海時在船只內用小刀削成的嗎？武藏的船只是從下關港出發，而下關港離船島僅有兩公裏左右，就算是當天風大浪高，也不可能會超過半個小時。半個小時內，有辦法用小刀將船槳削成壹把木劍嗎？何況，武藏當天所持的木劍，長達壹百二十六?八公分。
當然，我們不能怪吉川英治歪曲了史實，畢竟，吉川英治的《宮本武藏》，重點是武藏的求道精神，而非其生平紀實。何況，吉川英治的《宮本武藏》所依據的基本文獻，其實也是《二天記》。話雖如此，我還是想澄清完全違反「武士道」精神的「武藏遲到」之說。不為什麽，只是想保武藏的名譽而已。
「嚴流島決鬥」之後，武藏便禁制自己再度開殺戒。其實，嚴格說來，二十五歲開始，武藏便改變了比武方式，不再輕易奪取比武對手的性命，通常是點到為止，要不然便是完全不給對方有出手的可乘之機。
「大阪冬之陣」與翌年的「大阪夏之陣」，是戰國亂世的終曲，德川家康在這兩場戰爭中，徹底殲滅了豐臣秀吉遺族。壹般公認的說法是，當時三十壹歲的武藏參加了「大阪之陣」，而且是敗軍豐臣派這壹方。然而，有關這場戰役的紀錄文獻上，始終找不到武藏的名字。此外，武藏的另壹養子三木之助，於「大阪之陣」四年後，到本多家任職家童，由此看來，即使武藏參與了「大阪之陣」，也不可能是敗軍豐臣派之壹員。
本多家是代代臣服德川幕府的諸侯，三木之助的主君是姬路城城主本多忠刻，忠刻的正室是豐臣秀賴的元配妻子千姬，也是德川家康的孫女。大阪城陷落前，千姬被拯救出來，日後德川家康再命千姬嫁給本多忠刻。「關之原戰役」之後，參與西軍的武將仍有可能找到仕路，但是，「大阪之陣」時環境已變，德川家康想終結戰國亂世的意誌非常堅定，猛烈追討豐臣余黨，如果武藏是豐臣派壹員，本多家絕對不會任用武藏的養子。因此，武藏很可能沒有參與「大阪之陣」。
二十九歲至五十五歲之間的武藏，形蹤無定，後人無法尋出他在這段時期的足跡。歷史學者們也只考證出武藏於四十七歲那年，曾經在德川家康九男?尾張名古屋城城主前，同城主的家臣比武過。五十五歲那年，則與德川家康孫子?出雲松江藩（島根縣）藩主實際交手過。可見，步入中年以後的武藏，已經知名當世了。
「島原之亂」爆發時，武藏正好在北九州島小倉城當客將。「島原之亂」是農民和基督教教徒連手舉兵的叛亂，武藏在這場鎮暴戰役中，不知為何，竟然沖到最前線，慘遭叛軍的投石攻擊，腿部受傷，結果未立下戰功便先退居後方養傷。有關這點，武藏曾寫了壹封書簡給大名有馬直純。能夠和大名直接通信抱怨自己因受傷而沒有立下戰功，足以證明武藏在當時的確已是位名士。但是，武藏為什麽始終無法像柳生新陰流壹族那樣，歸附將軍門下當劍術師範呢？或像劍聖上泉信綱那樣，擁有多數資優門生，且派生不少壹脈相傳的劍術流派呢？
有關這點，京都藝術大學教授，也是日本國畫畫家的大野俶嵩先生，根據武藏留下來的水墨畫線條，推測出壹個結論：武藏極有可能是左撇子。
簡單說來，武藏正因為是左撇子，才無法廣傳劍術給壹般藩士。連其養子宮本伊織都說過：「其實我沒有學得養父傳授的劍術。」我想，這應該不是「沒有」學得，而是壹般右撇子的人，「無從」掌握左撇子劍客的竅門吧？
從戰國末期直至德川幕府初期，武藏壹直都在東尋西覓做官的機會，這可從各地大名都與他有過交流壹事，略見壹斑。然而，他那與眾不同的身軀與左撇子的特征，令他無法傳授劍術給他人。於是，名聲越高，武藏反而越孤獨；年紀越大，便越是高不成、低不就。
武藏終生厭惡洗澡，披發垢面，避諱女色，跣足科頭。「嚴流島決鬥」之後的二十八年間，他的人生，幾乎是壹片空白。在這期間，武藏的內心世界到底有些什麽變化？武藏的身邊，又到底發生過什麽事？這壹切的壹切，都是壹團謎。只是，愛知縣以南到北九州島那壹帶，各地均留有武藏的軼事傳說，後人只能由此推斷，武藏的壹生，就像是壹片浮萍，隨水蕩漾，隨波逐浪。
武藏五十七歲那年，接受熊本藩藩主細川忠利的禮請，到熊本養老。晚年的武藏，雖然沒有任何官祿，但生活並不窮苦。此時，戰國時代已經結束，戰國大名均變成德川幕府掌管下的地方自治藩主，相當於現今的縣長。武藏的養子宮本伊織是明石藩（兵庫縣）藩主的家臣之首，官祿四千石，身份地位都相當高。武藏盡可以大模大樣地寄居在養子處，卻迢迢渡海到九州島中部的熊本，實在令人不得不聯想到「嚴流島決鬥」的內幕。
細川忠利是五十四萬石大名，當然養得起武藏。問題是，武藏的俸祿，到底要給多少？按照當時的行情，劍術師範的俸祿頂多是三百石，否則會招引其它家臣不滿（柳生兵庫助也只有六百石而已）。細川忠利向武藏暗示，最高可以加到壹千石。武藏抵達熊本後，為了避免壹切莫須有的猜忌，幹脆親自提筆寫下「條件」，要點是：馬壹匹、與身份相稱的甲胄兵器些許，其它什麽都不要。結果，武藏的待遇如下：
身份：賓客。
俸祿：十七人份，現米三百石。
寓所：熊本城城外千葉城舊址。
細川忠利小武藏兩歲，可以說是同壹年代的人，他是唯壹打心底崇敬武藏的大名。不但改造武藏的寓所，連放鷹打獵時，都召喚武藏相陪。武藏晚年最喜歡的句子是「士為知己者死」，而此處的「知己者」，指的正是細川忠利。這壹段日子，大概是武藏壹生中最為幸福的時期。
遺憾的是，安穩的日子並不長。壹年後，細川忠利病逝了。為了吊祭畢生唯壹的知己，武藏執筆寫下《兵法三十五條款》。兩年後，蟄居熊本市西郊金峰山「靈巖洞」內，花費兩年時間，完成了《五輪書》。臨死前，又寫下自戒之辭〈獨行道〉。此外，亦留下恬淡畫風的水墨畫，以及各種簡樸優美的刀劍小道具。
咽下最後壹口氣前，武藏硬撐著身子起床，整衣斂容，配上護身刀，支起壹條腿，以另壹長刀當支柱，正襟危坐地離開人世。享年六十二歲。入棺時，依照武藏遺囑，身著甲胄，葬於細川家藩主往返江戶赴任時的「參勤交代」大津街道（舊東海道）旁，以便武藏於黃泉之地，也能護衛細川家代代藩主