目前已知的關於“尺八”這個名稱的最早記載是在唐代的文獻中，但樂器的誕生應該更早，甚至可以追溯到漢代，甚至更遠。畢竟在古代樂器的演變過程中，很多樂器的標準都不是壹次性固定下來的。比如五孔竹管樂器，很早就有了，但不能確定壹定是尺八。
據記載，在唐朝和宋初，尺八還是很流行的，至少在當時的壹些繪畫和文獻記載中是如此。而且也是在唐朝，尺八被來唐朝的日本僧人傳到了日本。漸漸地，尺八在中國古代樂器的發展中逐漸消失，而流傳到日本的尺八則被繼承下來。現在它已經成為日本重要的民族樂器之壹。
尺八在中國逐漸消失的原因有很多猜測。有人指出尺八的音樂過於冰冷，不符合南宋文人的審美，不夠雄壯典雅，所以逐漸被其他管樂器所取代，比如東曉等等。審美觀念的變化，往往是文化繁榮或消亡的重要原因之壹。此外，也有人認為尺八的演奏是因為只有五孔不夠多樣，難度大而逐漸被淘汰的，尺八的樂譜也難以理解，逐漸失傳。
尺八在日本的傳播和傳承與佛教東傳的過程密切相關。尺八最早傳入日本其實是作為壹種佛教樂器存在的，並逐漸以壹些禪宗思想分為不同的流派。直到明治維新，才逐漸從寺廟走向煙火。
並且在當代，日本尺八演奏者經常和西方樂器壹起演奏。這種跨界和碰撞將尺八作為樂器和音樂推向更遠的地方。目前比較著名的尺八演奏家有風格往往比較重的佐藤康夫和風格比較雄壯、安靜的藤原道山。