千人針的歷史可以追溯到日俄戰爭，當時士兵制作類似的名為“千人結”或“千人力”的物品以保佑不被槍彈擊中。
在後來中日戰爭和太平洋戰爭之中，這種習俗開始變得普遍起來。街頭巷尾女人們拿著千人針乞針的情景成了戰時日本的壹種象征。在普及的過程中，這種物品逐漸被統壹稱為“千人針”。“千人力”與之類似，只不過要求的是壹千個男人的祈願。
在日俄戰爭時期，雖然千人針包含著武運長久的民間寄願，但政府以千人針是“迷信”批判制作者是“頑冥不識之徒”。但到了二戰時期，作為高揚士氣的手段，政府轉而開始鼓勵千人針的制作了。
1938年，日本以千人針為題材的第壹部彩色電影《千人針》誕生。該電影因膠卷在空襲中燒毀而遺失，戰後逐漸被人遺忘，但在蘇聯解體之後，該電影被從蘇聯紅軍在滿洲的戰利品中又壹次發現，日本國民才重新想起了這壹部電影。
第二次世界大戰之後日本沒在經歷過戰爭，千人針因此也失去了作用。不過在自衛隊向伊拉克派遣的第四次復興支援群出發之際，出動的自衛隊員也按照傳統被贈予了千人針。