尚方寶劍最早出現在漢代，那個時候僅僅是代表皇帝的配件，並沒有任何權力屬性。當時的尚方其實是壹個政府機構的名稱，類似於今天的科研機構。尚方做的寶劍都是精品，包括皇上的配劍也是出自他們之手，尚方寶劍也因此出名。
從漢代到元代之前，尚方寶劍都只是皇帝的配件，偶爾會當做普通禮物贈送，並沒有特別權力的象征。直到蒙古人掌權時，才給它賦予了權力。元朝皇帝幹脆把自己的配件給大臣，意思是妳想殺誰就能殺誰，因此尚方寶劍成為了皇權的象征之壹。
朱元璋做了皇帝以後，也把這個傳統保留了下來。因為他出身低賤，並不是什麽文化人，朱元璋為了懲治貪腐就建立了禦史制度。禦史要監察比自己官位高的大員，就必須要借助尚方寶劍的力量，就這樣明朝成了歷史上尚方寶劍最多的年代。
巡查禦史要皇帝的尚方寶劍，才能到各個地方來巡查。尚方寶劍的數量不僅在明代特別多，所代表的權力也擴大了很多。只有尚方寶劍的禦史可以對貪官汙吏先斬後奏。我們在電視劇當中看到的上漲昏君下斬奸臣，其實是對尚方寶劍權利的放大。
隨著清軍入關，明朝滅亡，尚方寶劍的制度也消失在了歷史長河當中。清政府並沒有任何皇帝賜予尚方寶劍的歷史，原因很簡單。皇帝賜出的尚方寶劍，是讓官員代表自己去辦事來維持皇權的穩定。不過權力下放總會整出壹些其他事情，或許清朝看到了這些，所以清朝廢除了尚方寶劍制度。