秦始皇二十六年(前226，438+0年)，設黨縣、黨縣。
《漢書·地理》:“碭山滿文石”。《水經註》:“得水，往東黨縣舊鎮之北，李沁黨縣因山得名。”訓詁學家顏師古註:“碭山名、碭山、，其山僻，故以縣名。”明代地理:碭山縣東南有碭山，北有邙山。玉環通誌:“碭山在碭山縣城東南七十裏，故名縣。”
漢高祖五年(前202年)，建立梁國，黨歌縣屬梁國。
辛莽九年，黨縣改為界黨縣。漢光武帝改稱當縣。
東漢建立的第四年(79)，他把梁國遷到夏邑(在碭城以東3英裏的地方)，碭縣屬於梁。三國(魏)改梁國，黨縣屬徐州。
晉武帝太史元(265)復梁國，黨縣並入夏邑縣。
北魏孝昌元年(525)，夏邑縣遷至河南夏邑。第二年(526)，設黨郡、黨郡。黨郡治在原夏邑市(今毛裏莊)，黨郡治在潞城(地址不詳)。北齊(555年)棄當縣、當縣，設安陽縣。
隋開帝十八年(598)，安陽縣改為碭山縣。隋大業六年(610)，彭城縣、洛陽縣劃歸永城縣，茫蕩山以北地區歸碭山縣管轄。
唐時，碭山郡屬洛陽郡。廣化二年(899)，朱權將碭山、傅山、禹城、曹州四地的版圖命名為徽州。碭山縣是後唐時期的單州。
宋，單州人。
金星定元年(1217)，碭山縣屬歸德府(今河南省商丘市)。興定五年，永城縣升為永州，轄彜、碭山、莽山三縣，碭山壹帶歸碭山縣管轄。宋理宗少定年間(1228—1233)，碭山縣被淹，遷至保安鎮。
元憲宗七年(1257)復郡，舊址屬東平路。元二年(1265)，永州降為永城郡，茫蕩山壹帶又屬永城郡。當年碭山縣並入傅山縣，元末三年，遷至大氣山縣，屬濟州、集寧道八年。
明朝洪武八年(1375)，碭山縣屬徐州。
清雍正八年(1730)，徐州升為府，碭山縣隸屬徐州府。
民國元年(1912)，碭山縣屬江蘇徐海島；22年，屬江蘇銅山區行政督察；民國24年，江蘇省行政督察，9區；民國37年，碭山縣隸屬豫皖蘇三師。1月1949，隸屬中原行政區商丘機構；1949 10月，隸屬皖北人民行政公署蘇仙機構。
1953 2月1，碭山縣劃歸江蘇省徐州代辦處管轄；1955 2月17變更為安徽省蘇仙機構管轄；1956屬於蚌埠社。1961年，碭山縣仍屬蘇飛安徽省局(現為蘇仙區行政公署)管轄。2000年4月，隸屬蘇州市。