3600年前，這裏是商王朝的重要都邑之壹。
鄭州曾為夏、商都城之壹，為管、鄭、韓等藩國的首府，為隋、唐、五代、宋、金、元、明、清8代為州。
轄區內發現有距今8000年的裴李崗文化，距今5000年的大河村、秦王寨等多種類型的仰韶文化與龍山文化遺址。
據史籍記載，中華民族始祖黃帝為“有熊氏”生於軒轅之丘，部分學者認為軒轅之丘指現在鄭州下轄新鄭市（該觀點未得到國家權威機構和中國民間學者的普遍認可）。
部分學者認為夏代曾建都於陽城（今登封市）。
春秋戰國時期，鄭、韓先後在新鄭建都（為當時周帝國的二級行政單位），長達500多年。
秦漢時期，鄭州地區始置滎陽、鞏、京、新鄭等縣。
之後，歷代先後在鄭州地區設置滎陽郡、北豫州、滎州等。
隋開皇三年（公元583年）將滎州改為鄭州。
隋開皇十六年（公元596年）置管州治所，州治位於今天的管城區。
北宋建都汴京後，鄭州屬京畿路（今開封市），崇寧四年（公元1105年），建為西輔，成為宋代四輔郡之壹。
金代，隸南京路（今開封市）。
金貞佑四年（1216），管城更名故市，後復名管城縣。
清雍正二年（1724）鄭州升為直隸州，隸河南省。
明初，鄭州劃歸開封府。
清代，鄭州為兩次升為直隸州。