3600年前，这里是商王朝的重要都邑之一。郑州曾为夏、商都城之一，为管、郑、韩等藩国的首府，为隋、唐、五代、宋、金、元、明、清8代为州。 辖区内发现有距今8000年的裴李岗文化，距今5000年的大河村、秦王寨等多种类型的仰韶文化与龙山文化遗址。据史籍记载，中华民族始祖黄帝为“有熊氏”生于轩辕之丘，部分学者认为轩辕之丘指现在郑州下辖新郑市（该观点未得到国家权威机构和中国民间学者的普遍认可）。部分学者认为夏代曾建都于阳城（今登封市）。春秋战国时期，郑、韩先后在新郑建都（为当时周帝国的二级行政单位），长达500多年。秦汉时期，郑州地区始置荥阳、巩、京、新郑等县。之后，历代先后在郑州地区设置荥阳郡、北豫州、荥州等。隋开皇三年（公元583年）将荥州改为郑州。隋开皇十六年（公元596年）置管州治所，州治位于今天的管城区。北宋建都汴京后，郑州属京畿路（今开封市），崇宁四年（公元1105年），建为西辅，成为宋代四辅郡之一。金代，隶南京路（今开封市）。金贞佑四年（1216），管城更名故市，后复名管城县。清雍正二年（1724）郑州升为直隶州，隶河南省。明初，郑州划归开封府。清代，郑州为两次升为直隶州。