隋朝以前现在的河南版图被划分给各个行政区，隋朝开始河南开始逐渐形成。
唐继隋制，设都畿（ji，一声）道，河南道
元朝设河南行省，至此，河南行省包括了黄河以南，长江以北，三峡以东的广大地区。河南行省除包括直辖路、府外，还有淮东道、荆湖北道两个宣慰司。
到了至正十二年（年），元朝为了镇压红巾军，于河南江北行省分置淮南江北行省，全名是淮南江北等处行中书省，常略称淮南行省，辖原来的江淮行省之江北部分，也就包括了黄州、蕲州两路。河南行省范围大大缩小。没办法，地方大人口多，不好管理，只能拆分给别的地方。
大明朝对河南拆拆补补，最终形成现在河南版图雏形。
清朝又拆拆补补，但变化不大
建国后根据新旧解放区各自土改和建设的需要，新中国曾在年7月到年11月在冀鲁豫边界设立过平原省，原河南省黄河以北地区全部划入新设的平原省。
年平原省撤销，安阳、新乡两地级市及安阳、新乡两专区和濮阳专区大部、菏泽专区东明县划入河南；同年永城县回归河南。
现在的河南省行政区