先秦時期，因位於河套平原，故稱「河南地」，屬匈奴等遊牧民族。战国时，属赵国云中郡，秦代，属九原郡。西汉元朔二年（公元前127年），汉武帝派卫青从匈奴手中夺取河朔，设五原、朔方二郡。朔方郡领十县（朔方县、广牧县、沃野县、临河县、临戎县、三封县、窳浑县、呼遒县、渠搜县、大城县、修都县），其中临河县、沃野县在今临河区境内，临戎、三封、窳浑县在今磴口县境内。元始二年（公元2年），朔方郡有户34338户，人口136628人。五原郡领十六县（九原县、临戎、河阴县、曼柏县、武都、南舆、固阳、西安阳、河目、宜梁、成宜、广牧），其中河目、西安阳、宜梁、成宜等县在今乌拉特前旗境内；广牧县在今五原县境内。
北魏属怀朔、沃野二镇。唐初属丰州辖境，后为中、西受降城境域。豐州延續至辽、金時期，西境为西夏属地。元代，阴山南属大同路云内州，阴山北属德宁路，统归中书省直辖。今磴口县则属甘肃行省宁夏路。
明初，辖境分属山西三降城、东胜卫、者者口守御千户所和陕西宁夏卫。就藩宁夏的庆王也曾短暂镇守河套。明中期，蒙古各部南下河套，後属漠南蒙古。清初，辖境属伊克昭盟的鄂尔多斯左翼后旗、右翼后旗和乌兰察布盟的乌拉特三公旗（今乌加河以北以东）游牧地。清末，因汉人流入该地，垦地增加。清廷于光绪二十九年（1903年）设五原厅，属山西省归绥道。
辛亥革命后，民国元年（1912年）五原厅改县。民国三年（1914年），五原县、当时属于乌兰察布盟的乌拉特三公旗划归新设立的绥远特别区。民国十四年（1925年），设置临河、大佘太设治局。民国十六年（1927年），设置磴口县。
中華民國時期，巴彥淖爾市辖境屬绥远特别区、綏遠省管轄
民国十七年（1928年），五原县、大佘太设治局、临河设治局、乌拉特前旗、乌拉特中旗和乌拉特后旗改属绥远省。民国十八年（1929年）10月，临河设治局改县。民国二十年（1931年）7月，大佘太设治局更名安北设治局。
民国三十一年（1942年），绥远省在后套实行新县制，增设米仓县、狼山县、晏江县和陕坝市镇筹备处。
中共建政后，1950年3月，成立绥远省陕坝专员公署，辖五原、临河、安北、狼山、米仓、晏江等县及陕坝镇。9月，撤销米仓县，改设杭锦后旗。
1954年，绥远省并入内蒙古自治区，陕坝专员公署改设为河套行政区。区政府设在陕坝镇，辖五原县、临河县、安北县、狼山县、达拉特后旗。乌拉特前旗、乌拉特中旗、乌拉特后旗时属乌兰察布盟。
1956年，甘肃省所辖巴音浩特蒙古自治州和额济纳自治州划归内蒙古自治区，成立巴彦淖尔盟，盟政府驻巴彦浩特市，辖阿拉善旗、额济纳旗、磴口县和巴彦浩特市。
1958年，河套行政区、巴彦淖尔盟合并，成立新的巴彦淖尔盟。巴彦淖尔盟行政公署迁至磴口县巴彦高勒镇，辖阿拉善旗、额济纳旗、杭锦后旗、乌拉特前旗（1958年由乌兰察布盟划归，1960年7月—1963年12月间隶属于包头市）、乌拉特中后联合旗（1958年由乌兰察布盟划归）、五原县、临河县、磴口县（1960年7月～1964年7月间为巴彦高勒市）、乌达市（1961年7月设）。
1970年，巴彦淖尔盟革命委员会由磴口县巴彦高勒镇迁临河，10月设置潮格旗，时巴彦淖尔盟辖杭锦后旗、乌拉特前旗、乌拉特中后联合旗、潮格旗、五原县、临河县、磴口县、乌达市。1981年，将乌拉特中后联合旗改名乌拉特中旗、潮格旗改名乌拉特后旗，并将乌达市划归乌海市管辖。
2003年12月1日，經国务院批准，撤销巴彦淖尔盟和县级临河市，设立巴彦淖尔市和临河区。巴彦淖尔市辖杭锦后旗、乌拉特后旗、乌拉特中旗、乌拉特前旗、五原县、磴口县和临河区。[1]