黑龙江省第一个老省会是黑河市（黑龙江城、瑷珲城），第二个省会是嫩江（墨尔根），第三个省会是齐齐哈尔，第四个省会是哈尔滨。也就是现在的省会。

黑龙江省有着悠久的历史。公元前4世纪至公元前3世纪，就有夫余政权建立，地跨今黑龙江省南部。唐代设渤海都督府、黑水都督府、室韦都督府。辽时归东京道管辖。金时属上京道管辖。元设开元路、水达达路。明设奴儿干都司，辖384卫、24所。清设黑龙江将军和吉林将军，管辖黑龙江地区。17世纪80年代，清政府取得雅克萨战役的胜利，打击了沙俄侵略气焰，签订《尼布楚条约》，确定了中俄东段国界。19世纪中叶，沙俄强迫清政府签订《中俄瑷珲条约》和《中俄北京条约》，割去我国黑龙江以北、乌苏里江以东100多万平方公里土地。1931年“九?一八”事变后，黑龙江省被日本帝国主义侵占。新中国成立后，设黑龙江省和松江省，1954年将两省合并为黑龙江省。管辖黑龙江南岸和原来吉林的南部部分地区。

黑龙江古时为肃慎地，秦、汉朝时称为挹娄、夫余地。唐属忽汗州和瀚海都护府（唐朝诸侯国渤海国），辽金为东京、上京二道（路），元归辽阳行中书省和辽阳行省，元朝军队在此驻扎，明属女真奴儿干都司。清1671年沿黑龙江岸筑城，名黑龙江城，清朝后期后改为黑龙江省。 清朝统一全国前，已经加强了对“龙兴之地”——东北地区的统治，设盛京总管统辖。为抵御沙俄势力对黑龙江流域的入侵，1652年，清廷派梅勒章京率兵驻守宁古塔（今海林市境内）地方，翌年升为昂邦章京。东北地区被划分为两大军事驻防区域，也即两个行政区域：在中国清朝时期黑龙江流域部分属黑龙江将军辖区，流域部分属吉林将军辖区。今黑龙江地区大部分位于宁古塔将军辖区（吉林将军辖区）之内。

1683年12月，清廷决定，划出宁古塔将军（吉林将军）所辖之西北地区，增设镇守黑龙江等处地方将军，简称黑龙江将军，管辖黑龙江将军辖区。1691年建齐齐哈尔城，1699年黑龙江衙门由墨尔根迁到齐齐哈尔，从此，齐齐哈尔成为黑龙江的首府，是黑龙江近300年来的政治、经济、文化、军事中心。形成

在中国清朝时期黑龙江流域部分属黑龙江将军辖区，流域部分属吉林将军辖区：宁古塔将军移住吉林乌拉后，于1757年改称吉林将军。黑龙江将军之下先后设有齐齐哈尔、黑龙江城（瑷珲）、墨尔根、呼伦布鱼尔、呼兰、布特哈、通肯等7城副都统和兴安城副都统衔总管。省府驻齐齐哈尔。1862年（同治元年）开始，黑龙江将军辖区内取消副都统，相继设立道、府、厅、州、县等地方行政建置。

1858年和1860年，沙俄通过不平等的《中俄瑷珲和约》和《中俄北京条约》，强行割占了黑龙江以北，乌苏里江以东100多万平方公里的土地，使黑龙江省和吉林省的行政区域大为缩小。1900年江东六十四屯被沙皇俄罗斯武力占领。

1907年（光绪三十三年）4月，清廷对东北地区行政体制进行改革，从本来设置的将军改设巡抚，为一省之长。实行省、府、县三级体制。在省之下、府之上设立道以为监察区域。在原黑龙江省区设有3道（瑷珲兵备道、呼伦兵备道、兴东兵备道）、7府（龙江（齐齐哈尔）、嫩江、呼兰、绥化、海伦、黑河、胪滨）、6厅、1州、7县，省会齐齐哈尔。当时为吉林省所辖而现在属黑龙江省境内的尚有2道（设于哈尔滨的西北路分巡兵备道和设于三姓城的东北路分巡兵备道）、7府（双城、宾州、五常、依兰、密山、临江、宁安）、3厅、1州、7县。

1912年中华民国成立后，黑龙江省沿袭清代省、道、县三级体制，共辖龙江、绥兰、黑河3道，省会齐齐哈尔。后增设呼伦道，共为4道，21县，6设治局。当时为吉林省所辖而今在黑龙江省境内的有滨江、依兰2道，18县。1930年黑龙江省辖42县，11设治局。当时隶属于吉林省今属黑龙江省的有22县。

1917年俄国十月革命后，中国政府逐步收回中东路“附属地”的行政主权。1920年将该区域定为“东省特别区”。1922年东北当局设立东省特别区行政长官，以统一监督节制该区域内的军警、外交、司法各机关。1924年5月，北京政府批准东省特别区独立于黑龙江、吉林两省区域之外，成为与省并列的特别行政区。

东北沦陷时期，日伪政权实行省、县（市）二级体制。从1934年开始对东北地区实行“分而治之”的政策，省的数量增多，区域划小。伪满洲国覆亡前夕，东北地区划分为15省1特别市，其中在今黑龙江省内设有龙江、滨江、三江、黑河、北安、东安6省，下辖哈尔滨、齐齐哈尔、牡丹江、佳木斯、东安5市，74县，3旗。

抗战胜利后，1946年8月，东北各省市行政联合办事处在哈尔滨成立，是东北地区最高行政机关，哈尔滨在东北所处的位置称之为北满。后改称东北行政委员会。在东北行政委员会领导下，实行省（特别市）、县（市）二级行政制度。

黑龙江省是东北和全国解放较早的地区，自1945年11月至1946年5月，在今黑龙江省境内先后成立了5省1直辖市民主政府，即黑龙江、嫩江、合江、绥宁、松江5个省政府和哈尔滨市政府。1946年10月，绥宁省改设为牡丹江专区，直属于东北行政委员会。同年11月，哈尔滨市改称特别市。1947年2月至9月，黑龙江、嫩江2省曾合并为黑龙江嫩江联合省，简称黑嫩省。同年8月，牡丹江专区撤销，设立牡丹江省，1947年7月该省撤销，所辖区域分别并入合江、松江2省。1949年5月，嫩江省与黑龙江省合并成立新的黑龙江省，省会齐齐哈尔。合江省与松江省合并成立新的松江省，省会哈尔滨。同时，将哈尔滨市改为松江省辖市。黑龙江、松江两省共辖5市（哈尔滨市、齐齐哈尔、佳木斯、牡丹江、兴山），71县，2矿区（鸡西、双鸭山），2旗。解放战争时期，在黑龙江省境内曾设立专区一级的行政区域，除黑河专区外，存在时间均不长。

1949年中华人民共和国成立后，实行省、市（地）、县3级体制。黑龙江地区在中华人民共和国建国之初仍设松江、黑龙江两省，所辖市（地）、县（旗）不变。1950年10月，黑龙江省省会齐齐哈尔市设立了市辖区行政建置。松江省省会哈尔滨市也开始设立相当于县一级的市辖区，两省共有14个市辖区。1953年8月，哈尔滨市改为中央直辖市，由东北行政委员会代管。1954年8月，松江省建制撤销与黑龙江省合并为新的黑龙江省，省会由齐齐哈尔市迁往哈尔滨市，哈尔滨市改为黑龙江省省辖市，为黑龙江省省会。同时，将原黑龙江省所辖白城地区的7县划归吉林省管辖。此后，黑龙江省的行政区域再没有大的变化。合省后的黑龙江省辖98个县级以上行政建置单位，其中哈尔滨、齐齐哈尔、牡丹江市、佳木斯、鹤岗5市，黑河、嫩江、合江3专区，66县、旗，2个兼有行政职能的县级矿区（鸡西、双鸭山），22个市辖区。