黑河市历史悠久。
据考古证明，早在旧石器时期就有人类在此地活动，形成古代土著民族的基础。
早在旧石器时代晚期就有古人类劳动、生息、繁衍在黑龙江流域这片广袤的土地上。
前16世纪，居住在今黑河市北部、嫩江流域的东胡、秽貊等族居民，同商朝有过“东胡黄罴，山戎戎荪”的贡纳关系。
西周初年，居住在黑龙江中、下游的肃慎族已向周王朝贡。
三国时，属扶余。
唐朝，黑龙江中下游属黑水靺鞨。
开元十三年（725年），唐朝设立黑水都督府，黑水靺鞨属之。
唐王朝直接任命长史。
贞元八年（792年），唐王朝为加强对室韦人居住地区的统治，又设立都督府。
金朝，属上京路所辖蒲峪路。
元朝，属辽阳行省的开元路和水达达路。
为沟通内地与黑龙江流域的联系，建立了许多"站赤"。
明朝，设立奴尔干都司，女真、契丹均属之。
奴尔干都司在东北地区设立卫、所、站、面、寨，黑河大部分地区属萨哈连地面，亦称黑龙江地面。
清康熙二十三年（1684年）10月，为了抵抗沙俄侵略者，清政府在黑龙江左旧瑷珲城设置了黑龙江衙门（同时设1名将军和2名副都统）。
康熙二十四年（1685年），黑龙江将军衙门迁到黑龙江右新瑷珲，即今爱辉区瑷珲镇。
康熙二十九年（1690年），黑龙江将军衙门又移驻墨尔根（今嫩江市），瑷珲副都统留守原城并从属黑龙江将军。
民国年间，黑河市大部分地区为黑河道尹公署管辖。
抗日战争爆发后，民国二十二年（1933年）1月25日，日本侵略者占领黑河。
民国二十三年（1934年）12月1日，成立伪黑河省。
民国三十四年（1945年）8月，黑河解放。
11月19日，成立嫩江省黑河地区行政办事处。
11月中旬，成立中共黑河地区中心县工作委员会。
12月14日，嫩江省黑河地区行政办事处更名为黑龙江省黑河地区行政办事处。
民国三十五年（1946年）9月7日，黑龙江省政府决定设立黑河地区行政督察专员公署。
民国三十六年（1947年）初，黑龙江、嫩江两省合并为黑嫩省。
2月7日，黑龙江省黑河地区行政督察专员公署改称为黑嫩省第五行政督察专员公署。
9月17日，原黑嫩省第五行政督察专员公署改称为黑龙江省黑河行政督察专员公署。
1950年1月16日，黑河行政区督察专员公署改称为黑龙江省黑河区专员公署。
1955年4月19日，黑河区专员公署改称为黑龙江省黑河专员公署。
1967年4月9日，成立黑河地区革命委员会。
1979年2月8日，撤消黑河地区革命委员会，成立黑龙江省黑河地区行政公署。
1993年2月8日，国务院决定撤消黑河地区，设立黑河市（地级市）。