黑河市歷史悠久。
據(jù)考古證明，早在舊石器時(shí)期就有人類在此地活動(dòng)，形成古代土著民族的基礎(chǔ)。
早在舊石器時(shí)代晚期就有古人類勞動(dòng)、生息、繁衍在黑龍江流域這片廣袤的土地上。
前16世紀(jì)，居住在今黑河市北部、嫩江流域的東胡、穢貊等族居民，同商朝有過(guò)“東胡黃羆，山戎戎蓀”的貢納關(guān)系。
西周初年，居住在黑龍江中、下游的肅慎族已向周王朝貢。
三國(guó)時(shí)，屬扶余。
唐朝，黑龍江中下游屬黑水靺鞨。
開(kāi)元十三年（725年），唐朝設(shè)立黑水都督府，黑水靺鞨屬之。
唐王朝直接任命長(zhǎng)史。
貞元八年（792年），唐王朝為加強(qiáng)對(duì)室韋人居住地區(qū)的統(tǒng)治，又設(shè)立都督府。
金朝，屬上京路所轄蒲峪路。
元朝，屬遼陽(yáng)行省的開(kāi)元路和水達(dá)達(dá)路。
為溝通內(nèi)地與黑龍江流域的聯(lián)系，建立了許多"站赤"。
明朝，設(shè)立奴爾干都司，女真、契丹均屬之。
奴爾干都司在東北地區(qū)設(shè)立衛(wèi)、所、站、面、寨，黑河大部分地區(qū)屬薩哈連地面，亦稱黑龍江地面。
清康熙二十三年（1684年）10月，為了抵抗沙俄侵略者，清政府在黑龍江左舊璦琿城設(shè)置了黑龍江衙門（同時(shí)設(shè)1名將軍和2名副都統(tǒng)）。
康熙二十四年（1685年），黑龍江將軍衙門遷到黑龍江右新璦琿，即今愛(ài)輝區(qū)璦琿鎮(zhèn)。
康熙二十九年（1690年），黑龍江將軍衙門又移駐墨爾根（今嫩江市），璦琿副都統(tǒng)留守原城并從屬黑龍江將軍。
民國(guó)年間，黑河市大部分地區(qū)為黑河道尹公署管轄。
抗日戰(zhàn)爭(zhēng)爆發(fā)后，民國(guó)二十二年（1933年）1月25日，日本侵略者占領(lǐng)黑河。
民國(guó)二十三年（1934年）12月1日，成立偽黑河省。
民國(guó)三十四年（1945年）8月，黑河解放。
11月19日，成立嫩江省黑河地區(qū)行政辦事處。
11月中旬，成立中共黑河地區(qū)中心縣工作委員會(huì)。
12月14日，嫩江省黑河地區(qū)行政辦事處更名為黑龍江省黑河地區(qū)行政辦事處。
民國(guó)三十五年（1946年）9月7日，黑龍江省政府決定設(shè)立黑河地區(qū)行政督察專員公署。
民國(guó)三十六年（1947年）初，黑龍江、嫩江兩省合并為黑嫩省。
2月7日，黑龍江省黑河地區(qū)行政督察專員公署改稱為黑嫩省第五行政督察專員公署。
9月17日，原黑嫩省第五行政督察專員公署改稱為黑龍江省黑河行政督察專員公署。
1950年1月16日，黑河行政區(qū)督察專員公署改稱為黑龍江省黑河區(qū)專員公署。
1955年4月19日，黑河區(qū)專員公署改稱為黑龍江省黑河專員公署。
1967年4月9日，成立黑河地區(qū)革命委員會(huì)。
1979年2月8日，撤消黑河地區(qū)革命委員會(huì)，成立黑龍江省黑河地區(qū)行政公署。
1993年2月8日，國(guó)務(wù)院決定撤消黑河地區(qū)，設(shè)立黑河市（地級(jí)市）。