通河早在１万年前新石器时代就有人类活动，伴随中华文明的开启，先后有肃慎及其后裔的挹娄、勿吉、女真人在此繁衍生息。
清乾隆二十七年（1762年），吉林将军上奏朝廷乾隆皇上，以三姓西阿勒楚喀，地势辽远，驿递不便，请求在巴彦苏苏（今巴彦县）东设置5个投递驿站，获得朝廷准奏。
即设置妙葛珊站（一站）、鄂勒果木站（二站）、崇古尔库站（三站）、富拉浑站（四站）、佛斯享站（五站），奉朱批准奏。
这是有史以来封建王朝对通河地域最早的命名。
清光绪三十二年（1905）农历十一月二十八日，清吉林将军达桂，鉴于依兰府东部原本荒芜的五个驿站之地，汉满住户已经超过6000多户，人口超过40000人的情形，向清王朝上书“宾洲适中之地为崇古尔库站，于此处设知县一员，名曰大通县。”清光绪三十二年（1906）九月一日，清政府设置大通县，辖区面积跨松花江而治：江北有五个驿站之广，江南有十旗公田局广袤的土地。
任命科举进士出身的张熙（河北省乐亭人）为首任知县，县衙设在县境中部的崇古乐驿站（公安社），因驿站有大通河而得名，故名大通县。
隶属吉林省依兰府。
知县张熙到任后，为便于记忆，把大通县的行政区划称之为“五社一局”，即在江北五个满语命名的驿站，从东至西冠以“温良恭俭让”：温和社（妙葛珊站）、良明社（鄂勒果木站）、恭安社（崇古尔库站）、俭朴社（富拉浑站）、让仁社（弗斯享站）；称江南一局为“十旗公田局”。
清光绪三十四年（1908）三月，吉林与黑龙江两省勘划疆界，以松花江航道为两省重新勘界。
通河西部以二道河为大通、木兰两县交界。
东部以小古洞河东七里坑为大通、县依兰府交界。
同年农历五月二十六日，奉朱批“大通县江北地方改归江省管辖”，即将松花江北岸大通县之地由吉林省辖区划为黑龙江省辖区。
清宣统元年（1909）三月，奉旨，将大通县松花江南岸之“十旗公田局”所属之地成立“方正县”，由大通县析置，划归吉林省辖区。
1914年，北京政务府内部发现通河县与甘肃省大通县重名而改名为通河县，沿用至今。
县公署从崇古尔库站（三站公安社）西迁至岔林河口，今天的通河镇。
伪满洲国大同二年（1932）8月，伪满洲国将凤山设治局设置为凤山县，1939年，伪凤山县在抗日联军的打击下被迫撤销凤山县治，复归通河县。
1934年通河县划为伪满洲国三江省（省会佳木斯）辖区。
1946年6月，中共北满分局南撤后，通河县划归松江省哈北专员公署辖区。
1947年8月，通河县由松江省直辖。
1949年7月，通河县民主政府改称通河县人民政府。
1954年8月，松江省与黑龙江省合并，通河归黑龙江省直辖。
1956年3月，通河县隶属黑龙江省绥化专员公署管辖。
1958年8月，通河县属黑龙江省松花江专员公署管辖。
1960年4月，通河县属哈尔滨市管辖。
1965年8月，通河县复归松花江专员公署管辖。
1996年12月，松花江专员公署并入哈尔滨市，通河县由哈尔滨市管辖。