绥化历史悠久。
大约在1万年前旧石器时代，绥化市境内就有古人类繁衍、生息。
夏商时期，绥化为肃慎地。
“肃慎者，虞夏以来东方大国也”。
西周至西汉时期，今绥化市的庆安县、绥棱县、海伦市、望奎县、兰西县等仍为肃慎地，西部的明水县、青冈县、安达县，西南部的肇东等市县为濊貊地。
东汉至两晋，绥化属夫余地。
晋时，绥化市大部分市县属夫余的寇漫汗。
南北朝时期，绥化属勿吉地。
隋唐时期，属靺鞨黑水部、黑水靺鞨地。
唐代，分别归属于唐渤海都督府和黑水都督府所辖。
宋辽金时期，绥化先后归契丹族建立的辽、女真族建立的金管辖。
元朝时期，绥化市为成吉思汗幼弟帖木哥斡赤斤的分封地，即归元朝的开元路管辖。
明朝时期，绥化为奴儿干都指挥使司所辖。
清朝时期，绥化归镇守黑龙江将军管辖。
清王朝建立之初，视东三省为“龙兴之地”，实行封禁政策，将东三省山林、土地当作皇室围场，严禁开发耕种。
咸丰十年（1860年），经黑龙江将军特普钦奏准，开始出放民荒。
光绪十一年（1885年），设绥化理事通判厅。
光绪三十年十二月二十四日（1905年）1月29日，由厅升府。
光绪三十三年（1907年），在东北设东北三省总督，统辖奉天、吉林和黑龙江三省，绥化归黑龙江省管辖。
民国元年（1912年），东北三省承袭清末地方行政制度，仍实行省、道、府（直隶州、厅）、县（州、厅）4级制度。
民国二年（1913年）裁府州，改为行省、道、县3级制，绥化府改为绥化县。
民国三年（1914年）6月，设黑龙江省龙江道、绥兰道。
今绥化市所属各县（市）区分别归龙江道、绥兰道所辖。
民国十八年（1929年），东北政务委员会成立，废道制，县归省直接管辖。
海伦、绥化为一等县，肇东、兰西、青冈、安达、望奎、庆城为二等县，绥棱、明水为三等县。
民国二十三年（1934年），东北沦陷时期，明水县归龙江省管辖，其余9县归滨江省管辖。
民国二十八年（1939年），明水、绥化、海伦、望奎、庆城、绥棱6县为北安省所辖，其余4县仍由滨江省管辖。
解放战争时期，庆城（庆安）、绥棱、海伦、望奎、绥化、明水和青冈、兰西、安达、肇东等县分属当时的黑龙江省和嫩江省、松江省管辖。
1949年，中华人民共和国成立前夕，今绥化市10个市县均划归黑龙江省管辖。
10月1日，中华人民共和国成立。
建国初期，今绥化市各县（市）区一直归黑龙江省直辖。
1956年1月3日，中共中央批准，成立绥化专区。
3月6日，国务院批准，黑龙江省成立绥化专署，同年4月11日，国务院批准，郭尔罗斯后旗改称肇源县，仍由省直辖。
1958年8月16日，国务院决定撤销绥化专员公署，成立松花江专员公署，专员公署驻哈尔滨市，辖1市13县，同时，将省直辖的肇东县划归哈尔滨市管辖。
1960年5月12日，将由嫩江专区所辖的明水、青冈、安达3县划归松花江专区。
同年5月26日，撤安达县设地级安达市，仍由松花江专区所辖。
1962年10月，恢复铁力县，由松花江专区所辖。
至此，松花江专区辖2市12县。
1963年12月，伊春市从松花江专员公署划出。
1964年6月，撤安达市设安达特区，由石油部和黑龙江省双重领导。
196年3月，恢复安达县，由松花江专区所辖。
6月，国务院决定重新成立松花江专员公署，原松花江公署改为绥化专员公署，绥化专员公署驻绥化县。
1967年3月，成立绥化地区革命委员会。
1970年4月，铁力县划归伊春地区所辖。
1979年2月，撤销绥化地区革命委员会，设置绥化地区行政公署，辖绥化、肇东、安达、海伦、肇州、明水、望奎、庆安、绥棱、兰西、肇源、青冈12县。
1982年12月，经国务院批准撤绥化县设县级绥化市。
1984年11月，撤安达县设县级安达市。
1986年9月，撤肇东县设县级肇东市。
1989年12月，撤海伦县设县级海伦市。
1992年12月，肇州、肇源2县划归大庆市。
1999年12月，国务院批准，撤绥化地区，设地级绥化市。
撤县级绥化市，设县级北林区。
市、区行政领导体制2000年6月1日起实行。