先秦时期早在22000年前（旧石器时代晚期），哈尔滨地区就已经有人类活动。
大约5000年前，哈尔滨地区进入新石器时代。
大约3000年前（殷商晚期），哈尔滨进入青铜时代，属于黑龙江地区最早的古代文明国家——白金宝文化的分布区域。
自帝舜时始，经夏、商、周3代（公元前23世纪至公元前5世纪），哈尔滨地区为肃慎族故地。
秦汉至南北朝时期汉代，肃慎改称挹娄，哈尔滨地区是其西部边缘。
北魏时期，挹娄改称勿吉。
历经两汉和魏晋时期，哈尔滨地区为扶余国属地。
公元5世纪，勿吉灭扶余国，进入哈尔滨地区，在阿什河畔建立安车骨部，成为勿吉七大部落联盟之一。
隋唐至宋元时期隋唐时期，勿吉改称靺鞨。
公元691年，唐朝派兵征讨南下的黑水部靺鞨，进入安车骨部腹地，黑水部靺鞨败散，安车骨部靺鞨也大量奔散逃离，靺鞨归属于唐。
唐圣历元年（公元698年），靺鞨族建立地方民族政权震国（公元713年改称渤海国），渤海国仿行唐朝的府州县行政制度，哈尔滨为渤海国鄚颉府属地。
辽代契丹太宗天显元年（公元926年），渤海国为契丹所灭后，原渤海境内的女真族兴起，分生女真、熟女真两部。
生女真位于长白山及松花江流域，哈尔滨为生女真属地。
辽天庆五年（公元1115年），生女真完颜部酋长阿骨打大败辽军后建立大金国，并将上京（哈尔滨阿城）设立为国都与两大汉军万户的居住地。
哈尔滨属上京路会宁府辖境，是金朝京畿重地。
元代窝阔台汗六年（金天兴三年，公元1234年），金王朝灭亡，元朝实行行省制，哈尔滨属开元路辖境，且哈尔滨地区成为成吉思汗三弟帖木哥·斡赤斤家族的封地。
明清时期公元1395年，明朝廷派兵攻击忽刺温江（今哈尔滨市境呼兰河）与元残余势力密切的女真西阳哈部，并追击到甫答迷旧城（今哈尔滨市宾县鸟河古城）。
经陆续招抚女真诸部，哈尔滨地区才正式归属明朝。
明朝对东北地区实行都司卫所制管理，设辽东都司和奴儿干都司。
哈尔滨地区属奴儿干都司兀失卫辖境。
清朝建立后，东北地区因是满族故乡，则采用军府制，全部裁撤明朝设在东北地区的都司卫所。
清顺治三年（公元1646年）五月，哈尔滨归奉天昂邦章京管辖。
清顺治十年（公元1653年）五月，哈尔滨归宁古塔副都统属地。
清康熙三十七年（公元1698年），哈尔滨松花江北岸地区，属黑龙江将军下齐齐哈尔副都统辖境。
清乾隆九年（公元1744年），现哈尔滨松花江南岸地区属吉林将军下拉林副都统下阿勒楚喀协领管辖。
清乾隆三十四年（公元1769年），裁撤拉林副都统，现哈尔滨松花江南岸地区分属吉林将军下阿勒楚喀副都统下阿勒楚喀协领和拉林协领管辖。
清同治元年（公元1862年），按旗民分治设置呼兰厅，哈尔滨松花江北岸地区为黑龙江将军下齐齐哈尔副都统下属呼兰厅所辖。
清中后期，随着“京旗移垦”和“开禁放荒”政策的实施，大量满汉百姓移居至哈尔滨地区。
19世纪末，哈尔滨已出现村屯数十个，居民约3万人，为城市的形成与发展奠定了基础。
清光绪二十二年（公元1896年），沙俄诱迫清朝廷签订不平等的《中俄御敌互相援助条约》，允许俄国修筑中国东省铁路（即中东铁路），并于1898年确定哈尔滨为中东铁路枢纽和管理中心。
哈尔滨成为沙俄的侵华总埠，成为沙俄殖民统治的租借地。
1903年中东铁路建成时，哈尔滨地方的滨江地区为吉黑两将军的呼兰、阿勒楚喀两协领辖区。
1904年，日俄战争爆发，哈尔滨成为俄国的重要战略后方。
20世纪初，哈尔滨就已成为国际性商埠，先后有33个国家的16万余侨民聚集这里，19个国家在此设领事馆，成为当时的北满经济中心和国际都市。
中华民国时期民国二年（公元1913年）1月29日，吉林省民政公署将吉林省西北路分巡兵备道改为吉林省西北路道，道署设于哈尔滨。
民国三年（公元1914年）5月，吉林省西北路道改称滨江道。
民国十五年（公元1926年）9月1日，成立哈尔滨特别市政局，直属东省特别区行政长官。
民国十八年（公元1929年）2月，滨江道撤销，滨江县直接隶属于吉林省政府。
民国二十一年（公元1932年）2月5日，日本侵略军占领了哈尔滨；7月1日，伪满政府发布命令，成立哈尔滨市政筹备处，隶属于伪满国务院。
民国三十四年（公元1945年）8月15日，日本宣布投降，哈尔滨市成立临时性的地方维持会；9月18日苏联红军进驻哈尔滨市后，次日组成哈尔滨市卫戍司令部及哈尔滨军事管制委员会，对哈尔滨市实行全面管制；9月25日，苏军哈尔滨军事管制委员会宣布解散哈尔滨市地方维持会，组成在苏军管制下的哈尔滨市政府。
民国三十五年（公元1946年）1月2日，国民政府直属的哈尔滨特别市政府成立，接管原苏联红军军事管制委员会控制下的哈尔滨市政府；4月27日，国民政府所属的哈尔滨特别市政府遂解体。
民国三十五年（公元1946年）4月28日，哈尔滨建立了人民政权，成为中国解放最早的大城市；5月3日，哈尔滨市政府成立，隶属松江省政府，设道里、新阳、道外、马家、南岗、三棵树、香坊、松浦8个区。
民国三十五年（公元1946年）11月18日，哈尔滨市政府改为哈尔滨特别市政府，隶属于东北行政委员会。
1949年3月1日，哈尔滨特别市政府改称哈尔滨市政府，仍隶属东北行政委员会；4月21日，哈尔滨市政府改为哈尔滨市人民政府，隶属松江省人民政府，为松江省省会城市。
中华人民共和国成立后1953年7月18日，哈尔滨市改为中央直辖市（由东北人民政府代管）。
1954年8月1日，松江省与黑龙江省合并，成立新的黑龙江省，哈尔滨市划入黑龙江省建制，成为黑龙江省的省辖市，并定为黑龙江省省会。
1955年2月11日，哈尔滨市人民政府改称“黑龙江省哈尔滨市人民委员会”。
在“一五”时期，哈尔滨是国家重点建设城市之一，有13项苏联援建的重点建设工程，构筑了哈尔滨基本的工业格局，奠定了哈尔滨成为国家重要机电工业基地的地位，由一个消费城市转变为新兴工业城市。
1958年至1965年，哈尔滨经历了“大跃进”和经济调整的曲折发展过程。
1960年6月，原黑龙江省松花江地区所辖的五常、双城、巴彦、木兰、通河5县划归哈尔滨市管辖，肇东县划出，由松花江地区管辖；至此，哈尔滨市共辖阿城、呼兰、双城、五常、巴彦、宾县、木兰、通河8个县。
1965年7月，将哈尔滨市所辖8个县划归松花江地区管辖。
1966年至1976年“文化大革命”期间，哈尔滨市人民委员会基本瘫痪。
1967年2月16日，“哈尔滨市人民公社”成立；26日，“哈尔滨市人民公社”更名为“哈尔滨市红色造反者革命委员会”；4月13日，哈尔滨市红色造反者革命委员会改称“哈尔滨市革命委员会”，它既是市人民代表大会的常设机关，又是市人民政府。
1980年1月11日，哈尔滨市革命委员会改为哈尔滨市人民政府，辖有道里、道外、南岗、香坊、动力、太平、平房7个区。
1996年，松花江地区与哈尔滨市合并，组建新的哈尔滨市，行政管辖区域为道里区、南岗区、道外区、香坊区、动力区、太平区、平房区7个区；五常市、双城市、阿城市、尚志市、呼兰县、巴彦县、宾县、依兰县、延寿县、木兰县、通河县、方正县12个县（市）。
2004年2月，新设立松北区，撤销太平区，撤销呼兰县设立呼兰区。
2006年8月，撤销动力区，撤销阿城市设立阿城区。
2024年5月，撤销双城市设立双城区。
至2024年底，哈尔滨市辖9区9县（市）。