春秋战国时期先后属楚、吴、越诸国。
楚国于此置合肥邑。
秦始皇二十六年（前221），置合肥县，属九江郡。
西汉前期属淮南王国。
汉元狩元年（前122），九江郡辖合肥等县。
东汉建武元年（25），改合肥县为合肥侯国。
建安五年（200），合肥侯国复改为合肥县。
三国属魏国淮南郡。
西晋属淮南郡。
东晋，县废。
南朝宋，于旧合肥县地置汝阴县。
汝阴属南豫州南汝阴郡，为郡治。
梁天监五年（506）改属汝阴郡。
梁普通七年（526），属南豫州，为南豫州治。
梁太清元年（547），属合州汝阴郡。
隋开皇元年（581），改汝阴县为合肥县，改合州为庐州，合肥属庐州。
唐贞观元年（627），为合肥属淮南道庐州治。
北宋淳化四年（993），合肥县属淮南道庐州。
至道三年（997），属淮南路庐州，为州治。
熙宁五年（1072），属淮南西路庐州，为州治。
元至元十四年（1277），属淮西道庐州路。
至正十二年（1352），属河南江北行省庐州路。
至正二十四年（1363），改路为府，合肥县属江淮行省庐州府，不久改属江浙行省庐州府。
明洪武元年（1368），属中书省直隶庐州府。
清顺治二年（1645），合肥县属江南省庐州府。
康熙元年（1661）属江南左省庐州府。
康熙六年（1667），合肥县属安徽省庐州府。
1912年，庐州府废，合肥县直属安徽省。
1914年属安庆道。
1928年，复直属安徽省。
1945年，移省会至合肥。
1948年12月，析置肥西县。
1949年2月1日，再次析置肥东县。
1949年2月，合肥设市。
1952年，设立安徽省，省会驻合肥市，至此合肥正式成为安徽省省会。
1961年划肥东、肥西、巢县3县分别入滁县专区、六安专区、芜湖专区。
1964年分寿县、定远、肥东、肥西4县地置长丰县，为市辖县。
1983年肥东、肥西2县复划入市境。
1965年，长丰县成为合肥市第一个市辖县。
2024年8月，庐江县与县级巢湖市划归合肥市管辖。