潜山在周朝时,为皖国所辖、皖国都城就在今潜山县城，东汉献帝初平末年（193），庐江太守陆康为远避战乱，将庐江郡治迁至皖县城。
唐时，潜山县曾为舒州治所。
元至治三年(1323)，分怀宁县清朝、玉照两乡，始置潜山县，隶属于河南江北行省安庆路总管府。
元至正二十一年(1361)，改安庆路为宁江府。
次年，又恢复安庆府，直隶于南京。
清沿用安庆府旧称。
顺治二年（1645)，划属江南省，十八年(1661)，置江南左布政使司以辖之。
康熙六年(1667)，改江南左布政使司为安徽布政使司，正式设置安徽省。
尔后，县的全称则为安徽省安庆府潜山县。
中华民国初年，安庆府被废，潜山县直属安徽省。
1914年，设安庆道以辖之。
1928年，废安庆道，潜山县又一度直属于安徽省。
1932年直至县境解放之时，潜山县先后受辖于安徽省第一行政区或安庆专区。
1949年4月称皖北行署安庆专区潜山县；1971年3月，改称安徽省安庆专区潜山县；1979年底，改安庆专区为安庆地区，后改安庆地区为安庆行署，潜山县相沿隶属之。
1989年后属安庆市。
1992年撤区并乡，设12个镇、18个乡。
2004年，潜山县乡镇行政区划调整（安徽省民政厅民地字[2004]209号），乡镇由30个调整为16个。
2024年7月2日，撤销潜山县，设立县级潜山市。
由安徽省直辖，安庆市代管。