唐尧子丹朱邑。
春秋属晋。
战国属魏。
汉为襄陵县地，属河东郡。
魏晋胥属平阳郡。
南北朝北魏天赐元年（404）置葛城县（今古县村）。
太平真君二年（441）罢禽昌郡后，析襄陵县置禽昌县，省葛城县并入。
北齐天保七年（556）移禽昌县治于今尧都区县底村，省襄陵县并入。
北周移县治于襄陵故城（今襄汾县古城庄）在葛城故地置郭城县。
隋大业二年（606）废禽昌县为襄陵县，治襄陵故城，省郭城县入襄陵，属临汾郡。
唐武德二年（619）以襄陵地广析置浮山县，以郭城旧址建治。
寻以神人见，四年（621年）改名神山县，属晋州。
宋康定元年（1040年）县治自郭城迁今址，县属晋州。
政和六年（1116）属平阳府。
金大定七年（1167）复名浮山县，兴定四年（1220）改名忠孝县，属平阳府。
元大德九年（1305）复称浮山县，属晋宁路。
明、清属平阳府。
公元1913年属河东道，公元1927年属山西省，公元1937年属山西省第五区。
1939年3月建立抗日民主政府，属山西第六行政区。
1941年晋、冀、鲁、豫边区建立，浮山属太岳行署。
1947年4月，浮山解放，归太岳三分区，冀南行署辖地。
1949年中华人民共和国成立，民主政府改为县人民政府，属山西省临汾专区。
1954年县人民政府改为县人民委员会，属晋南专区。
1967年4月8日成立浮山县革命委员会。
1970年隶属临汾地区。
2000年临汾撤地设市，隶属临汾市管辖至今。