上古南岳古为衡州之域。
秦统一中国后，南岳衡山其地属衡阳郡。
三国吴会稽王太平二年（257年），隶属衡阳县。
西晋永熙元年（290年），改衡阳县为衡山县，为县名之始。
隋属衡州郡。
唐属衡州。
55.88属衡州衡阳郡。
元属衡州路。
明属衡州府。
清因之。
中华民国废府存道，直属衡阳道。
中华人民共和国20世纪50年代，衡山县属湘南行政区（行政中心衡阳市）、衡阳专区。
1960年初，衡山划出南岳公社和南岳镇归衡阳市南岳管理局管辖，次年底，南岳管理局改称南岳县。
1966年，撤销南岳县；将衡山县湘江以东地区析出组建衡东县，原南岳县与衡山县湘江以西地区合并为衡山县。
1984年，正式成立南岳区人民政府。