上古南岳古為衡州之域。
秦統(tǒng)一中國后，南岳衡山其地屬衡陽郡。
三國吳會稽王太平二年（257年），隸屬衡陽縣。
西晉永熙元年（290年），改衡陽縣為衡山縣，為縣名之始。
隋屬衡州郡。
唐屬衡州。
55.88屬衡州衡陽郡。
元屬衡州路。
明屬衡州府。
清因之。
中華民國廢府存道，直屬衡陽道。
中華人民共和國20世紀50年代，衡山縣屬湘南行政區(qū)（行政中心衡陽市）、衡陽專區(qū)。
1960年初，衡山劃出南岳公社和南岳鎮(zhèn)歸衡陽市南岳管理局管轄，次年底，南岳管理局改稱南岳縣。
1966年，撤銷南岳縣；將衡山縣湘江以東地區(qū)析出組建衡東縣，原南岳縣與衡山縣湘江以西地區(qū)合并為衡山縣。
1984年，正式成立南岳區(qū)人民政府。