关于南岳的由来，《周礼•职方氏》中说：“南岳之镇曰衡。”以“其分当翼轸，光辅紫宸，钤三气之根，钧五灵之德，上列注生之宿，下符长育之功，称物平施，故谓之衡山”。东晋罗含所著的《湘中记》中说：“衡山，朱陵之灵台，太虚之宝洞，上承轸宿，铨德钧物，应度玑衡，故名衡山。下踞离宫，摄位火乡，赤帝馆其岭，祝融宅其阳，故曰南岳。”不过，以前的南岳衡山并不在今天的所在。南朝任昉著的《述异记》中说，南岳是由盘古的左臂变的。汉武帝南巡时，“以南岳辽远，乃徙其祭于庐江”。陆增祥《八琼室金石补正》卷五十六中说，汉武帝时以安徽潜山的天柱山为南岳，到唐贞观时，才正式确定湖南衡州的衡山。

衡山被认为是神仙洞府所在地，也是修炼之人的理想修炼之处。因为此山充满灵气，在此修炼，就可飞升。道教认为衡山是由仙人石长生管理的。据说从西晋起，就有道士在衡山上修行。唐末李冲昭在《南岳小录》中就记载了在此修道的九位著名道士。有晋武帝时的陈真人兴明，晋惠帝时飞升；尹真人道全，晋怀帝时飞升；徐真人灵期，宋元徽时飞升；陈真人惠度，齐武帝永明时飞升；张真人昙要，齐延兴元年时飞升；张真人始轸，梁天监三年时飞升；王真人灵舆，梁天监十一年时飞升；邓真人郁之，梁天监十年时飞升。

除了《南岳小录》记载之外，在衡山修炼成仙之人亦并不少见。邓欲之，隐居在南岳洞台，夜诵大洞经，感动了仙人魏夫人，并现真身告诉他：“君有仙分，特来相访”。清乾隆《南岳志》卷四称其为邓郁之（南岳九真之一）之子。廖冲，字清虚，梁武帝大通三年（529）居住在连山郡，以才德见称，曾做本郡主簿。后辞官开始寻求修道的方法。在嵩山住了很久后，来到了南岳，在祝融峰遇见仙人太平真君传道，于是得成仙之法。据说活了一百多岁，在唐先天元年（712）成仙。司马承祯，字子微，唐朝开元（713～741）初，从海上来到南岳，开始修炼，后得道成仙。薛幽栖，蒲州宝鼎人，开元间及進士第。后在青城峨眉开始访道。天宝（742～755）初年，来到南岳。后在墨山尸解成仙。

两晋南北朝时，衡山已建起了一些道观，如衡岳观、招仙观、九真观、九仙宫、玉清观等。目前许多已经被废弃。

南岳不仅仅是道家修炼的理想之地，随着佛教在中原的传播，亦成为佛家修行的场所。南北朝时，一些和尚来到衡山，著名的有南岳十八高僧。比如天台宗的慧思就在此修行，并在衡山上建立了般若寺，即今福严寺，又建立了小般若寺，即今藏经殿，弘扬佛法。禅宗七祖怀让也在此修行。此后修建的寺庙还有：南台寺、祝圣寺等。

魏晋诗人陆机有诗《咏南岳》：