茅山古代称句曲山、地肺山，又名冈山。因为它山势曲折，象汉字的“已”字，故名句曲山，又名金陵地肺山，道家称“句曲之金陵，是养真之福境，成神之灵墟”。西汉景帝时，有陕西咸阳茅氏三兄弟茅盈、茅固、茅衷来句曲山修炼，同时给当地百姓治病，人称“三茅真人”；后三人得道成仙。人们遂改句曲山为三茅山，简称“茅山”。在道教中，它被列为第八洞天和第一福地。

自古就有修炼人在茅山修行。相传在距今5000多年前的高辛氏时期，就有展上公在句曲山伏龙地（今茅山镇玉晨村）修炼。先秦时，有燕国人郭四朝在玉晨观修炼；秦时，李明真人在古炼丹院（今乾元观）修炼；西汉时有茅氏三兄弟茅盈、茅固、茅衷在此修炼成仙。西晋时，女道人魏华存修道于茅山，后被尊为茅山宗开山太师。东晋许谧、许岁羽父子曾在茅山修炼，并与杨羲合造《上清经》，创立了茅山上清派。后来得道成仙的葛洪也在茅山抱朴峰上修炼，并著书立说。晋末至宋、齐、梁时期，茅山修道者日众，比较著名的有马朗、马罕、陆修静、孙游岳、钱妙真、陶弘景等。

陶弘景，南朝著名道士，在茅山修行40余年，是茅山上清派的主要传承者。后来他游遍了各个名山，寻求仙药。有时他一个人独自去山泉、岩石的地方游览，远远看到他的人都以为是神仙。陶弘景身长七尺八寸，性格谦虚礼让，心胸宽阔、度量宏大，见解清晰，任何事情一眼就能看透。梁武帝取得皇位后，和大臣们商讨定国号的事，但一直没有统一的意见。陶弘景就按照各种卦书推算，建议国号定为“梁”。他又为梁武帝卜算出登基的日子，也十分吉利灵验。梁武帝即位后，国家每当遇到吉凶、征讨等大事，都要派人去他那里咨询，因此当时的人们把他叫做“山中宰相”。梁武帝有一次写了一封亲笔信请他入朝作官。陶弘景就画了两头牛，一头无拘无束的散漫在水草之间非常自由自在，另一头戴着黄金笼头，被人用绳子牵着，还用棍子驱赶着。梁武帝看了也笑起来，知道他绝不会出来作官，也就打消了迫他出山做官的念头。

陶弘景在梁武帝（中）大同二年（丙辰年）三月十二日癸丑去世，当时八十一岁，死时脸上容颜仍像活着一样，四肢柔软能屈能伸就像平常一般，室内的香气积聚好几天都不散去。三月十四日，在雷平山给他建了衣冠冢（只埋葬他生前的一两件衣物）。梁武帝下诏赠给他“中散大夫”的爵位，还追赐他“贞白先生”的谥号，并派官员监办他的丧礼。马枢在《得道传》里说，贞白先生成仙后被天界任命为蓬莱仙洲的都水监，有好几百弟子。弟子中有些是得道的，如王远之、陆逸冲、桓清远等人，都继承了贞白先生高尚的道德节操。

隋唐五代，茅山道教進入兴盛时期，有大批道士在此山修道，比较有名的有：王远知、潘师正、司马承祯、李含光、韦景昭、黄洞元、孙智清、吴法通、刘得常、王栖霞等。他们亦多有仙迹留于世间。此时期来茅山修道学经者常达数千人。宋元时期，茅山道教继续发展，比较知名的道士有成延昭、刘大彬、刘混康、徐希和、蒋宗瑛等。明清时期，茅山仍是江东道教圣地，知名道士有邓自名、薛明道、陈德星、任自垣、王克玄、沈祖约、蒋德王宣、徐祖谏、戴绍资、任绍绩等。据说明代“天下乞灵于名山者，东岱岳，南武当，东茅峰，奔走士女，地无远近，而岁无宁息。”道士笪蟾光撰成《茅山志》。

因为茅山高道辈出，香火隆盛，所以被称为“秦汉神仙府，梁唐宰相家”。元代文士赵世延《茅山志·序》评价茅山是“诏诰之隆，仙真之异，洞府之邃，坛箓之传，人物之伟，楼观之盛”。

茅山上修道之人众多，自然也建有许多宫观。南朝齐梁之际，建造的主要宫观有：积金山上的华阳上、中、下三馆，陶弘景隐居的道靖馆，在雷平山上的朱阳馆，郁冈玄洲斋室，嗣真馆，女真人钱妙真修炼之地燕洞宫等。笪蟾光《茅山志》载：“齐梁之际，知名之馆凡五十余，精舍十余，皆羽流居，宫观盛筑。” 隋唐时期，建造的道观有太平观、崇元观和紫阳观，都是唐太宗敕建。宋元时期，茅山建有大批宫观，同时还修葺了一些建筑，如宋代的崇禧观、集虚庵（后改名为乾元观）、五云观、清真观、白云崇福观、抱云观等，元代的德祐观、仁祐观。后世所称茅山“三宫五观”（即元符宫、九霄万福宫、崇禧万寿宫和乾元、玉晨、白云、德祐、仁祐五观），都在唐时开始建造，完成于宋元。明清时，主要致力于宫观的修复。抗日战争时，“三宫五观”大部分的建筑毁于战火。

此外，茅山的二十六个溶洞，都与修道之人有着紧密的联系，比较著名的有华阳洞、玉柱洞、仙人洞。相传西汉时茅氏兄弟三人与西晋时的汗浇及东晋时的许明，均曾于华阳洞内隐居修炼过，齐梁时的陶弘景也曾隐于该洞中修行。

宋代著名文学家王安石曾登临茅山，作了《登茅峰》三首诗，抒发了对山景的留恋，对仙人的追忆：