天目山古名“浮玉山”。相传古时，东、西天目山峰顶各有一个半月形的天池。每年八月，当月亮挂在天中央时，天池里就会浮出一块滚圆的宝玉，闪闪发光，故称“浮玉山”。而这两个天池，又宛如仰望苍天的两只眼睛，因此此山又称为“天目山”。

如此清幽、清凉之地，自然也是修炼人修行的佳所，它被封为道家第三十四洞天。大约在公元前100多年的西汉时期，就有被武帝册封为“太微先生”和“太素先生”的王谷神、皮元曜在此修炼。东汉时期，江西龙虎山的天师、道教创始人张道陵就出生在西天目山，并在此修炼多年。相传，张道陵的父母为避战祸，来到西天目山定居。一日，他母亲梦见一个巨人从魁星迅疾而来，并将一径绿油油的薇草交给她。可是她醒来后，手中并未发现什么花草，但是居室中却有阵阵异香扑鼻。不久，她就怀孕了。分娩那天，室内光焰万丈，香气馥郁。西天目山狮子岩西边就是张道陵的出生地张公舍。他长大后，放弃官职，隐居在西天目山修炼。张公舍下的张公洞就是张道陵的隐室，洞的西崖下有一丹池，即张道陵炼丹处。相传池内有神鱼，异形四足能吐气作云。此后，张道陵还去了江西的龙虎山，在四川鹤鸣山受太上老君的秘授，最终羽化成仙。

此外，汉时在此修炼的还有魏伯阳、左慈、葛元等，他们最终都得道成仙。这里讲一个关于仙人左慈的故事。

魏国的曹操听说左慈神异之事后，就把他召去，关在一间石屋里，并派人把守监视，一年间，没给他吃一粒米，等到放出他时，他的模样依然如故。曹操认为世上的人没有不食的道理， 而左慈竟然可以不食，认为左慈修的一定不是正道，想将他杀掉。曹操一起杀左慈的念头，左慈就知道了，于是请求曹操放他回家。曹操说：“为什么你如此急着走呢？”左慈说：“你要杀我，所以我才请求离去。”曹操说：“我绝无此意，我怎么会杀你呢。既然先生有高洁的志向，我也就不挽留你了。”于是曹操为左慈设酒宴饯行，左慈说：“我就要远行了，请求和您共饮一杯酒。”曹操表示愿意。当时天寒，酒正在火上温着，只见左慈拔下头上的道簪来搅酒，片刻间，道簪完全溶在了酒中，如同磨墨一样。起初，曹操见左慈要求喝 “分杯酒”，以为是自己先喝半杯，然后将剩下的半杯给左慈，没想到左慈用道簪把自己的酒杯划了一下，酒杯即分成了两半，相隔好几寸。左慈先饮了一半酒， 把另一半杯子递给了曹操。曹操不高兴，没有马上就喝，左慈就向曹操请求，把另一半也喝了。饮完后，他把杯子朝房梁上扔去，杯子在房梁上悬空摇动，好似飞鸟作俯冲状，似落非落，宴席上的客人都注视着那酒杯。过了一会，杯子才坠落下来，这才发现不见了左慈的人影。一问，才知左慈已回了老家。

这一来使得曹操更想杀掉左慈，他想试试左慈能不能逃过一死。曹操下令拘捕左慈，当捕吏正要抓住左慈时，碰巧有一群羊挡住了左慈的去路，于是左慈走進这群羊中，捕吏找不着左慈，就查看羊的数目，果然多出一只，这才知道左慈已变成了羊。捕吏就转述曹操的意思，说曹操只想见见左慈，暂时同他们一起回去，不用害怕。这时一只大羊上前跪着说：“你们看我像吗？”捕吏们互相说：“这只跪着的羊一定就是左慈了！”就想把这羊抓走。没想到，所有的羊都跪下说：“你们看我像吗？”捕吏真是弄不清哪只羊是左慈，只好打道回府。

另一位修行之人葛元时称葛仙翁，拜左慈为师。传说一天他在西天目山的一个石壁岩洞中捣药时，不小心掉了一粒，被一只鸟吃了下去。从此那只鸟的鸣叫声犹如杵臼，故称捣药鸟。

东晋时有葛元从孙葛洪、许迈、大徐五仙、小徐五仙等在西天目山修炼。许迈是“慕临安多金台玉室，仙人芝草，遂移居西天目山，登岩如芝，渺然有终”。唐代天目山人徐灵府、北宋唐子霞也都在此结庐修炼，都得道成仙。唐子霞成仙后入主洞霞宫。元明时曾在此修行的著名道士有莫洞一、阮日益、张三丰等。据说莫洞一会“五雷法”，可以驱鬼；阮日益，在西天目山石岩中打坐，寒暑不动。而张三丰能日行千里，可以往来于西天目山和其他山。元朝后期，道教活动渐趋衰落。

东晋永和年间，西天目山始建宫观，著名的有“至道宫”、“紫阳宫”、“万寿宫”等。

东晋时期，佛教传入西天目山。最早在此修行的僧人是竺法旷，南北朝时期南梁武帝之长子萧统，随后有更多的僧人来此。唐大中初年，洪言西土禅师继位，“始惟百僧，后盈千数。”比较著名的僧人还有慧忠、鉴宗。宋代有无门慧开禅师在此修行。元初，高峰禅师来到西天目山狮子岩，倚松结庐，号为“死关”。据说他在修行时称：“来不入死关，去不出死关，铁蛇钻入海，撞倒须弥山。”以此表明修炼的决心。他终于成为西天目山一代师祖。他有两个非常有名的徒弟，一个叫断崖了义，一个叫中峰名本。因为他们修炼时常面对着那棵松树，故该松树被称为“悟道松”。他们圆寂后，其弟子又在旁边建了一个悟道亭。

此后，佛教大兴，西天目山的名声远播海外，有日本、印度、朝鲜等国的高僧来修行。明代有松隐禅师，清代有玉琳国师、晦石、际界等在此修行。

早期在西天目山修行的僧人，大多垒石为室，结茅为庐。最早修建的寺院是建于唐光启二年（886年）的保福院。888年建明空院，元时，高峰禅师与其徒断崖了义、中峰明本建成规模宏伟的狮子正宗禅寺、大觉正禅寺、禅源寺等。禅源寺是登山的第一景，后被日军炸毁。禅源寺东侧，有七星石、蟠龙桥、雨华亭、天然居等，林泉幽雅。此外，还建造了45座庵堂。如今尚存的有禅源寺山门、天王殿、韦驮殿、狮子正宗禅寺（今称开山老殿）及太子庵等。

西天目山还有许多仙迹可寻，其最高峰仙人顶，传说是神仙出没的地方。狮子岩是元代高峰禅师参禅和坐化之处。此外，还有倒挂莲花峰、昭明峰、旭日峰等处。　　

唐朝诗人杜光庭曾作诗《登天目山》，诗云：