天台山幽静、奇特的自然环境，吸引着历代众多修炼者来此修行。此外，道教认为天台山是神仙居住的洞天福地，因此其赤城山洞为十大洞天之一，其灵墟洞和司马悔山为七十二福地之一。天台山由此被视为神仙窟宅荟萃之所。

早在东汉时期，就有一个叫张皓的人来到赤城山，服丹修道。后来他“耳能洞听，目能彻视”。三国时吴国人葛玄亦来此修行。明释传灯《天台山方外志》卷十记载：葛玄年十八九，仙道渐成，入天台赤城精思念道，遇左元放授以九丹金液仙经。行持三年，广积功效，光和二年（179）正月朔，感太上老君敕真人徐来勤（或作勒）等同降于天台，授灵宝经三十六部及上清斋法二等，并三箓七品斋法。南朝陶弘景所著的《吴太极左仙公葛公之碑》云：“公（指葛玄）驰涉川岳，龙虎卫从，长山、盖竹、尤多去来，天台、兰风，是焉游憩。”后来葛玄羽化成仙。根据《天台山方外志》卷十，晋代在此修行、后来皆成仙人的有：道士袁根、柏硕、班孟、魏夫人、王玄甫、许迈、白云先生等。南朝有褚伯玉、夏馥、徐则等。褚伯玉，16岁开始隐居在天台山修炼，二十年后，南齐高帝征其入宫，褚伯玉不愿入宫，遂移居到大霍山仙去。

唐时，随着天台山道教進入鼎盛时期，有更多的修道之人来到天台山修炼。比较著名的有叶法善、司马承祯、谢自然、焦静真、甘泉先生、许碏、田虚应、冯惟良、徐灵府、左玄泽、陈惠虚、杜光庭等。

叶法善，字道元，南阳人。七岁时曾進入仙府。二十岁时，他已身高九尺，额头上有两个“午”字。他性情淳和，品行清白纯正，不吃荤辛食物。他常常独处幽室，或者云游林泽，或者寻访云泉。从仙府归来后，他已拥有役使鬼神的道术。他的家靠山，有一巨石挡路，進出要绕着走。他扔出一道道符，顷刻间巨石便飞走了，门前的路就平坦了。众人都很惊奇。他经常到括苍白马山游览，在山中的一间石室内曾遇见过三位神人。三位神人都穿着锦衣，戴着宝冠。神人告诉叶法善：“我奉太上之命，把密旨告诉你。你本是太极宫紫微殿左仙卿，因为校录不勤，被贬谪到人间。你应该赶快立功，济世救人，辅佐皇上，等到功满之后，就会恢复旧职。太上还让我把修仙的法术传授给你。你要勤于修行，教化众生，好好努力吧！”此后，叶法善先后辅佐中宗、玄宗。开元八年正月二十七日，忽然有几百只云鹤列队从北边飞来，在叶法善居住的山上飞翔盘旋。仙鹤徘徊了三天，五色的瑞云覆盖了他的住所。六月三日甲申时，他在京都景龙观羽化成仙。他的弟子暨齐物、尹愔目睹了真仙下凡，但是他们秘而不宣。他所住的院子里，异香芬郁，仙乐阵阵，有一股青烟直上云天，持续了一天才消失。

据《唐王屋山中岩台先生碑碣》等载，司马承祯在嵩山拜潘师正为师后，曾遍游名山，不久前往天台山，停留时间大致在武周朝至开元十二年（724）间。其间，在开元初，又去南岳住过短暂时期。在天台山期间，司马承祯建造了道观，收了许多弟子，如女道士谢自然、焦静真，男弟子薛季昌等，天台仙派出现。再有名道左玄泽，曾居香林峰石室，后居玉霄峰，绝粒不语，每出访其友应夷节谈论清虚。

五代和宋元时，仍有许多道士来此修炼。如五代有朱霄外，宋有张无梦、张伯端、陈景元、张契真、白玉蟾、张云友、王茂端、祝通玄等。陈景元，号碧虚子。他在游天台山时，遇到了仙人张无梦，得秘术。元代时则有王中立、曹法师、张雨来此修道。明清时天台山道教日趋衰落，来此修行的道士也逐渐减少。

魏晋南北朝时，天台山已建有一批道观（馆）。最早的是天台观，是孙权为葛玄所建，后来徐则也居此修炼。南北朝齐时，齐梁名士沈约在桐柏山建金庭馆。唐代亦建造了不少宫观，如桐柏观、元明宫、洞天宫（后更名为玉霄观）、白云庵、法莲院等。关于桐柏观，唐崔尚《桐柏观碑》云：“故老相传云，昔葛仙翁始居此地，而后有道之士，往往因之。”唐司马承祯曾居于此，睿宗景云年间，下诏建造桐柏观，后来徐灵府、叶藏质進行了修缮。五代梁开平间，改为桐柏宫。法莲院，唐咸通六年（865年）叶藏质建。

后周广顺元年（951）朱霄外建造圣寿观，旧名延寿，宋治平三年（1066年）改名圣寿。法轮院，吴赤乌元年葛玄曾居于此，后汉年间重新修葺，宋大中祥符元年改名法轮院。宋元时，除了对已有的宫观進行修葺外，还新建了一批宫观，如宋代的玉京观、熙宁道院、玄静观、仁靖纯素二宫、桃源道院，元代的养素道院、卧云庵、鹤峰全真道院等。不过，所有宫观至明末，几乎全废。有些改为僧寺。

在宫观仙迹之外，天台山还有葛玄炼丹的“仙山”桃溪，碧玉连环的“仙都”琼台、道教第六洞天玉京洞等仙迹。

除了修道之人在天台山上修炼外，自东晋起，亦有一些高僧来此修炼，修建佛寺。如东晋敦煌高僧昙猷，在哀帝兴宁年间来到天台山。昙猷在赤城山的石室中坐禅。有数十只猛虎蹲在昙猷面前，而他诵经如故。一只老虎终于支撑不住开始睡起了觉，昙猷却用如意拍打虎头，问它为什么不听经。老虎最终一个个离去了。不料，又有一条大有十围的蟒蛇出现，在昙猷周围游来游去，头始终看着他。如此半日才离去。次日，一位神仙现身对昙猷说：“法师威德，既然来到这座山上，弟子就以房屋奉献。”昙猷说：“我来到这座山上，只占据方寸之地。为什么不一起住呢？”神仙回答说：“弟子倒是没什么不可以，但我的属下没有听闻佛法，很难管教，可能给你带来麻烦。况且人神本非一路，所以我还是要离开。”昙猷问他是何方神仙，想要迁到哪里。神仙回答说，自己是夏帝的儿子，在这里已经住了二千多年了，准备搬到其舅舅治理的寒石山去。临别时，神仙赠给昙猷三奁香，然后敲击刀鞘，率领部众腾空而去。昙猷在此建了中岩寺。

天台山悬崖峻峙峰岭切天，传说山上有建筑极佳的精舍，只有得道的人才能住進去。精舍在山涧的另一边，需要跨过石桥。石头横起，而且青苔很滑，所以自古以来，还没有人过去。一天，昙猷决定一试。他刚走到石桥，就听到空中说：“知道你虔诚相信佛法，但现在还不能度你过去。十年后再来吧。”昙猷怅然乃退。在回转途中，昙猷在一经过的石室中休息，不一会儿，云雾转暗，石室四面都响起了声音，但他毫无惧色。昙猷十分遗憾，没有走过石桥。因此在一次斋戒后，又来到了石桥边。这次横石打开，昙猷便走过了桥，看见了传说中的精舍和仙人。昙猷便与他们一起烧香、吃饭。吃饭后，仙人对昙猷说：“十年后你自然会来到这里，现在还不能住下来。”于是昙猷返回，横石重新关上。

南北朝时，在天台山还建造了佛教“五百罗汉道场”的方广寺；隋代建造了国清寺，宋建造了万年寺和高明寺等。亦有佛家圣迹遗存。宋代出生在天台城关小北门外石墙头的济公活佛，就曾经在国清寺修行。他的神异故事已经是家喻户晓。

因为天台山成为道、佛两家的修炼之地，故有“山水神秀、佛宗道源”之说。唐朝著名诗人李白有诗《天台晓望》曰：