据说，雁荡山名字的来源是因为“岗顶有湖，芦苇丛生，结草为荡，秋雁宿之”，故名。

如此灵秀之处，自然也是修炼人选择修炼的佳所。据说，西周时王子晋成仙后曾骑鹤飞临此山，十分喜爱雁荡山的美景，便在此驻脚，一连吹了九支曲子。下山后他在小溪中洗了玉箫，才又跨仙鹤离去。现在的仙桥景区就是仙人飞临之地。

大概在南北朝时，佛教传入雁荡山。不过，佛教在此的真正兴起是在唐朝。相传，雁荡山的开山祖师是如来佛的弟子、十六罗汉中排位第五的诺讵那。释迦佛曾告诉诺讵那：“你将在一个山水绝妙的地方建寺，那个地方用花名做村名，用鸟名做山名。”后来，诺讵那带着三百弟子云游天下，找了好多地方都没有找到这个去处。一日，他来到雁荡山下，但见此处凭海临风，姹紫嫣红，花香鸟语，心中暗暗高兴，便询问当地的一位老者该地和该山的名字。老者回答说，这个地方叫芙蓉村，山叫做雁荡山。诺讵那终于找到了释迦佛预言之地，于是他领着弟子们進山开始兴建寺院。佛教自此兴盛。诺讵那后在大龙湫观瀑坐化。人们因此尊奉他为雁荡的开山祖师。诺讵那之后，有许多僧人在此修行，在宋时达到了鼎盛时期。

雁荡山的寺庙自唐时开始修建，宋时除了修葺还建造了更多的寺庙，有十八古刹、十六亭、十院之称。比较有名的有灵峰寺、白云庵、灵岩寺等。雁荡山有许多奇景和仙迹，还有许多美丽的传说。全山共分为灵峰、三折瀑、灵岩、大龙湫、雁湖、显胜门、仙桥、羊角洞八个景区，其中“二灵一龙”（灵峰、灵岩、大龙湫）被称为“雁荡三绝”。

从山脚，经石门潭、东石梁洞、谢公岭，就可以看到灵峰。灵峰与旁边的倚天峰紧紧相依，白天远远望去，好似参禅的双掌合十膜拜，故名合掌峰。灵峰中有观音洞，由大悬崖凌空夹峙而成。洞内有佛寺依洞而筑，共分九层，号称九重天，里面供奉着观音菩萨，周围的洞壁上摆了大小不一的佛像。洞内有“洗心”、“漱玉”、“石釜”三泉。相传有一天，一个僧人在此修炼，当他念经时，岩石上的水滴一点一点的滴下来，他却称之为“洗心”。当刺藤滑破了他的脸时，他也不觉的痛。他的虔诚最终感化了来欺侮他的狐狸、蜈蚣精和狼。

合掌峰巨壁的左侧缝间有一个手指大的活象观音菩萨的石像，人们称它为“一指观音”。根据民间传说，它与观世音菩萨还有渊源呢。一天，观音菩萨坐在莲台飘过雁荡山上空时，看到山中烟火冲天，鞭炮震天响，就化作一个老婆婆下去查看发生了什么事情。原来人们正在观音洞里用檀香木浮雕刻菩萨的像。而要完成这个佛像，需要990斤银子。于是，化作老婆婆的菩萨找到方丈劝他不要这样做，因为是劳民伤财。方丈不听，还说：“修行人，只求超脱凡尘，为什么还要计较钱财呀？”并责备老婆婆“烧香拜佛空念一世经”。谁知方丈话没说完，合掌峰间刮起了一阵狂风，把未雕好的檀香木观音像刮的无影无踪，观音洞内则落下来一串串珍珠。在人们去捡时，珍珠又变作水珠流走了。此时空中传来声音：“诚不诚，看真心；塑巨像，害死人！”而那未雕成的檀香塑像，则越变越小，最后只有九寸九分九长了，贴在了缝隙间。而方丈趴在地上，也一动不动了。

元代文学家李孝光曾写道：“峭刻瑰丽，莫若灵峰；雄壮浑庞，莫若灵岩。”灵岩有奇峰丽石，其中小龙湫、卧龙谷灵秀奇诡的美景美不胜收。

雁荡山有许多瀑布，有名称的达十八处，最著名的是大龙湫，湫即为“瀑”的意思，瀑高190余米，其磅礴的气势令游者叹为观止。“雁荡自奇，不附五岳；龙湫所注，别为一川”。雁荡的开山祖师诺讵那就在此坐化。

还有雁荡山最北端的仙桥景区，除了仙人王子晋骑鹤飞临之地外，还有仙亭山、仙人洞、仙溪，都与仙人有关。

如果说北雁荡山是佛家修行之地，那么南雁荡山则是浙南的道教名山。南雁荡山最高峰为明王峰，海拔 1070 多米。道教在此兴起大概是在中唐，两宋时发展兴盛，元明达到顶峰。主要道教派别是以仙姑洞为主流的正统龙门派，一是以五十丈宫为主流的天师道正一派。道教圣迹有仙姑洞、怡心院、三台道院、五十丈宫、东楼隔宫等。

仙姑洞，又名西洞，位于碧溪以西，西山之腰，唐时称“石室”，宋时方称“仙姑洞”，始建于南宋孝宗隆兴年间(1173)。正殿供奉着朱氏仙姑坐像。据《仙姑宝卷》称，朱仙姑名“蝉媛”，家住闹村，是南宋高宗绍兴年间進士朱璧登之女。她幼时就不食荤，闻鱼便吐，见肉便呕。她八岁能文，十岁能诗。待长到十六岁，其父母把她许给大财主刘百万做媳妇。但她一心向仙，坚决不同意这门婚事。她拜白水漈老道姑为师，父亲率人一把火烧掉茅庵，但蝉媛并未因此转意。她离开白水漈到南雁西洞继续修道，她夜间织麻，日间采药，自食其力。有一年，瘟疫流行，她用草药治好三百多人，连三个已经死去的孩子也被救活了。一个月夜，朱蝉媛突然不知所踪，人们都说她已升仙了。人们为了纪念她，就在她修行的洞中，修建了道观。

明代文人章元梅曾有诗《望雁山》，赞美了雁荡山的雄伟奇特。