浮山被道家视为36洞天之一，早期就有修炼之人在此修行。比如汉代的左慈，宋代的张同之，明朝的雷鲤等。唐代成为仙人的吕洞宾也曾云游浮山，并留诗于雪浪岩。张同之，曾任江西路转运判官，后弃官在浮山修道，其修炼之处被命名为“张公岩”。在其所居之处，有一深1米多的水井，井水清澈见底，甘冽异常，可装6担水。令人称奇的是，井水被提走后，随即就满；天要下雨时，水会溢出；数月不下雨，6担水如故，人称“龙井神泉”。此外，这里还有张公的“炼丹洞”、“洗澡池”、“濯足盆”、“鼎炉洞”和八卦图形的“杵药台”、“杵药池”。

南朝梁、陈时，佛教传入浮山。后创建佛教天台宗的智顗，曾久住浮山，并建有“浮山寺”。《神僧传》记载，智顗的母亲徐氏在怀孕的时候，常常梦见五彩香烟萦回在怀，想要拂去，但总会听到有人说：“这是前世的因缘，福德自至，为什么要赶走呢？”他的母亲还梦见吞下了白鼠，如此再三，深以为怪，就去占卜。占卜师说：“这是白龙的兆头。”等到智顗出生的那个晚上，屋子内亮如白昼。为了庆祝他的诞生，家人想炖肉给客人吃。但是肉一下锅，火就灭了。众人正在惊异时，忽然有两个僧人敲门，并说：“善哉，你儿子有大德，将来一定出家。”说完两个人就不见了。

智顗十八岁时出家，后在浮山修行。一日，智顗梦见一处岩崖万重、云日半垂，沧海无边之地；在山上，一个僧人向他招手，还挽着自己上山。智顗将梦中所见告诉了弟子，弟子说，这是会稽的天台山。于是智顗决定带弟子去天台山修炼，并由此创建了天台宗。后隋炀帝赐智顗为智者大师。

隋唐之后，皆奉浮山为“佛教祖庭”。 北宋，佛教曹洞第七代祖师圆鉴大师在此修行，世称“远禄公”。宋仁宗赐号远禄圆鉴大师，又赐建寺，名为“大华严寺”。明代，山中佛教大兴，寺庵林立，僧尼数以千计。清桐城学者方以智，晚年居于浮山出家修行，自号浮山愚者，卒后葬于浮山东麓。

如今的浮山还留有许多仙迹或圣迹。比如妙高、如来、文殊、玉女、丹霞、飞来等36峰，双蛙、猴头、天鹅、烂河等28怪石，金谷、选佛、滴珠、首楞、隐贤、摘星、张公、穿心、仙隐、招隐、普陀、会圣等36岩，定心、九曲、宝藏、连理、炼丹等72奇洞。从上述一些颇具佛家或道家气息的称谓中，我们可以感觉到其中曾经蕴涵的神奇故事。其中的飞来峰，紧依妙高峰，绝壁悬岩，如斧劈刀削。在石壁之上，有一奇石好象古人峨冠架在危石上，有腾空飞去之势，故石名“飞来石”，峰名“飞来峰”。而位于石龙峰左的雷公洞是因为修者雷鲤而得名。会圣岩是圆鉴大师圆寂之处。

此外，浮山上还有远禄祖师塔、古庭禅师衣钵塔、众僧藏骨的三宝塔等。在距浮山10公里的白云岩，上有四峰顶立，怪石嶙峋，因曾有白云禅师在此修行，故得名。浮山20公里的青山石屋寺，相传为晋代高僧清供所建。

清代文人施尔萃曾作《游浮山》一诗，诗曰：