根据史料记载，春秋战国时，越王勾践曾将普陀山及附近诸岛称为“甬东”。秦朝安期生、晋朝葛洪等人都先后来此山采药和修炼，后来均得道成仙。汉代时，学者梅福曾来山隐居，故普陀山初名梅岭山。

据传说，唐朝大中年间（公元848年），有一天竺僧人来到普陀山，亲眼目睹了观音菩萨现身说法，并授以七色宝石，故称此地为观音显圣地。其言称观音“身长80万亿那由旬，身紫金色，项有圆光，面各百千由旬…… 其余身相，众好具足，与佛无异。唯顶无肉髻及无见顶相，不及世尊。”

观世音菩萨，梵文为Bodhisatta，音译为“菩提萨捶”、“菩提索多”、“扶萨”等，意思是“大士”、 “胜士”、“大道心众生”、“法王子”等。阿弥陀佛的左胁侍为观世音菩萨，右胁侍为大势至菩萨，这三位合称为“西方三圣”。

释迦牟尼佛曾说过：观世音菩萨在我之前就早已成佛了，其佛号是“正法明如来”。释迦牟尼佛又说：我当时就在正法明如来门下作苦行弟子。我就是因为当时受到正法明如来的教化，如今才能成为释迦牟尼佛。不单我受到教化，当时诸佛都由正法如明如来教化，才获得至高无上的道法和佛所转的殊胜而不可思议的妙法轮。

观世音菩萨的道场在补怛洛迦。补怛洛迦是梵语Potalaka的译音，又作“普陀洛迦”、“布达拉”，意为“光明山”、“海岛山”、“小花树山”等。《华严经》记载说：“稗瑟胝罗居士指示善财云：‘南方有山，名补怛洛迦，有菩萨，名观音自在。’汝诣彼问菩萨云：‘何学菩萨行，修菩萨道？’善财依次游行，至于彼山，见其四面岩石之中，泉流潆映，林树蓊郁，香草柔软，右旋布地，观音自在菩萨于金刚石上，结枷趺坐。”佛经中所描写的地域方位，仙岛环境，与普陀山十分吻合。

清康熙《定海县志》转引《普陀志》说：大概在五代后梁时（公元916年），日本高僧慧锷来曾从山西五台山请得一尊观音圣像，经明州(今宁波)乘船回国，途经普陀洋面，突然遇到了大风，而且海面上出现了数百朵铁莲花挡住了慧锷的去路。虽然几经努力，船仍无法前行，此时慧锷立刻悟到，可能是观音菩萨不肯离开汉地去日本。于是慧锷祈祷说，如是观音菩萨不肯去日本，那么就在船到之处建庙供奉。话音刚落，铁莲花随即隐去，船飘到了普陀山下的潮音洞，慧锷与岛上居民在紫竹林中建了一座小庵堂，称为“不肯去观音院”。此后，普陀山逐渐成为观音菩萨的道场。而在此修炼的僧人也从未间断。

宋神宗元丰三年(1080年)，开始在普陀山正式建寺，赐名“宝陀观音寺”。 宋高宗时，将岛上所有居民迁出，将之辟为“佛地净土”。宋宁宗时指定普陀山重点供奉观音，山中各寺院内均塑观音像。元、明、清各朝都对普陀山寺庙進行了修缮和扩建。鼎盛时期，大小佛寺有300多座，僧人三千多。现在遗存的寺院主要有宋代的普济、明代的法雨、慧济三大禅寺及大乘、梅福、紫竹林、杨枝等30余处禅院。

在普陀山上，留有许多圣迹和传说。比如位于西天门的观音古洞，据说是观音修行的圣地，里面非常清静，犹如仙境。出古洞上山，不远就是“二龟听法”之地。传说东海龙王左右龟相因听观音说法流连忘返，被龙王一怒之下化作二石龟。过了“二龟听法”之地，即为“极乐亭”，据说是接引佛接送得道者到西方极乐世界的所在。亭上还有一幅对联：“半轮淡月照禪心，几缕残烟载客梦。”还有短姑道头上的“短姑圣迹 ”，传说是观音菩萨给一朝拜者送食盒的地方。

被认为是普陀十二胜景之一的“法华灵洞”景色奇特，内中有石像，洞外有“青天福地”、“普陀岩”等题刻。普陀山最东端梵音洞处在陡峭危壁上，气势磅礴。在两个陡壁间架有石台，台上筑有双层佛龛，名“观佛阁”。想观览梵音洞的人，一定要来到观佛阁。据传在这里观佛，人人看到的佛都不同，即使是同一个人，也会随看随变，极其奇异。人们常常在这里祈祷，希望观世音菩萨可以现身说法。此外，还有仙人井等。

清代康有为有诗《游普陀题》赞曰：