俗话说：“山不在高，有仙则名”。《河南府志》载：“缑山，在县南(指偃师老城)40里，孤峰突出，周灵王太子晋升仙于此。”《山拇助》云：“缑山之山，无草木，多金玉泉水出焉，上有饮鹤池。”虽然缑氏山海拔仅有308米，但在漫长的历史长河中，它的出名确是因了两位神仙的缘故。一位就是大名鼎鼎的西王母，据说她曾在缑山修道。因为她姓缑，故该山名缑氏山，后简称缑山。另一位是是周灵王的太子晋，又称王子乔、王子晋。

《列仙传》记载，王子乔是周灵王的太子。他爱好吹笙，喜欢吹凤凰鸣叫的声音。有一次，他在河南的伊水和洛水漫游时，遇见仙人浮丘公，他就跟仙人上了嵩山。在嵩山，他一住就是三十多年。后来，家人桓良终于在山里找到了他。他对桓良说：“请转告我的家人，七月七日那天在缑氏山上等我。”到了七月七日那天，人们来到缑氏山上，果然看见王子乔骑着一只白鹤停在山头。他只是远远的看着人们，并不靠近大家。他举手向人们致谢意。几天后，他才骑鹤飞走。后人为了纪念他，在缑氏山和嵩山为他立了祠庙。因此，缑氏山在道家天下72福地中，被列在第60位。

春秋时代，太子升仙的这个地方叫做缑氏邑，山名还是叫缑氏山。因为周朝的王族曾被封在此地，并以“缑”作为姓，便逐渐形成了缑氏家族。唐朝武则天曾在此立碑建庙，纪念王子乔。唐时著名僧人玄奘就出生在这里。

唐之前的缑氏山还是很繁荣的，有僧、道在此修行，不过见诸史籍的很少。在鼎盛时期，山上建筑恢宏，寺庙观庵同九华、普陀、五台、峨眉四山相仿。比较著名的有纪念度王子乔升仙的浮丘公的浮丘庙和浮丘洞。

唐代大诗人李白曾作《凤吹笙曲》一首，描写王子乔的神仙生涯：