甘露寺建于清康熙六年(1667年)，当时的玉琳国师来九华山朝拜，途经此地，赞曰：“此地山水环绕，若构兰若，代有高僧”。正在伏虎洞修行的洞安和尚听说后，随即在乡人的资助下在此建寺。传说在破土动工的前夜，满山松针尽挂甘露，人人称奇。又因《法华经·药草喻品》中写道：释迦说：“我为大众说甘露净法。”阿弥陀佛又有“甘露如来”、“甘露王”的称号，他化身说法时就有“澍甘露之雨”之言，所以将新建寺院定名为甘露寺。全寺建筑面积约为3500平方米。

寺院建成后，洞安和尚曾在此两度登坛说法。乾隆间住持僧优昙开坛传戒，成为丛林。此后历经道光、咸丰时期，香火一直旺盛。后遭兵火，同治年间重修。

与其它寺庙建筑有所不同的是，甘露寺的布局并不是对称的。進门后即见后墙，不与院落相通，到大殿须从两旁山墙小门進去。整座寺庙依山布局，共有五层，殿宇完整，楼阁整齐。背倚青山，泉水从殿角流来。北面的韦驮殿和知客堂建在高2.5米的台基上，为三层阁楼。韦驮殿南面是高15米的大雄宝殿，前有半廊，殿身建在高6.8米的台基上，宽17米，深15.5米。大殿东为两层走马通楼，内有天井，楼层上下分别为祖师殿、方丈察、掸堂和客房。寺内有3个天井、上百个外窗，大殿为歇山顶。寺前路旁有石砌冰纹通花栏杆，可在古树荫下凭栏远眺，一览山色。曾有在此留宿的文人留下了这样的诗句：“到此禅关宿，方知山色多。”如今尚存大雄宝殿、配殿、寮房、钟鼓、碑刻等建筑和文物。