建于晋朝，殿宇宏伟，共有六重，第一重为戏楼大院，第二重是韦陀四大天王殿，第三重是三尊佛殿，第四重为罗汉祖师殿，第五重为方丈禅房，第六重供坐佛一尊（高达10米），旁边有财神殿、百子堂，后面有经堂数十间。常年香火旺盛，是江南一大寺院。
传说，晋朝有一位游方和尚灵鹫，坚持40年为逃入武陵山的难民指点迷津，并耗尽终生化缘之钱物，其功德无量。后天下太平，原入山之人出山访灵鹫和尚，从当地人口中得知他与世长辞，便广捐财物，在埋葬他的前山，修建起一座大寺庙，取名“灵鹫寺”。60年代，修建洈水水库时被毁，重建中的灵鹫寺位于清神路旁的降盗岭上。
