在文峰寺后山中有一灵洞，洞门向东，洞内清泉滴沥，洁净异常，佛教传说是上乐金刚与金刚亥母嬉戏之地。据说，藏传佛教噶举派大宝法王噶玛喇嘛从西藏远道来滇，曾三渡金沙江，终于在丽江找到这一神奇美丽的地方。佛教典籍中把世界分为四大部洲，即东胜神洲、南赡部洲、西牛驾洲、北俱卢洲。相传，南赡部洲有24个“神灵之洞”，而其中第一个洞便是丽江文峰寺灵洞。洞前壁上题有“南洲第一灵洞”六字及跋语数行，依洞建有灵文阁（静坐堂），为滇西北喝举派13大喇嘛寺已取得“格隆”称号的喇嘛静坐修行处所。据说在此盘腿打坐学经，历时三年三月三日三时三刻结业后，取得“都巴”学位，就能在佛寺活动中主持法事。

灵洞北侧有一大石，中间附有高1尺、宽2尺，可松动又不能取下的石块，据说石中藏有开启天国大门“华首门”的钥匙。相传迦叶来东土传教，曾在文笔山讲经说法，并在去鸡足山华首门入定前，将一把钥匙留存在此石内。迦叶是释迦佛的十大弟子之一，是佛教第一次集结的召集人。佛教传说，鸡足山是弥勒佛将来下生的道场，迦叶在华首门守着释迦牟尼袈裟入定，等待佛祖下生时传给他法业。由于这个传说，过去凡要到鸡足山朝佛的青海、西藏、四川、云南香客，先要到文笔山灵洞侧烧香借钥匙，返回时也要到此烧香还钥匙。文峰寺因而成了远近闻名的佛教圣地，成了藏、蒙古、纳西等各族人民友好团结的象征和标志，在印度、尼泊尔、缅甸等国的佛教界中也有一定影响。