天姥山，亦称韦卿山、韦羌山，即今日国家5A级景区——神仙居景区，从《高僧传——昙兰》可知韦羌山之神仙早已于仙居立县初期拜师昙兰禅师，皈依佛门。虽然神仙和他们的宅居及学佛道场我们凡人难以看见，但几百年以后，僧人开始在其山上及山下建起寺院，学佛度众。历代在此出现过多名有影有力的高僧。

        首先在天姥东山的景星岩巅于唐贞观三年（629年）建立净居院，志史载名的历代卓锡过此院的僧人有：宋，行机、德观、义方、妙湛；明，斗崖、石奇、湛庵、应伍。其中有传记的高僧有：行机，操行尤洁，宋龙图阁直学士吴芾请他重建了净居院。德观，居星星岩掩关三十年，郡侯以书迎，即批其尾云：“谁将琐末人间事，换我一生林下闲。”使再迎之，失其庐而去。斗崖，戒严行善，一尘不染，逍遥自乐，绰有古咸潭大师风。石奇，初住明州雪窦寺，后住景星，有“林下道人无个事，一身做债一身还”之句。有县令常去请教。石奇禅师在此留有《住台州景星岩净居禅寺语录》。石奇与仙居广度寺住持道忞禅师（宏觉国师）为师兄弟，同出于“临济宗中兴之祖”密云圆悟禅师门下。湛庵，明州人，石奇法嗣。初不识字，静悟，下笔成文。制行高洁，深契无生。初住景星岩，后住本县方岩。

又在天姥西山下，高僧清澈于宋天禧三年（1019年）建立了福延寺（下叶寺）。清澈，仙居人，戒行高洁，天禧中，为乡民祈雨，曾截一掌，立应降雨。还有寺前猛虎驯服。康熙十八年（1697）僧德光结茅以居。同治中，县令余丽元用寺屋设为蒙正书院。再有天姥北谷建有西罨寺，初建时间不祥，而南宋未期，从林称为“法窟第一”的禅宗临济宗十九代祖师雪岩禅师曾卓锡于此，使得该寺一度兴旺。雪岩禅师亦曾卓锡本县方岩护圣寺，在此留有《仙居护圣禅寺语录》。明左都吴时来年轻时曾读书于西罨寺。万历癸未（1583年）僧广正重建此寺。