汉朝开辟的丝绸之路不仅仅是一条商运之路，它还是一座文化传播的桥梁，发源于公元前6世纪的佛教，就是通过这条丝绸之路从西域传入了中原，那是西汉末年的事情。到东汉时，佛教已经开始在宫廷流传。东汉明帝永平年间，被派往印度求取佛经的蔡喑，用白马驮回一些佛教经典，汉明帝下令修建了洛阳白马寺，就这样，被誉为中国佛教“祖庭”的中国第一座官方修建的寺院诞生了。就在公元194年，既东汉兴平元年的时候，在江南偏僻的一个山区，一座名为石头禅院的寺院建成了。虽然比洛阳白马寺晚了127年，但是在佛教流传较晚的江南，却足以称为第一古寺。

        南北朝时代，佛教得到统治者的支持和扶助，发展很快，在梁天监二年，即公元503年，仙居又相继建成了显庆寺和三学寺，这三座寺院的建造时间均早于甜台国清寺，尤其是石头禅院，要比国清寺早了400多年。《嘉定赤城记》记载：仙居禅院一十有六，教院三，甲乙院二十有三，尼院四。按照这样的规模，对于一个偏僻的蛮荒之地来说，仙居的佛教已是相当盛行。 学者们对于仙居能够佛教盛行都众说纷纭，尤其是作为江南第一古寺---石头禅院的建成疑惑不解，但是大多都支持这样的一个观点，那就是仙居独特的地理位置。仙居地处浙江东南，东接沿海，西连金华，清朝以前，仙居通往外界的道路几乎只有两条：一条是仙居西北通向金华的苍岭古道，一条就是沿永安溪的水路，从地理位置上来说，这里简直就是陶渊明笔下的桃花源。而当汉朝末年、魏晋南北朝之时，中国社会陷入连年不断的战乱之中，民不聊生，许多高僧纷纷“振锡江南”，如佛经汉译创始人安息王子安世高，在这个时期到江南豫章、会稽等郡弘传小乘禅宗。当时的仙居属于章安县，同属会稽郡，地处偏僻，风景优美，清幽宁静，正是修禅的理想之地，所以正好成为佛教发展的沃土。另一种说法就是来自印度的佛教徒途经泰国等地，沿着海域来到台州，这就是目前被许多学者认可的海上丝绸之路，然后他们沿着灵江逆流而上，来到仙居境内。当他们在永安溪遇到石牛的时候，发现这里三面还山，南临大溪，视野开阔，实乃清净的桃源境地，所以就在这里广建庙宇。

        这两种说法都有可信之处，可是到底石头禅院开始由何人所建，是西域来的高僧还是本地的和尚，确实已难考证。历史风云变幻，如今的石头禅院数经风雨劫难和沧桑，只留下两具残缺的石头佛像，虽然粗糙，但也传神，从外形来看，应该是一个武士的石像。