仙居最早的书院是桐江书院，由晚唐诗人方干的第九世孙方斫所建。桐江书院建成后，虽然继之而起的还有上蔡书院和桐林书院，但尤以其最为人文荟萃，盛极一时。淳熙九年（1182），朱熹提举浙东茶盐公事兼主管台州崇道观，曾慕名遣子就学于桐江书院，并手书“桐江书院”、“鼎山堂”两匾额；桐江书院一直存续到了民国（改为了宗祠），并成为了对仙居的文教影响最为深远的书院之一。

        宋元鼎革之后，仙居书院中可与桐江书院相媲美的则有安洲书院。安洲书院位于县东二十五里，其虽然地处边鄙之地的仙居，却可能是当时台州最负名望的书院。如《光绪仙居县志》曾数次提到跟从翁森游学的前后至八百余人，足见其所谓的“彬彬称盛”，实不为过；还有如与翁森同一时期的临海诗人杨同翁，书法家周润祖，诗人项炯、陶德生等名士大儒都曾就学翁森门下，则足见书院影响之广。

        明朝建立之后，由于政府推行县学和社学，仙居的书院一度沉寂。纵观有明一代，仙居只新增了一所蓼溪书院，而原有的桐江、安洲、桐林、上蔡书院则又都趋向了衰败，以至于桐林、桐江书院在清初中期还一度被废弃。

        清代虽然仙居的文教不绝如缕，但却是书院再度兴盛的朝代。据《光绪仙居县志》记载，清同治年间，单由余丽元主持的就新设或恢复了崇正、丽正、蒙正、经正、居正、启正、安洲书院等八座义塾、书院，此外加诸白岩讲舍、春风书院、秀溪书院、桐江书院等原有的或新建的，仙居的义塾、书院总数达到了十七座。当然，清代末期仙居义塾、书院的恢复和创建，从决定论上讲，终究未能扭转一邑文教的颓局，因为在其后不到五十年的时间里，延续了一千多年的科举制度被取消了，而综观有清一代仙居的进士登第者，也只有文科1人，武科8人。不过，这些义塾、书院的恢复和创建，却对民国后的仙居教育产生了一定影响。如桐江书院在民国初被改作祠堂后，不久便成为了山下小学。此外，还有许多义塾和书院后来也都成为了小学或中学的所在地。

王巧赛