潭柘寺始建于西晋永嘉元年（公元307年），因寺后有龙潭，山上有柘树，故由此而得名。