高际禅林寺始建于宋代唐和元年（公元1118年），距今将近900年的历史。 相传宋朝时期，县人余茂亨、余茂学兄弟俩经一位高僧指点，来到这块藏龙卧虎富有灵气的高际山处，潜心勤学苦练6载，后兄弟俩赴京报考，双双高中文武状元。衣锦还乡之后，余家兄弟在这块风光秀美、景色怡人的高际山处，大兴土木修建了高际禅林寺。另外在周围广购山林良田，种植松树、茶林。

高际禅林寺大雄宝殿外观雄伟庄严，门楼翘角，置有巨形旗杆墩两对，木栅横设三元门，廊下石阶三列与门相对。步入前面大厅，只见佛堂石柱粗犷，撑托着圆拱形屋顶，气宇轩昂。走两边穿堂进入后厅，迎面是一台式三间建筑，两侧有石阶上下，阶下需仰视方可望见台上大殿，整个大殿显得神秘而威严，大雄宝殿正前方是一座门楼及两座半月形的放生池，正后方是一幢观音庙，两旁分列着偏殿、膳食房、藏经楼、禅房、寮房等近十幢大殿。整个高际禅林寺显得布局合理，错落有致，充分体现出佛教文化的远邃高深。 

早期寺庙香火旺盛，到明朝崇祯年间，香火较为旺盛。明代知名禅师静虚曾诗云：“白云深入有僧庐，漏尽晨钟倚枕初。阅历林泉声隐隐，行回岩壑韵徐徐。驱除忘幻清平旦，领略春容见静虚。又听晓天鸡喔喔，共催人读五更书。”便印证了当时的情景。 

高际禅林寺太平天国时期遭到毁灭性破坏，高际山曾建有关公庙、八仙庙、送子观音庙、龙王庙等7座寺庙。现在，只留下这些寺庙的遗址以及大量的摩崖石刻、弥陀柱、法老墓、佛塔等佛教遗址。