浙江有两座烟雨楼，一在嘉兴南湖，一在处州丽水。丽水的烟雨楼，是我区最古老的名楼。它的兴建，《丽水县志》卷之六《古迹》有云：

烟雨楼 郡守杨嘉言建，范成大书榜。

杨嘉言，是北宋政和（1111—1117）初的处州太守。他建楼至今，已近九百年。

烟雨楼原址到底在何处？是在小栝山的山背，还是万象山的峰巅？喻良能《旧州治记》有载：

由好溪堂（在旧治东）层级，三休至烟雨楼，凭栏四顾，目与天远，如登双溪楼（在金华），如涉蓬莱阁（在绍兴），气象绝似，而爽（高朗干燥）过之。万山峨峨，横在一目，下睹干井，提封（积土而封）隆楼杰阁，绿窗朱牖，掩映于晴霏夕霭。丹青水墨所不能尽，令人目眩心怿，徘徊不忍去。（清·雍正《处州府志》卷三十七《艺文志》）

从“凭栏四顾，目与天远……万山峨峨，横在一目，下睹干井”的描写，可知烟雨楼是建在万象山之峰巅。因为万象山“俯临城邑，近挹溪光……乃城中山之最高者”（《栝苍汇记》卷之七《地理记》），是观赏处州城郭和瓯江两岸景色的最好视点。

楼建成以后，烟雨楼一带的晨烟暮雨与飞云雾霭，堪称府城莲城的佳境。当时和后来的地方政要和骚人墨客，往来如织，对它吟哦题诗不绝。北宋政和末，处州太守钱竽就写有名作《烟雨楼》诗。诗云：

人在神仙碧玉壶，楼高壮丽壁城隅。风云出没有时有，烟雨空蒙无日无。