伊芦山是传说中商代大臣伊尹晚年结庐退隐的地方,伊芦者,即伊尹之庐。伊芦山早先也是大海中的一个孤岛,随着沧海桑田的变迁,逐渐与陆地相连直至远离大海,成为孤立于陆地之上的一座独立山体。
伊芦山虽不大,遗存的名胜古迹却不少。山中奇泉异井,茂林古洞,文字题刻、摩崖造像题刻令人目不暇接。尤其是山顶的六神台上,刻有六个人物的浮雕,已被确定为是盛唐时期的佛教艺术遗迹,极为珍贵。另外唐代成象约40座,分布在台下山崖上,有坐佛、力士、供养人、观音等,体态各异,造型生动。
伊芦山的岩石具有鲜明独特的海蚀特征,经过数度风雨的剥蚀,掺杂在岩石中的石英岩凸出岩石的表面,呈现出各种诡秘、奇特的图案,有的如游龙戏水,有的像百鸟争春。就像经过精雕细琢的艺术珍品。