太白楼位于歙县城西练江边，太平桥西端，背靠山峦，和新安碑园相依偎。

相传这里原是一个酒肆，唐代诗仙李白来歙访隐士许宣平不遇，曾在这里饮酒，后人为纪念李白，特将酒肆改名为“太白楼”。北宋的《太平广记》记载了这样一个故事：李白一次在洛阳同华传舍墙上读得一首歙人许宣平写的诗：“隐居三十载，筑室南山颠。静夜玩明月，闲朝饮碧泉。樵夫歌垄上，谷鸟戏岩前。乐矣不知老，都忘甲子年。”李白读罢，击掌惊呼：“此仙人诗也”。遂来歙访许宣平，几经周折，却与许翁失之交臂，虽遗憾不已，但来到西干山麓，见山清水碧，风景宜人，陶醉不已，赞叹不止，即兴留下诗一首：“天台国清寺，天下称四绝。我来兴唐游，与中更无别。（木卉）木划断云，高峰顶参雪。槛外一条溪，几回流碎月。”后人为纪念李白，将太平桥之下练水中的一片浅滩取名为“碎月滩”。每当皓月当空，河水如银，塔影桥身，风轻水吟，碧波搅碎月色，那是一种极致之美。

此楼始建于唐初隋末，现存房屋乃明清所重建。太白楼为二层二进建筑，面积200余平方米。前进平面呈凸字形，中间突出，两翼收进，脊线稍低，两端封以马状墙。歇山顶，高瓴重檐，翘角昂起，鳌鱼腾尾。楼檐下悬“太白楼”三字匾额。楼下正面三开间，原大门朝东迎向太平桥，后整修时给予封闭，沿江古道从左、右边门穿过。内墙上嵌有历代重修太白楼记事碑数方。照壁上方匾额“长天一勺”，意为：天地虽广，勺水虽微，但运动变化之理是相通的。同时也表明李白怀才不遇，犹如天外之一勺。堂上有李白大幅像，为客居沪上的歙人著名画家汪观清所绘。两侧楹联“四壁云山开醉眼，一楼风月话诗仙”。后楼为五开间，中三间为明堂，左右各一厢房。天井两侧回廊皆设楼梯。后楼顶部也是中间高，左右稍低，脊线参差错落。太白楼现辟为李白纪念堂，陈列着有关李白生平的书籍和各种古字画、古砚、古墨、古历、古屏风等上千件文物展品。

国内有三个太白楼，马鞍山太白楼，歙县太白楼和济宁太白楼。马鞍山太白楼庄严辉煌，名气也最大，歙县太白楼古朴素雅，济宁太白楼肃穆沉静。