綵衣堂坐北面南，位于翁氏故居的第三进，为故居的主厅。明代弘、正年间为桑侃宅，堂名“森桂”，因其子相继登科故名，后易名“丛桂”。翁心存购得后，经扩建修缮，更名“綵衣堂”，取自二十四孝中老莱子“彩衣娱亲”之意，作为孝养母亲之所。
    綵衣堂为今日国内存世不多、保存完整的明代厅堂建筑，弥足珍贵。1996年被国务院公布为全国重点文物。其建筑结构为五架梁并轩前后廊九架椽屋，硬山五脊顶，建筑面积235平方米，三开间进深14.03米，宽14.98米，此建筑用材硕壮，画梁雕栋，气势恢宏，为明代晚期建筑。
    綵衣堂由于其所拥有的突出历史价值和古建筑的科学与艺术价值，故广为海内外瞩目，历来为建筑界、旅游界所推崇和赞赏。中央电视台《神州风彩》曾作过专题播报。《中国厅堂-江南篇》以及《江苏旅游文化》、《园治图说》等众多著作中均作为古建筑范例与名人故居予以专门介绍。