翁氏故居占地面积广达6000平方米，总建筑面积在3000平方米左右。其建筑设计遵循我国古代官绅住宅以中轴为主的形制格局，分东、中、西三大部分。中部由大门进入后，沿中轴线依次为门厅、轿厅、綵衣堂、后堂楼和双桂轩等，共为七进。其中轿厅为歇轿与备茶之用，綵衣堂为迎宾与举行婚庆寿庆等礼仪之用，后堂楼与院子为主人及其家人居住生活之用。中轴线建筑的东西两侧设有“避弄”走道，以防火灾，并作为每逢主人在綵衣堂迎宾时，家中妇孺、仆役出入避开厅堂方便之用。东侧避弄即为故居的东部区，该区临巷开有侧门，入门后依次布局有照墙、玉兰轩、知止斋及小院等，此为主人藏书和书房及接待宾客之所。

   西侧过避弄为西部区，亦有门临巷。入门依次布局有思永堂、晋阳书屋、柏古轩、明厅等。曾为翁心存三子翁同爵居所。其间回廊曲折，建筑形式丰富多样，布局因地制宜，变化生动，富有情趣。其西侧，昔有桑氏“小南园”园林胜景，显示了明清江南居住建筑布局规谨而又有生动变化的特点。因此，翁氏故居的建筑，不仅充分展示了中国古代官绅大族住宅以纵向中轴布局为主，配以左右两侧横向布局展开为辅的传统建筑格局，而且也反映出江南古代居住建筑因地制宜、正中求变、富有居住环境情趣的空间布局美，是国内完整体现明清时期江南名门望族住宅特点的典型代表。