温州数学名人馆依托于温州市级文物保护单位—谷宅布展而成。谷宅原位于鹿城区高盈里11号，建于清中期。2006年，因旧城改建需要，由高盈里整体搬迁至白鹿洲公园内进行保护。谷宅系著名数学家谷超豪祖居，谷超豪少年时曾生活于此。建筑整体坐西朝东，系七间二进合院式民居。宅院平面布局严谨合理，宅内用花墙分隔成十个大小不一的天井，其中布置水井，庭院幽深逸静。谷宅用料精良，装饰简朴细致，为典型的温州传统民居宅院建筑。2012年11月，谷宅辟为温州数学名人馆对外开放。