南浔镇历史悠久，南宋以来已是“水陆冲要之地”，“耕桑之富，甲于浙右”，因滨浔溪河而名浔溪，后又因浔溪之南商贾云集，屋宇林立，而名南林。至淳祐十二年（1252）建镇，南林、浔溪两名各取首字，改称南浔。由于蚕丝业的兴起和商品经济的发展，明万历至清中叶南浔经济空前繁荣鼎盛，清末民初已成为全国蚕丝贸易中心，民间有“湖州一个城，不及南浔半个镇”之说，南浔由此一跃成为江浙雄镇，富豪达数百家，民间俗称“四象、八牛、七十二墩狗”是中国近代最大的丝商群体。

        南浔“四象八牛”，都以湖丝发家——《元和郡县志》记载：“湖州外开贡丝布”。早在唐开元年间，湖丝已成为贡品，形成产业——《宋史·食货志》中称：“茧箔山立，续车之声连屋相闻。”。南宋湖丝已出口国外，《嘉泰吴兴志》载：“湖丝遍天下”之说了。辑里湖丝更驰名于国内外，因为辑里湖丝质地洁白细匀，富有拉力，优于其他湖丝，如《南林报国寺记》中所 载：“南林一聚落耳，而耕桑之富，甲于浙右。 ”(南浔古称南林)。当时的湖丝生产和质地就数南浔了，清道光年间的诗人董蠡舟在《蚕桑乐府》中赞道：“蚕事吾湖独盛，一郡之中，尤以南浔为甲。”天时地 利以营丝而富，光绪间成豪绅大户“四象八牛”。