南潯的富商都以湖絲發家，湖州的蠶絲有悠久的歷史，據《元和郡縣誌》記載：“湖州外開貢絲布”，由此可見，早在唐開元年間，湖絲已成為貢品，並形成為壹大產業，在《宋史·食貨誌》中稱：“繭箔山立，續車之聲連屋相聞。”反映了湖州蠶絲的盛況。從南宋開始湖絲已出口國外，在《嘉泰吳興誌》中就有：“湖絲遍天下”之說了。而南得的輯裏湖絲更馳名於國內外，因為輯裏湖絲質地潔白細勻，富有拉力，優於其他湖絲，正如《南林報國寺記》中所載：“南林壹聚落耳，而耕桑之富，甲於浙右。”(南潯古稱南林)。當時的湖絲生產和質地就數南潯了，清道光年間的詩人董蠡舟在《蠶桑樂府》中贊道：“蠶事吾湖獨盛，壹郡之中，尤以南潯為甲。”在那種資源豐富，得天時地利之優的條件下，南潯以經營蠶絲發家的富商，在光緒年間形成了“四象八牛”的豪紳大戶。
劉鏞為“四象”之首，據傳劉鏞的財富達二幹多萬兩銀子之多，被譽為四象中“劉家的銀子”之美稱。當劉鏞發跡後，深感列祖以來，都缺少文化，雖有財，但無祿，不上門第，故亟力教子讀書，應試科舉，使他的四個兒子都能進入仕途，劉鏞也因兒子的及第，恩封為通奉大夫，達到了榮宗耀祖的目的。劉鏞還把女兒嫁給壹品大學士徐甫的兒子為妻，另-個女兒嫁給蔣錫紳之子清學部總務司郎蔣汝藻為妻，使劉氏更加光耀了門第，在南潯成了壹戶有錢有勢的大戶。
顧福昌（1796壹1868），字成之，號春池，是南潯的四象之壹，國學生，因排行第六，創業後，被稱為顧六公公。顧福昌早年的家境也屬清貧，棄學從商，起初擺個布攤。後至南潯鄰鎮江蘇震澤開小布店為生，兼營蠶絲後發家，與洋人往來後，遂成為上海早期的絲通事，經理洋務。並開設顧豐盛絲號，屬南潯絲商中發跡最早的壹家。
顧福昌經營蠶絲致富後，又經營了當時-亡海灘上唯壹的外洋輪船碼頭--金利源碼頭，並成了怡和洋行買辦和怡和打包公司經理，還大做房地產生意，被譽為四象中“顧家的房子”之美稱。
顧福昌有三個兒子，長子顧壽松，字容齋；次子顧壽藏，字子嘉；三子顧壽明，字頌三。都是有名的古物、金石、書畫收藏家。顧氏三兄弟繼承父業，經營蠶絲，以顧壽減最有聲望，曾任上海絲業公所董事長，有名的愛國教育家顧乾翰先生就是顧福昌的曾孫。
張頌賢（1817-1892），字竹齋，祖藉微州休寧，其父張維嶽在南潯開壹小醬鹽店為生。張維嶽有兩個兒子，張頌賢為老二。
張頌賢善經營，遂從事絲業後，全力經營輯裏絲出口業務，並開設了“張恒和絲行”，營絲發家後，又著眼於鹽務，為鹽業界巨頭，據張謇《烏程張封公墓碣》：“同治初元，私販充斥，引滯課絀，鹽法太壞。巡撫召商集議，頌賢連約諸商，收余姚岱山之私，輕課減價，以陰敵緣江並海之私。於是商利益滋，官課以充，而家亦日益豐大。”張頌賢還經營了南潯鎮周圍方圓五十裏的醬園，如張恒泰、張恒昌、張元春、張啟泰、張義隆等規模都是比較大的醬園。
張頌賢還購置莊田、開典當、錢莊、辦通運公司等。據傳他的財富僅次於劉家，占四象之第二位。
張頌賢有二個兒子，長子張寶慶，字質甫；次子張寶善，字定甫。
張鈞衡，字石銘，系張寶慶的獨生子，張頌賢的長孫。由於其父早卒，由母操辦當時南恒和的壹切事務，故把宅第立堂名為“懿德堂”，張鈞衡光緒二十年(1894)中舉人，承襲祖業後，經商有方，產業盛豐。他奉母至孝，在自家宏麗的園林“適園”內，為母建佛堂，供玉佛，讓母焚香拜佛，還建造壹座石塔，篆刻唐柳公權書《金剛經》。該園在抗戰期間已遭完全破壞。現張石銘的宅第已成為南潯對外開放的旅遊景點之壹，號稱“江南第壹巨宅”。該宅第占地4792平方米，有中西式樓房150間，尤為宅內的木雕、磚雕和石雕，工藝精湛，具有很高的文物價值。
張靜江，名增澄，又名人傑，字靜江，號飲光，另號臥禪，系張頌賢次子張寶善之子，排行第二，故鎮裏人都稱他為二先生。
張靜江早年參加孫中山所領導的同盟會，為革命捐款效勞，孫中山先生曾說過：“自同盟會成立後，始有向外籌資文舉，當時出資最勇而多者張靜江也。但其巴黎之店所得六七萬元，盡以助餉。”張靜江任過國民政府常務委員，當選過國民黨中央政治會議主席，出任過浙江省政府主席等職，是國民黨四大元老之壹。
由於張頌賢的兩個孫子在學術和政界有名望，故被譽為四象中“張家的才子”之美稱。
四象中還有龐雲曾（金字傍，1833壹1889），字蕓臯，原藉浙江紹興，父為師爺，龐雲曾也為絲業行學徒出身，故通曉蠶絲經營之道，發家後，開設了“龐怡泰絲行”，在經營中，結識了杭州胡慶余堂國藥店老板，人稱“紅頂商人”的胡雪巖，在合夥做蠶絲生意的同時，還與胡雪巖同做軍火生意，為左宗堂向洋商購買軍火。龐雲曾有官場朋友的幫忙，後又通過李鴻章，使兒子龐元濟在光緒十七年(1891)，得慈禧太後旨恩賞舉人，特賞龐雲曾壹品封典，候補四品京堂，恩贈榮祿大夫，光祿大夫之稱，故被譽為四象中“龐家的面子”之美稱。
龐雲曾還仿胡雪巖的胡慶余堂，在南潯開設了規模較大的“龐滋德”國藥店，並建有藥棧和制藥工場，直至現在老字號的“龐滋德”藥店還開設在南潯寶善街上。
龐雲曾有三個兒子，長於龐景麟，早夭。次子龐元濟，三子龐元澄。
龐元濟，字萊臣，別號虛齋，光緒六年(1880)秀才，授例刑部江西司郎中之職。龐元濟承父業，除經營龐滋德藥店和慶怡泰醬園外，還創辦絲廠和紗廠，並兼營房地產，在南潯東柵營建了規模最大、造林勝於其他園林的花園“宜園”。也在抗戰期間遭破壞，現已無存。
元濟，鎮人都稱他龐萊臣，他善於繪畫和古畫鑒賞，為國內外有名的古畫鑒賞家和收藏家。解放前，中國古代書畫只要蓋有龐虛齋的鑒定印章，就可認定是真品，連外國收藏家，也願以重價購買。
龐元澄，原字清臣，後改青城，-號淵如。光緒二十壹年(1895)中秀才，他致力於教育和創辦醫院，並提倡西醫。光緒三十二年(1906)，在上海捐款支持馬相伯為抗議帝國主義勢力幹涉我國教育，創辦復且公學(1917年改復且大學)，青城列名復且公學募捐公啟。
元澄也是孫中山所領導的同盟會會員，是同盟會上海支部核心人物之壹。
邢庚星，是南潯八牛之首，開設邢正茂絲經行，後易名為恒順絲經行。並開設典當，為南潯開設當鋪最多的壹家。另外，在海寧、太倉、上海、海鹽、平湖等地都開設有邢家當鋪。還經營房地產等。
周昌大，壹名味詩，字樂耆。祖藉浙匯余姚，乾隆中遷潯，開設申泰絲號和申昌絲號，鎮人都以周申泰稱呼他家，南潯八牛之壹。
邱仙槎，字其深，開設啟昌絲經行。南得八牛之壹。
陳煦元，原名熊，字竹坪。是壹位有名的絲事通，外設裕昌紀經行。現南潯旅遊景點“穎園”就是陳家宅內的小花園，南潯八個之壹。
金桐，字竹庭。早年棄學就商於上海，成為絲事通，營絲發家。他的大兒子金壽亦，字沁元，繼承父業，經營蠶絲，設金嘉記絲經行，還開當鋪，經營房地產等，號稱“小金山”，南潯八牛之壹。
張佩紳，開設源泰絲行，曾在上海商業銀行總行任營業部主任。南潯八牛之壹。
梅鴻吉，字月槎。開設恒裕絲經行，其子梅展中，開設南潯最早的用機器生產的絲廠，南潯八牛之壹。
邵易森，開設森大絲經行，在上海設有邵月記絲號，出品青獅牌絲經。鎮人稱他為邵森大，南潯八牛之壹。
南潯的七十二墩狗，包括南潯的四鄉。在鎮上的有：邱茂泰、邱蓋茂、邱義昌、邱德升、沈塗記、沈永昌、沈永豐、沈天長、李恒德、李萬順、李德茂、吳晉昌、吳其昌、吳永記、朱寵茂、朱廣隆、莊恒慶、邢豐記、蔔同昌、韓怡昌、桂致和、潘泳記、潘大順、張豐泰、張恒豐、徐世興、徐惠和、許仁昌、謝森元、劉通德、龐同順、丁昌記等，都數是開設絲經行致富的。四鄉有北小圩張家、橋下張家、吳樓張家、斜橋（土鬥）金家、五家亭盛家、石匠（土鬥）邱家、七裏村溫家、子嘶灣陳家、藏谷橋王家等。
由於“四象八牛”之說，屬當時巷議街談，系得諸風聞，無正規的統計和詳細的記載，故七十二墩狗也只能略舉而也。
“四象八牛”之說，反映南潯自南宋淳年(1252)建鎮，由潯溪、南林之稱，到設鎮官，立鎮名為南潯後，以耕桑之富，且為行商坐賈薈萃之所，逐發展成為富商雲集的江南雄鎮，並為後人留下了如藏書樓、小蓮莊、張宅董樓等壹大批園林建築，造就了“綠波三疊跨晴虹”，“十裏桑陰水市陰”的江南特有的風姿。