唐代，祁門茶市十分興盛。南唐，休寧人臧循便行商福建。宋代，徽紙已遠銷四川。南宋開始出現擁有巨資的徽商，祁門程承津、程承海兄弟經商致富，分別被人們稱為"十萬大公"、"十萬二公"，合稱"程十萬"。朱熹的外祖父祝確經營的商店、客棧占徽州府的壹半，人稱"祝半州"。壹些資本雄厚的大商人還在徽州境內發行"會子"。元末，歙縣商人江嘉在徽州發放高利貸，牟取暴利。元末明初的徽商資本，較之宋代大為增加，朱元璋入皖缺餉，歙人江元壹次助餉銀10萬兩。成化年間，徽商相繼打入鹽業領域，壹向以經營鹽業為主的山西、陜西商人集團受到嚴重打擊，於是徽商以經營鹽業為中心，雄飛於中國商界。
明代中葉以後至清乾隆末年的300余年，是徽商發展的黃金時代，無論營業人數、活動範圍、經營行業與資本，都居全國各商人集團的首位。當時，經商成了徽州人的"第壹等生業"，成人男子中，經商占70%，極盛時還要超過。徽商的活動範圍遍及城鄉，東抵淮南，西達滇、黔、關、隴，北至幽燕、遼東、南到閩、粵。徽商的足跡還遠至日本、暹羅、東南亞各國以及葡萄牙等地。 徽商經營行業以鹽、典當、茶木為最著，其次為米、谷、棉布、絲綢、紙、墨、瓷器等。其中婺源人多茶、木商，歙縣人多鹽商，績溪人多菜館業，休寧人多典當商，祁門、黟縣人以經營布匹、雜貨為多。
徽商除了從事多種商業和販運行業外，還直接辦產業。休寧商人朱雲沾在福建開采鐵礦，歙縣商人阮弼在蕪湖開設染紙廠，他們邊生產邊販賣，合工商於壹身。徽商經營多取批發和長途販運。休寧人汪福光在江淮之間從事販鹽，擁有船只千艘。壹些富商巨賈，還委有代理人和副手。徽商還使用奴仆營商，休寧人程廷灝曾驅僮奴數十人，行賈四方。徽商在經營中註重人才，做到知人善任，註重市場行情，實行靈活經營。有壹業為主兼營它業的；有根據不同行情、季節變換經營項目的。
徽商講究商業道德，提倡以誠待人，以信接物，義利兼顧。以勤奮和吃苦耐勞而著稱，在外經營，三年壹歸，新婚離別，習以故常。徽商商而兼士，賈而好儒，與封建官僚混為壹體，或相互接托。他們除以"急公議敘"、"捐納"和"讀書登第"作為攫取官位的途徑外，還以重資結納，求得部曹守令乃至太監、天子的庇護，享有官爵的特權。壹些徽商本人不能躋身官僚行業，就督促子弟應試為官，自己也就成為官商。
清乾隆末年，封建統治日趨沒落，課稅、捐輸日益加重，徽商處境愈來愈困難。1831年，兩江總督兼管兩淮鹽政陶澍革除淮鹽積弊，改行"票法"，靠鹽業專利發跡的徽商開始衰敗典當業也因左宗棠壟斷及外國銀行的侵入而中落。茶、木兩商則由於鴉片戰爭和太平天國運動的影響，連年虧損。尤其是隨著提帝國主義入侵，外資滲入，國外商品傾銷，徽商經營的行業大多被其所替代。同時與帝國主義、軍閥官僚聯系密切的廣東、江浙財閥開始興起，只掌握傳統商業知識、技能的徽商，在商業領域逐漸失去其操縱、壟斷和獨占的地位，開始走下坡路。
清末和民國時期，雖有個別徽商人物如黟縣鹽商李宗媚、歙縣房地產商人程霖生等展露頭角，但整體上挽救不了徽商的頹勢。