萬歷五年（1577年），潘允端自四川布政司解職回鄉，便集中精力再度經營擴修此園，“每歲耕獲，盡為營治之資”，並聘請園藝名家張南陽擔任設計和疊山。此後，園越辟越大，池也越鑿越廣。萬歷末年竣工，總面積稱70余畝。全園布滿亭臺樓閣，曲徑遊廊相繞，奇峰異石兀立，池沼溪流與花樹古木相掩映，規模恢宏，景色旖旎。
明代中、後葉正值江南文人造園興盛時期，上海附近私家園林不下數千，而豫園“陸具嶺澗洞壑之勝，水極島灘梁渡之趣”，其景色、布局、規模足與蘇州拙政園、太倉弇山園媲美，公認為“東南名園冠”。
潘允端在《豫園記》中註明“匾曰‘豫園’，取愉悅老親意也”。“豫”，有“安泰”、“平安”之意。足見潘允端建園目的是讓父母在園中安度晚年。但因時日久拖，潘恩在園剛建成時便亡故，豫園實際成為潘允端自己退隱享樂之所。潘允端常在園中設宴演戲、請仙扶乩、相面算命、祝壽祭祖、寫曲本、玩蟋蟀、放風箏、買賣古玩字畫等。僧尼、相士、三教九流以及食客等頻繁出入豫園。
清嘉慶、道光年間，上海商業發展較快，壹些商業行會在豫園設同業公所，作為同業間祀神、議事、宴會、遊賞之處。同治七年西園劃分給各同業公所，各自籌款修復。此後園內茶樓酒館相繼興起，商販叢集，荷花池西南壹片空地上，壹些江湖藝人，諸如相面測字、賣梨膏糖、拉洋片等在此設攤，逐漸成為固定廟市，後演變為商場。光緒元年（1875年），豫園內有豆米業、糖業、布業等21個工商行業設立公所，壹些公所還設立學校，舊有古跡日趨湮沒。民國時期，豫園已被壹條東西小路（今豫園路）分割成南北兩爿，古建築破漏，面目全非，有些改建成民房，凝暉閣、清芬堂、濠樂舫、綠波廊分別成為菜館、點心鋪、茶樓。香雪堂於八壹三淞滬戰爭被日軍焚毀，除堂前玉玲瓏假山石外，僅剩壹片空地。所幸園中重要部分點春堂、三穗堂、大假山和壹些亭臺樓閣、古樹名木，仍得以保存。
解放後，豫園得到妥善保護。1956年經市政府批準，撥出專款，由市文化局直接組織專門班子，聘請上海民用設計院和同濟大學建築專家以及能工巧匠，對豫園進行了全面修復，歷時5年，投資上百萬元，修復重建被毀壞的三穗堂、玉華堂、會景樓、九獅軒等古建築，疏浚淤塞的池塘，栽植大量樹木花草，並把豫園和內園連接 起來融為壹體。