萬歷五年(1577)，潘雲端被革除四川布政司壹職後回到家鄉，後又專心經營、擴建園林，“年年耕耘、歲歲收獲，全為春之介”，並聘請著名園藝家張南洋為設計者、疊山。從此，花園越大，水池越寬。萬歷末建成，總面積70余畝。全園亭臺樓閣，曲徑通幽，奇峰異石，池塘溪流，古樹參天，規模宏大，景色秀麗。
明朝中後期恰逢江南文人造園的鼎盛時期，上海附近的私家園林數以千計。豫園的風景、布局和規模不亞於蘇州拙政園和太倉園。山園相媲美，是公認的“東南名園之冠”。
潘雲端在《禦苑集》中註意到“匾上寫‘禦苑’以取悅老人”。“宇”就是“安泰”、“平安”的意思。說明潘雲端建園的目的是讓父母在園中安度晚年。但由於久拖不決，潘恩在花園剛建好的時候就去世了，豫園實際上成了潘雲端隱居享樂的地方。潘雲端經常在園中設宴遊玩，請神仙女神，講算命，祝壽祭祖，寫歌書，打蛐蛐，放風箏，買賣古玩字畫，甚至用鐐銬懲罰仆人。僧尼、算命先生、妓女、三教九流以及食客頻繁出入豫園。由於長期的揮霍和園藝的花費，家族生意衰落了。潘雲端在世時，靠賣田地和古玩為生。潘雲端去世後，花園日漸荒蕪。明朝末年，潘氏豫園曾屬於總政治部成員張兆林(潘雲端的女婿)。清初，豫園幾易其主，其址也以洋名劃分。康熙初年，上海壹些士紳將豫園的幾個殿堂改建為清河書院，供奉松江知府張生渠的奏折。書院還沒建成，張生渠就被降職，立即停工。園中亭臺樓閣錯落有致，草滿池塘，有的地方成了菜地，美麗的景色變得荒涼。
清康熙四十八年(1709)，上海士紳在城隍廟東側買下2畝多土地，修建寺廟園林，即陵園，又稱東園(今內園)。乾隆二十五年(1760)，壹些富紳富商集資在廟堂北面和西北面買下了豫園的壹大片舊地，以恢復當年的園林風貌。四十九年(1784)完成，歷時二十余年。因現存“東園”，因西有復園，故稱“西園”。園林基地原稱70多畝的廣大地區，但清同治七年(1868)，不到37畝。
修復後的西園、東園，本質上並不是私家園林，而是成為了城市中士紳、士紳們高雅聚會、嬉戲的廟堂園林。但規模布局仍是按照潘氏豫園，文人家花園的風格是明凈中透著清麗淡雅。原本在荷花池附近的樂壽堂已經年久失修。西園重建時，在原址上修建了高大華麗寬敞的三穗殿。
豫園在鴉片戰爭中被毀。道光二十二年(1842)，農歷五月十壹，英軍從北門開進，駐紮在豫園和城隍廟，指揮部設在湖中央的亭子裏。豫園“如畫，春石無色”。鹹豐五年(1855)，小刀會起義失敗，清軍進駐豫園。香雪堂、點春堂、桂花堂、德悅樓、花神閣、蓮花堂均有損毀。鹹豐十年，太平軍東進，清政府邀洋槍隊入城防守。豫園也被用作兵營，“西園滿巖山”，建造西式兵營。
清朝嘉慶、道光年間，上海商業發展迅速，壹些商業行會在豫園設立貿易所，作為祭祀、議事、宴請和觀光的場所。同治七年，西園分設各貿易處，各自集資修繕。此後，園中茶館、酒館如雨後春筍般相繼出現，攤販成群。在荷花池西南的壹片空地上，壹些江湖藝人如相面、賣梨糊糖、拉丁片等在這裏擺攤，逐漸成為固定的廟會市場，後來演變成商場。光緒元年(1875)，豫園內有豆米、糖、布等21工商業設立了辦事處，部分辦事處還設立了學校，昔日的歷史遺跡正在逐漸消失。民國時期，豫園被壹條東西走向的小路(今豫園路)分割成南北。古建築殘破不堪，面目全非，有的還被改造成了民房。寧惠閣、清芬館、好樂坊、綠波畫廊分別成為餐廳、點心店、茶館。香雪堂在八·壹三淞滬會戰中被日軍焚毀。除了堂前玉質精致的假山，只剩下壹片空地。好在園中的壹些重要部分，如點春堂、三穗堂、假山、亭臺樓閣、古樹名木等，還保留著。
解放後，豫園得到了妥善保護。1956經市政府批準，撥付專項資金，由市文化局直接組織專門隊伍，聘請上海土木設計院、同濟大學建築專家和能工巧匠，對豫園進行全面修復。歷時五年，投入數百萬元，恢復重建了三穗堂、雨花廳、惠景樓、九獅軒等被毀古建築，疏通淤塞的水塘，種植了大量的樹木花草，並把豫園。
修復後的豫園大門從東面的安仁街移到了園內的西南面。除荷花池、胡鑫亭、九曲橋外，全園共有48個景點，大致可分為東、西、中、內四個公園。豫園已經恢復了它美麗典雅的風格。1961九月，豫園正式對外開放，成為海內外各界人士喜愛的旅遊娛樂場所。
對外開放後，豫園繼續得到修繕。1956 ~ 1961年大修期間，由於當時的財力物力，玉玲瓏景區內雖然恢復了玉華堂、惠晶樓等建築，但園內仍顯得較為空曠、失衡，與整個豫園深度曲折，以小見大，不協調。此外，“文革”期間，明朝的龍橋被拆，周邊的曲池被破壞。1982大假山前的胡氏假山螺絲孔和萬華大廈前小假山的花墻出現險情。經區政府批準，拆除了兩堵危墻，並按原樣修復。同時改變了與古代園林風格不協調的水泥路面，調整了花木布局，擴建了東花園大門。* * *已完成大小改造項目23個，零星小項目數百個。
1986年3月，區政府決定投資600多萬元，分三期改造豫園。邀請園林專家教授、博士生蔡達峰，參照清代乾隆時期豫園布局，結合江南古典園林特色，進行設計指導。壹、二期工程主要是對豫園東部景區進行改造，包括玉玲瓏、雨花廳、匯景樓、九獅軒周邊景區。這個區域壹直都是破壞比較嚴重的，修復工程比較大。拆除防空洞，重建青石環龍橋，擴大水面，修建聚玉假山、幻雲假山、玉玲瓏照壁、百米聚玉長廊。第壹、二期完成於1987。三期工程將修復內花園的古戲臺。由於周邊居民居住在內花園，古戲臺長期被鎖，無法對外開放。在市文物管理委員會的支持下，區政府搬遷13戶，2家企業，從1987年底開始修復古戲臺至1988年8月。