嘉靖四十壹年，潘雲端出仕，無暇建園。他的《禦苑集》說:“我做了二十年，沒有壹點成績。”萬歷五年(1577)，潘雲端被革除四川布政司壹職後回到家鄉，後又專心經營、擴建園林，“年年耕耘、歲歲收獲，全為春之介”，並聘請著名園藝家張南洋為設計者、疊山。
從此，花園越大，水池越寬。萬歷末建成，總面積70余畝。全園亭臺樓閣，曲徑通幽，奇峰異石，池塘溪流，古樹參天，規模宏大，景色秀麗。
明朝中後期恰逢江南文人造園的鼎盛時期，上海附近的私家園林數以千計。豫園的風景、布局和規模不亞於蘇州拙政園和太倉園。山園相媲美，是公認的“東南名園之冠”。
潘雲端在《禦苑集》中註意到“匾上寫著‘禦苑’，是老親們的樂事”。“宇”就是“安泰”、“平安”的意思。說明潘雲端建園的目的是讓父母在園中安度晚年。但由於久拖不決，潘恩在花園剛建好的時候就去世了，豫園實際上成了潘雲端隱居享樂的地方。
潘雲端經常在園中設宴遊玩，請神仙女神，講算命，祝壽祭祖，寫歌書，打蛐蛐，放風箏，買賣古玩字畫，甚至用鐐銬懲罰仆人。僧尼、算命先生、妓女、三教九流以及食客頻繁出入豫園。
由於長期的揮霍和園藝的花費，家族生意衰落了。潘雲端在世時，靠賣田地和古玩為生。潘雲端去世後，花園日漸荒蕪。明朝末年，潘氏豫園曾屬於總政治部成員張兆林(潘雲端的女婿)。清初，豫園幾易其主，其址也以洋名劃分。
康熙初年，上海的壹些士紳將豫園的幾個廳堂改建為清河書院，供奉松江知府張生渠的奏折。書院還沒建成，張生渠就被降職，立即停工。園中亭臺樓閣錯落有致，草滿池塘，有的地方成了菜地，美麗的景色變得荒涼。
清康熙四十八年(1709)，上海士紳在城隍廟東側買下2畝多土地，修建寺廟園林，即陵園，又稱東園(今內園)。乾隆二十五年(1760)，壹些富紳富商集資在廟堂北面和西北面買下了豫園的壹大片舊地，以恢復當年的園林風貌。
四十九年(1784)完成，歷時二十余年。因現存“東園”，因西有復園，故稱“西園”。園林基地原稱70多畝的廣大地區，但清同治七年(1868)，不到37畝。修復後的西園、東園，本質上並不是私家園林，而是成為了城市中士紳、士紳們高雅聚會、嬉戲的廟堂園林。但規模布局仍是按照潘氏豫園，文人家花園的風格是明凈中透著清麗淡雅。
原本在荷花池附近的樂壽堂已經年久失修。西園重建時，在原址上修建了高大華麗寬敞的三穗殿。豫園在鴉片戰爭中被毀。道光二十二年(1842)，農歷五月十壹，英軍從北門開進，駐紮在豫園和城隍廟，指揮部設在湖中央的亭子裏。豫園“如畫，春石無色”。
鹹豐五年(1855)，小刀會起義失敗，清軍進駐豫園。香雪堂、點春堂、桂花堂、德悅樓、花神閣、蓮花堂均有損毀。鹹豐十年，太平軍東進，清政府邀洋槍隊入城防守。豫園也被用作兵營，“西園滿巖山”，建造西式兵營。
清朝嘉慶、道光年間，上海商業發展迅速，壹些商業行會在豫園設立貿易所，作為祭祀、議事、宴請和觀光的場所。同治七年，西園分設各貿易處，各自集資修繕。
此後，園中茶館、酒館如雨後春筍般相繼出現，攤販成群。在荷花池西南的壹片空地上，壹些江湖藝人如相面、賣梨糊糖、拉丁片等在這裏擺攤，逐漸成為固定的廟會市場，後來演變成商場。光緒元年(1875)，豫園內有豆米、糖、布等21工商業設立了辦事處，部分辦事處還設立了學校，昔日的歷史遺跡正在逐漸消失。
民國時期，豫園被壹條東西走向的小路(今豫園路)分割成南北。古建築殘破不堪，面目全非，有的還被改造成了民房。寧惠閣、清芬館、好樂坊、綠波畫廊分別成為餐廳、點心店、茶館。香雪堂在八·壹三淞滬會戰中被日軍焚毀。除了堂前玉質精致的假山，只剩下壹片空地。
好在園中的壹些重要部分，如點春堂、三穗堂、假山、亭臺樓閣、古樹名木等，還保留著。解放後，豫園得到了妥善保護。65438至0956年，經市政府批準，撥付專項資金，由市文化局直接組織專門隊伍，聘請上海市土木設計院、同濟大學建築專家和能工巧匠，歷時五年，投資數百萬元，對豫園進行了全面修復。
修復重建三穗堂、雨花廳、匯景樓、九獅軒等被毀古建築，疏通淤塞的池塘，種植大量樹木花草，連接豫園與內園。
園主潘雲端，四川布政，從1559(明嘉靖末年)開始，在潘家所居石春堂西邊的幾塊菜地上建園。經過20多年的苦心經營，豫園建成了。“玉”意為“和平”、“安泰”，故名“豫園”，意為“玉玥老秦”。
豫園，當時占地70余畝，由明代著名園藝師張南洋設計，並親自參與建設。古人稱贊豫園為“東南壹絕”、“東南名園”。
潘雲端家到了晚年就沒落了。潘雲端於1601年(明萬歷二十九年)去世，潘氏家族日漸衰弱，無力承擔花園修繕和管理所需的巨額開支。明朝末年，豫園被張兆林收購。後來1760年(清乾隆二十五年)，為了不使這個景點消失，當地壹些富商、士紳聚錢買下了豫園。
重建這座塔並建造更多的巖石花了20多年的時間。當時城隍廟東邊有壹座東園，就是現在的內園，豫園略西，所以改名為西園。
第壹次鴉片戰爭爆發於1842年(清道光二十二年)。外國侵略者入侵上海，英軍占領豫園，大肆蹂躪。清鹹豐三年(1853)，上海孝道會響應太平天國革命，在上海發動起義。起義失敗後，清兵在城內燒殺搶掠，豫園損毀嚴重。點春堂、香雪堂、桂花堂、德悅樓等建築均被縱火。
1860年(清鹹豐十年)，太平軍進占上海，滿清政府勾結英法侵略者，利用城隍廟和豫園作為駐紮洋兵的場所，在園內挖石填塘，修建西式軍械庫。風景已經認不出來了。
清光緒初年(1875)後，全園被上海豆米業、糖業、布業等20余個工商業分割，建為公所。解放前夕，豫園的亭臺樓閣破敗不堪，假山坍塌，池水幹涸，樹木枯萎，昔日的景觀逐漸湮滅。
擴展數據:
自從豫園成為城隍廟的西園後，壹直免費開放，東園也在每月的第壹天對外開放。豫園是城市觀光和舉辦各種活動的主要場所。豫園有舉辦各種花卉展覽的悠久歷史，還有登高重陽節、元宵節燈會等娛樂活動。平時經常舉辦奇石、書畫展、茶道活動。
這些傳統的民間活動，在日本人占領上海後，基本上中止了。1979之後，花展、燈會、書畫展等活動陸續恢復。
百度百科-豫園