潘允端在《豫園記》中說：“匾曰‘豫園’，取愉悅老親意也。”
“豫”，有安泰、平安之意，由此可見潘允端建園目的是讓父母在園中安度晚年。但因時日久拖，潘允端的父親潘恩在園子剛建成時便亡故了，豫園實際成為潘允端自己退隱享樂之所。
潘允端常在園中設宴演戲、請仙扶乩、相面算命、祝壽祭祖、寫曲本、玩蟋蟀、放風箏、買賣古玩字畫等，後來，潘氏家業衰落，潘允端死後，園林日益荒蕪。
明末，潘氏豫園壹度歸通政司參議張肇林，而張肇林也就是潘允端的孫婿。
到了清初，豫園也是幾度易主，園址也被外姓分割。康熙初年，上海壹些士紳將豫園幾個廳堂改建為清和書院，堂中供奉松江知府張升衢長生祿位。書院尚未修竣，有因故停工。園中亭臺傾圮參半，草滿池塘，壹些地方成了菜畦，秀麗景色已成壹片荒涼。
1709年，上海士紳為公***活動之需，購得豫園東部部分地區建造廟園，即靈苑，又稱東園。1760年，壹些豪紳富商集資購買廟堂北及西北大片豫園舊地，恢復當年園林風貌。歷時20余年。因已有“東園”，故謂西邊修復的園林為“西園”。
在這壹時期建造的有得月樓、綺藻堂、三穗堂和萃秀堂等建築。
得月樓建於1760年，位於玉華堂、玉玲瓏西，兩面臨水。取“近水樓臺先得月”之義而名。得月樓為二層樓房，建築精致，畫梁彩棟，修廊曲欄，華麗幽靜。
得月樓前有“皓月千裏”匾額，皓月當空時，俯視湖心亭、九曲橋上月光，別有情趣。清人壹副描寫得月樓的聯語“本地風光，舊時月色”，耐人尋味。
綺藻堂位於得月樓下，以“水波如綺，藻彩紛披”而名。堂內裝潢美觀，別具壹格。堂檐下有100個不同字體的木雕“壽”字，稱為“百壽圖”，富有民族特色。堂前壹天井，猶如方茶壺，內有匾額“人境壺天”。左側圍墻上有清代“廣寒宮”磚刻。
萃秀堂位於大假山東北峭壁下。1760年始建，1770年竣工。1813年由西園廟產轉屬餅豆業公所，並經大規模修葺，建築構造精粹，幽靜峻潔。四周攔以圍墻，堂前峰巒林立，花木陰翳。
修復後的西園、東園性質上已非私家花園，成了供城邑士人鄉紳們集會雅玩的寺廟園林，但規模布局還依照潘氏豫園，保留了文人宅園明秀雅潔的風貌。原臨荷花池的樂壽堂已頹圮，復建西園時，在原址上建起形制高大、華麗寬敞的三穗堂。
三穗堂位於豫園正門處，原為樂壽堂，清初曾被征為上海縣衙辦公之地，改建西園時重築為三穗堂。其意“禾生三穗，乃豐收之朕兆”。有5間大廳，屋宇宏敞。三穗堂大廳中間有“城市山林”和“靈臺經始”匾額。
匾額下是豫園主人潘允端撰文的《豫園記》，扇上雕刻著稻穗、黍稷、麥苗和瓜果。三穗堂南臨大湖，堂前檜柏分植，景觀頗廣遠，湖心有亭，渺然浮水上，東西築石梁，九曲以達於岸。
三穗堂在清代中葉為豆米業公所議事、定標準斛之所，又稱“較斛廳”。還曾是官府召集鄉士紳商宣講皇帝諭旨之處，是當時滬上紳士富商的政治、經濟活動場所。三穗堂南荷花池、鳧佚亭、綠波廊、濠樂舫、鶴閑亭、清芬堂和凝暉閣等建築。
點春堂於清道光初年為福建花糖業商人所建，以作公所之用，***五間。廳堂畫棟雕梁，宏麗精致，門窗的扇上雕刻戲曲人物，栩栩如生。堂名取宋代詩人蘇軾詞“翠點春妍”之意。
點春堂廳堂面對壹座小戲臺，鏤金錯彩，式樣精巧，名“鳳舞鸞吟”，俗稱打唱臺，是當年花糖業公所宴請演唱和歲時祭供之處。
打唱臺東南有小假山，水從假山下石竇中流出，匯成小池，戲臺壹半架在池中，非常幽雅。點春堂後有臨水檻，可憑檻觀魚，有匾額“飛飛躍躍”，字體飄逸灑脫。
後來因兵火，豫園香雪堂、點春堂、桂花廳、得月樓、花神閣、蓮廳皆遭損毀。清嘉慶、道光年間，上海商業發展較快，壹些商業行會在豫園設同業公所，作為同業間祀神、議事、宴會、遊賞之處。1868年西園劃分給各同業公所，各自籌款修復。
仰山堂便是此時建造的。仰山堂位於三穗堂之後，與大假山隔池相望，1866年所建。底層稱仰山堂，上層為卷雨樓。仰山堂***五楹，後有回廊，曲檻臨池，可小憩。望大假山景，池中倒影可鑒。
卷雨樓為曲折樓臺，取唐詩“珠簾暮卷西山雨”之意，雨中登樓，煙霧迷蒙，山光隱約，猶如身入雨山水谷之中，為豫園絕景。
此後園內茶樓酒館相繼興起，商販叢集，荷花池西南壹片空地上，壹些江湖藝人，諸如相面測字、賣梨膏糖、拉洋片等在此設攤，逐漸成為固定廟市，後演變為商場。
1894年，布業公所為紀念古代紡織家黃道婆建造了織亭。織亭位於綺藻堂和荷花樓之間的西廊中間，面對湖心亭、九曲橋，背向五老峰、月府磚刻。亭以扇與廊相隔，扇裙板上刻有“耕織圖”。
藏書樓也是在這壹時期建造的。藏書樓又名書畫樓，位於得月樓對面，曾是有名的書畫市。
20世紀初期，豫園已被壹條東西小路分割成南北兩爿，古建築破漏，面目全非，所幸園中重要部分點春堂、三穗堂、大假山和壹些亭臺樓閣、古樹名木，仍得以保存。