胡加園是明代抗葡英雄胡璉於嘉靖年間所建。已有500年歷史，因胡氏“壹門三士”而聞名。
《西遊記》作者、胡璉的侄子吳承恩稱贊胡加園為“長淮第壹名門”，後人稱其為“淮海第壹園”。
清康熙初年，該園傳至胡璉後裔、康熙帝恩師胡堅景處，再次擴建，並新植許多奇花異草，頗具園林之風。