潘家園最具江湖感覺的景象是鬼市。“鬼市”說的是淩晨三四點鐘專賣古董的壹種臨時集市，說起“鬼市”還要追溯到清末民初。當時國運衰落，許多達官顯貴家道中落，便偷拿了家中的古玩站街變賣。畢竟這是件有失身份的事，只能選在淩晨三四點打著燈籠交易，這樣買主看不到臉。因看起來像鬼壹樣，以此得名。所以古董行都知道，鬼市出好貨。
潘家園每周有兩天鬼市，周六和周日，其中周六鬼市尤為火爆。淩晨4點鐘，潘家園門口人影憧憧，攤主們用三輪車載著裝滿小件工藝品的紙箱子，顧客們開著車、走著路聚集在潘家園市場門外，噌雜擁擠，把大門頂得叮咚作響。等到4點半大門壹開，人群壹擁而入，迅速各就各位。
開市以後，雖然人多，但市場並不喧嘩，大家都在竊竊私語。老顧客人手壹只手電筒，本意是為了把貨看得更清楚，這都是從上輩子傳下來的規矩了，倒不必那麽隆重，因為潘家園市場的燈非常亮。但手電筒是必須要帶的，這只是壹個標誌，說明買家懂行。
天漸漸亮了，鬼市時間結束，市場繼續營業，此時就可以看清楚大家的表情了。賣家的動機都壹樣，賺錢：而買家絕對是壹道風景，人人不同：有專心致誌真心淘貨的，有來打探自家藏寶的大概價錢的，有附庸風雅的，有看熱鬧的。
盡管潘家園人的身份、動機千差萬別，但還是形成了壹些約定俗成的規矩。比如，別人拿在手裏的東西，妳不能問價。要等別人放下，妳再拿起來問價；不能因為被人撿漏就惱羞成怒，要認栽。
既然是江湖，就少不了傳奇般的發跡故事。
潘家園裏老頭老太太很多，他們年輕時也許根本沒想過當富翁，本來只是想在晚年找個營生，有壹搭沒壹搭地做，結果就成了先富起來的人。這裏很多人90年代中期就靠壹塊破布起家，房車都有、身家數百萬的人比比皆是。
以上的發跡故事是真實的。如果提起傳說中的發跡故事，那簡直就沒邊了。比如說，有人花15元買了把寶劍，結果賣了15萬；有人花300元錢買了個碟子，經鑒定竟然是元青花，結果賣了37萬；有人花300元買了1副麻將，結果賣了6萬……
所以很多行內人都說，潘家園是壹個傳奇。