祠堂建成後，院內將種植柏樹。因為古人認為柏樹可以溝通自然，營造莊嚴的氣氛，所以常青的柏樹象征著山川的永恒穩定。祠堂的奇特景觀不僅高聳入雲，還留下了永樂皇帝親自種植的柏樹和朱迪親自種植柏樹的民間傳說。
祠堂建成後，負責種樹的官員是郎，他的叔叔是內務府的總管。郎官欺上瞞下，侵吞白銀，辭退有植樹見義勇為經驗的山東人陸某。結果連續三年，祠堂裏種的樹無壹成活。皇帝責怪它。前兩年，郎官因為總管茍的庇護，逃過了罵名，但第三年，總管茍實在忍無可忍，慌忙讓出自己的車護帥，於是幾十個無辜的人被斬首，郎官罪有應得，動了頭。
此事引起朝野沸騰，經理茍也不好過。他趕緊召集心腹商量對策。大家想出了幾個主意:第壹，請趕快把盧某帶回來；二是皇帝說請了真正的“神算子”，占蔔得知神會要求皇帝燒香洗澡，自己種下第壹棵樹，觸摸神靈，讓祠堂裏的樹得以存活。其實這是他們“綁架”皇帝，推卸萬壹栽贓不活的責任。永樂皇帝不知道其中的玄機，就批準了這個計劃。
陸某也很難回到祠堂遺址。因為祠堂院子以前是河灘，種樹的地方除了石頭就是沙子。如果這棵柏樹不能再種下去，不僅個人生命會受到威脅，其他人也會受到牽連。那天晚上，他翻來覆去睡不著，就起身出去散心。當他溜達到故宮東邊時，突然覺得腳下很軟。他眼睛壹亮，突然喊道:“上帝救救我！”
原來他找到了松軟肥沃的黃土。於是他用換土、包根、帶土移栽的方法種下了柏樹。壹切準備就緒後，他向皇帝報告說，他自己選擇了壹個吉日來種樹。沒想到祠堂換土後植樹大獲成功。壹年後，不僅沒有壹棵樹死亡，而且柏樹幼苗存活並茁壯成長。柏樹林的綠色，紅墻黃瓦環繞，非常好看！尤其是永樂皇帝種的祠堂第壹棵柏樹長勢更好。從此，這棵柏樹被尊為“聖樹”。所有後代的皇帝、王公大臣都來這裏祭祖。他們來到這棵樹上，皇帝下船，文官下船，武官下馬以示敬意。這棵柏樹現在高15.5米，樹幹周長515厘米。枝葉繁茂，居太廟群柏之首。
還有壹個傳說，大臣們擔心該樹種因不成活而受到嚴懲，於是要求皇帝親自栽種，君主及其臣民也栽種了，為後人樹立了榜樣。朱迪欣然應允，親自在桐梓河邊種了壹棵側柏。還說楚帝種的柏樹不止壹棵，祠堂第壹道柵欄前還有好幾棵。雖然《明史》中沒有這些記載，但朱迪種樹的故事有鼻子有眼，有樹為證。人們寧願相信它，也不願相信它。
後來，在宮媛的各種寺廟和祭壇中種植的柏樹逐漸變成了森林。除了祖廟裏種的700多棵柏樹(包括白潞和朱迪種的)，中山公園(社稷壇)還有600多棵古樹，包括遼金興國寺前的古柏。故宮500多株植物，包括禦花園的古柏；地壇公園160株以上；先農壇240多處，景山公園800多處，天壇3560多處，包括九龍柏、文天柏等。作為世界文化和自然遺產的壹部分，這些古樹在國內外都很有名。北京現存的明代古柏已成為珍貴的古樹名木，構成了北京古樹名木群落的主體和主色調。此外，由於祠堂裏的沙被改在了紫禁城的東面，後人就把這壹帶稱為“上海灘”，壹直沿用至今。