元載在自己的宅院裏建造了壹座蕓輝堂。蕓輝，是壹種香草的名字，產在於闐國。它質地象玉壹樣潔白，摻入土裏不腐爛。將它舂成碎屑，用來塗飾墻壁。因此，叫蕓輝堂。這座殿堂還用沈香木做屋梁，用金銀做窗戶。殿堂內裝有美玉制的屏風，紫色的綃帳。
這付屏風本是當年宰相楊國忠心愛的至寶，上面雕刻著前朝美女妓樂圖，另外用水晶作壓簾的飾具， 還用碧色寶石串成串作裝飾。它制作的精致巧妙，完全是人工所不能達到的。紫綃帳是從南海溪洞的酋長那兒得到的，是用絞綃壹類織物制作的。既輕疏又非常的薄，掛在那邊就像什麽也沒掛壹樣。雖然在天寒地凍的時節，風也吹不進帳子裏面；就是在盛夏酷暑，帳子裏自然清涼。
它的顏色隱隱約約的，讓妳都看不出來掛有帳子，都說元載的臥室裏有紫氣呢。其余的，如服飾、古玩、用具，也都特別的奢華，都效仿帝王之家的排場。元載還在蕓輝堂前修造了壹座水池，用瑪瑙和帶紋理的石頭壘砌池塘的堤岸。池中植有蘋陽花，象白蘋壹類，它開的花紅而大，象牡丹。還植有碧芙蓉，香潔萏萏，都比壹般的芙蓉、荷花長得高大壯 偉。
壹天閑暇時，元載依著欄桿觀賞池中的花草。忽然聽到清亮的歌聲，象十四五歲的少女唱的，唱的歌曲是《玉樹後庭花》。元載非常驚異，不知道這歌聲來自哪裏。待仔細審聽辨識，乃是從池中芙蓉裏發出來的。他俯身察看，聽到有喘氣的聲音。元載非常疑忌這件事， 立即將芙蓉花剖開看，什麽也沒有見到。他不讓家裏人對外講這件事。等到元載獲罪被處死 後，將他的家中童仆遣送到平廬為兵卒，人們才知道這件事。 元載有壹把龍髯拂塵，顏色絳紫，象熟透了的桑椹。這把拂塵長約三尺，用水晶石制作塵柄，雕刻紅玉作環鈕。到刮風下雨天氣晦暗時，或者到水邊將它沾濕了，則光彩搖動著，拂塵上的龍髯奮然立起來像發怒的樣子。將它放在廳堂中，到了夜晚蚊子和蚋等不敢靠前。
將它拂出聲音來，那麽雞犬牛馬聽到後沒有不驚恐逃離的。如果將它垂放在池潭旁邊，那麽魚鱉蝦蟹，都俯首來到近前， 將水噴灑向空中，立即形成長三五尺的瀑布，而且壹點也不斷流。如果燒燕子肉來薰它，就 會生出煙來如雲似霧。後來，皇上得知這把拂塵的奇異後，元載不得不將它進獻到宮中。元 載自己說過這把拂塵是從洞庭湖壹位叫張知和的道士那裏得到的。 元載有個最寵愛的小妾叫薛瑤英，能歌善舞，玉質仙姿。而且肌膚香艷，體態輕盈。 就是春秋時期越國的美女旋波、移光，漢代的趙飛燕，晉代的綠珠，都不及她的美麗嬌娜。 薛瑤英的母親趙娟，原是岐王的愛妾，後來再嫁薛家，生了薛瑤英。她從小就給薛瑤英吃香料，因此薛瑤英肌體芳香。
待到薛瑤英被元載收納為妾後，寢臥的是金絲帳，鋪的是不招灰塵的褥子。卻塵褥產自勾麗國，據說是用卻塵獸毛制作的，殷紅色，異常光亮柔軟。穿的是龍綃織成的衣服。壹件衣服沒有二三兩重，將它掛起來握在掌中不滿壹把。元載認為薛瑤英身體特別輕盈嬌麗，不堪穿太重的衣服，因此才從勾麗國尋索到這種龍綃衣。
元載在世時，他只有賈至、楊炎二位好友。他們二人常常能夠親眼看到薛瑤英唱歌跳舞。賈至曾贈詩 贊美薛瑤英。詩是：“舞怯銖衣重，笑疑桃臉開。方知漢武帝，虛築避風臺。”楊炎也作壹首長詩贊美薛瑤英。這首詩是這樣的：“雪面淡娥天上女，鳳簫鸞翅欲飛去。玉釵翹碧步無塵，纖腰如柳不勝春。”
薛瑤英非常會巧笑獻媚，元載沈湎在她的妖嬈美色之中，宰相的政務也懶得去處理。而且，薛瑤英的父親薛宗本、哥哥薛從義、與她的母親趙娟，交替著出入於相府，來收索賄賂，說是給走門路。更嚴重的是，他們跟中書王吏卓倩等人互相勾結、 狼狽為奸。而這些人跟元載不論提出什麽要求，元載從未有過不應允的事情。當時，所有帶著錢物賄賂他們謀求官職的人，都依仗元載的威赫勢力，將薛家的人與卓倩之流當作媒介和階梯。待到元載被朝廷處死後，薛瑤英又嫁給閭裏的壹般人家作妻室了。評論這件事情的人 認為：元載喪失美德，是從寵溺壹個女人而導至來的！ 元載作宰相時，大白天有壹個書生來求見。接見後，那書生參拜後說：“聽說妳品格高尚，仁德而喜歡有才能的人。我就獻詩壹篇，用來寄托我的敬意。”
詩是這樣的：“城南的路長沒有住宿的地方，荻花飄飛好象柳絮。海燕銜泥想要作窩，空屋裏沒有人卻飛走了。”元載不明白他的用意。書生出了門就不見蹤形了。後來過了壹年多，元載被法辦其家也破敗了。