慈禧有兩個弟弟，趙翔和桂香，他們在繼承父母的頭銜後兩年去世。作為統治晚清近半個世紀的女強人，慈禧非常看重家族的實力。對於她的二哥桂香，慈禧掌權後，壹直對桂香照顧有加，多次支持。先是給桂香家族恩人的封號，先後任工部右侍郎、黃旗副總司令。
為了重用桂香，提高他在朝鮮的微信，光緒二十年“甲午戰爭”爆發時，前線被打得焦頭爛額，北洋水師大敗。慈禧太後指派桂香領兵出征，原本是希望給桂香壹個揚名立萬的好機會。誰知桂香這次遠征，上演了壹系列晚清對外戰爭史上的壹幕。
從北京到山海關，桂香壹路走走停停。到了前線後，他就強占人家的房子。在戰場上許多士兵面前，他嚇得面如土色，哭了起來。他選擇了逃避寒冷，最後因為怕死逃回了北京。這場醜陋的探險結束了。
桂香在文武百官面前多次失態，徹底讓慈禧失望。慈禧深感屈辱，從此不再考慮給他重要的職位。後來，袁世凱給桂香找了個肥缺，做崇文門監。這份工作主要是負責崇文門地區的地稅和商業稅。桂香放開捕魚，壹度賺得盆滿缽滿，但好景不長。壹場大火燒毀了桂香的豪宅，毀掉了桂香搶救回來的財富。
慈禧太後更恨桂香沒有化鐵為鋼。她後來不僅沒有給桂香出過官，還經常命人申斥她。本來慈禧太後給了桂香很多錢來維持生活，但他每天在家抽很多煙，閑暇時經常請壹幫朋友到酒館喝酒。桂香是個愛面子、愛炫耀的人。和朋友喝酒玩樂的時候，被周圍的人拍馬屁拍得很爽，所以喝酒是壹種享受。
所以時間長了，慈禧給的補助就花光了。沒錢的時候，她就把慈禧送給典當行的壹些古董字畫、珠寶等值錢的東西換成錢。慈禧得知桂香此舉，壹般都是送些新鮮的瓜果，貴重的不送。他的女兒玉龍雖然看到父親的窮困潦倒，但在慈禧太後的控制下小心翼翼地生活著，不敢違背自己的意願。
桂香壹生碌碌無為。慈禧太後死後，桂香的生活更加貧困。1913年六月，桂香去世，家中無銀。溥儀得知後，將五千兩銀子送給桂香的家人以示哀悼。桂香作為慈禧的弟弟，壹生清貧。說到底是因為他能力差。