建在桂離宮河岸邊的宮殿建築群占地面積為56000平方米。宮殿中心建有壹個形狀十分獨特的大池塘，池塘中有五座彼此間用木橋或石橋相連的小島。
宮殿建築群中的最主要的部分是三座連為壹個整體的樓房——古書院、中古院和新禦殿。古書院和中古院分布的位置使之能夠在夏日避免陽光的直曬，冬日獲取陽光的溫暖，而在秋天則能夠欣賞滿月。因為樓房的高度不同，使得房頂能以其懸垂的房檐創造出千姿百態的優美韻律。
每座建築的壹樓都露臺環繞，而露臺與外部空間隔以可推拉的隔斷。露臺懸在地面上，以高而纖細的木樁支撐。和露臺壹樣，房間裏也有可推拉的隔斷，是用木框粘上厚厚的紙做成的。這樣的墻能規劃室內布置，使之與周圍環境相隔離。八條宮智仁王子非常喜歡賞月並為此而在古書院建了壹座專門的臺子。
中古院通過壹個保存樂器的房間與新宮殿相連，而圍繞中古院的則是用來彈奏樂器的寬闊露臺。樂器房和新宮殿之間的門裝飾得非常獨特。這是象征壹年四個季節的花：春天的日本櫻花和紫藤，夏天的荷花，秋天的菊花，冬天的李子、山茶花和水仙花。
在建築的藝術造型上起著重要作用的天然建築材料賦予了桂離宮雅致的簡樸。天然色的柳杉樹，竹編的格狀籬笆，白色的可伸縮墻，長滿了青苔的石頭小路，灑滿了小石子的水渠——所有這些都給人高貴的簡樸之感。
桂離宮殿建築群的其中壹個組成部分是坐落在池塘邊的茶室，沒有它根本就無法稱為傳統的日本花園。水平面本身則似乎成了壹年、壹天中不同時間、不同天氣下風景不斷更換交替的元素。比如，桂離宮中池塘的某壹部分就是以很多詩歌都吟頌過的富於浪漫色彩的秋月倒影而馳名。
茶亭中最精致的是松琴亭，它的華麗裝飾勝過了那個時代所有的其他茶室。它的東面、西面和北面都朝向池塘；松琴亭低垂的房頂使室內即便在炎熱的日子裏也依然保持著涼爽。
這座茶亭裏有幾個房間。第壹間屋裏有壁龕(地板微微翹起的墻龕)和冬天用的石爐。墻龕裏是大的白色和藍色方形紙。鋪在地板上的席子和可伸縮墻用的也是這種形狀的紙。
松琴亭的最後壹個房間朝向花園。這樣逐漸由室內布置轉移到花園空間，花園也以同樣的方式轉移向自然景色——這是日本建築中的壹個典型特點。
甚至連風聲和鳥鳴在營造情緒感受中也起著重要作用。要知道松琴亭——這是“松樹和詩琴”之亭，當風兒在環繞它的松樹間沙沙作響時，在房間裏聽起來就像是詩琴的聲音。
另壹個茶亭月波樓在秋天的時候則獨具特色。茶亭的旁邊長著楓樹，楓樹葉到秋天的時候就會變成深紅色。從這個亭子可以欣賞到月亮在池塘中的倒影，而從古書院的露臺上則能欣賞到月亮的升起。
宮殿建築群中還有壹座中國風格的佛寺。這是智忠親王建來獻給他的父親的。
城郊的桂離宮皇宮不僅僅以其建築風格而聞名。宮殿花園結合了各種園林建築群各不相同的特點，但它總的特征更趨近於茶園的風格，尤其是在移動中觀賞風景時，小路賦予了這種風格方向感和節奏感。
參觀桂離宮殿建築群時通常會沿著奇異而蜿蜒的公園小路作短時間遊覽。公園其實也正是為了遊覽和觀賞由技藝精湛的園藝師們所創造的景色而設的。當您沿著公園遊覽時，景色也隨著您的移動而改變：比如，池塘有時消失不見，有時又出人意料地出現在您的眼前。空前的不斷移動——這是日本傳統建築的特點，要知道日本人是將自然景色融進狹窄空間的大師。
桂離宮的壹位著名的參觀者說，這座宮殿建築群是為了讓“眼睛思考”而建的。當沿著這座壹年只對遊人開放壹次的宮殿作短暫的遊覽之後就會明白這個觀點了。在宮殿眾多的名勝古跡中參觀者能看到“靜爽廳”，每當裏面舉行隆重儀式時，天皇就會高坐在貴重的絲綢華蓋下的席鋪上。通向席鋪的臺階兩旁有兩座保護天皇不受鬼怪侵襲的木獅子。如果參觀者進入“靜爽廳”時踩到了其中壹塊木板，廳中特制的裝置馬上就會響起警報並有令人生畏的衛兵出現。