13世紀~14世紀時，這裏是意大利王族薩伏依家族的領地，第二代薩伏依伯爵聘請著名建築師梅尼耶進行設計，準備將這個城堡進行徹底改建，作為家族避暑的行宮。從1536年到1798年成了伯恩人統治的Vaud洲的所有。就是他們在城堡留下自己最美麗的裝飾。隨著1798年Vaud洲的獨立，西庸城堡也成了他們的所有。
19世紀浪漫主義時代西庸城堡因為在Jean-Jacques Rousseau，Victor Hugo，Alexandre Dumas，Byron等著名作家的故事中登場而廣為人知，其中‘西庸城堡的罪人(The Prisoner of Chillon)’是聞名世界的名著。
西庸城堡的入口有巨大的柱子。在這些柱子中留下了著名作家拜仁的筆記。事實上有人說那不是拜仁的真跡。筆記的年代和拜仁生活的年代也有所不同。但是因為這個筆記，西庸城堡的意義更加深遠，西庸城堡和拜仁有著分不開的關系。