1814年，白宮曾遭英國軍隊焚毀，破壞慘重。此後進行了多次修建、擴建，最後經過1950年進行的壹次大修繕，才形成目前的規模。
白宮占地面積7.3萬平方米，主樓高26米，寬52米，***計3層，有東西翼樓，***有130多個房間。
底層有外交接待大廳、圖書室、瓷器廳、金銀器廳和白宮管理人員辦公室等。外交接待大廳是總統接待外國元首和使節的地方，陳設名貴而華麗，多古董、古玩，廳內掛有壹幅作於1834年描繪美國景色的環行油畫。圖書室藏有兩千余冊圖書，有各種版本的現代地圖集和壹幅名貴的18世紀繪制的地圖。金銀器廳陳列各種精致的英、法式鍍金銀制餐具和鑲金銀器。瓷器廳收藏歷屆總統用過的瓷制餐具，其中有壹套從中國進口的瓷器。
主樓壹層的北面是白宮的正門，進門後是大理石結構的門廳，依次是東大廳、綠廳、藍廳、紅廳和國宴廳。
主樓二層為總統家庭居住的地方，主要有林肯臥室、皇後臥室、條約廳、地圖室和總統夫人起居室黃色橢圓廳等。
白宮西廂房由西奧多-羅斯福總統主持，於1902年建成；東廂房由富蘭克林-羅斯福總統主持，於1941年建成。
白宮底層外交接待大廳的正前方，是有名的南草坪，白宮坐南朝北，因此這裏也是白宮的後院，通稱總統花園。國賓來訪時，在南草坪舉行正式歡迎儀式。每年春天復活節時，總統和夫人照例在這裏舉行遊園會，這壹白宮傳統，至今已有100余年的歷史了。
白宮規定每星期二到星期六對外開放，雖然只有10余個房間供遊人參觀，但畢竟是世界上唯壹定期向公眾開放的國家元首的官邸，每年參觀的人數達200萬人。