博物館整體布局以古墓為中心，結合陡坡和山崗地形東，依山建築，拾級而上，將綜合陳列樓、古墓保護區與主題陳列樓三個不同序列的空間，連結成上下溝通，步步升高的整體，突出了古墓博物館的群體氣氛。
1983年夏天，考古人員在象崗山工地發掘壹座大型石室墓，根據墓主人身上隨葬的壹枚龍鈕“文帝行璽”金印考證，確認這是南越國第二代王趙眜的王陵。南越國是秦朝的將軍趙佗在秦亡後據守嶺南建立的壹個地方政權，距今已有2200年了。這座大墓鑿山為藏，秘埋在象崗山頂之下20米的腹心深處。是嶺南迄今發現規模最大，隨葬遺物最豐富的漢代石室墓，難得它保存完好，未遭盜擾破壞，有重要的科學研究價值。發掘後，廣州市人民政府決定原地保存古墓遺址，並建立博物館。墓中出土的壹千多件（套）隨葬器物是該館最重要的典藏。
南越王墓中，玉器是最為重要的文化內涵之壹，在出土的200多件與其中，有禮玉、葬玉、裝飾用玉和實用玉，琳瑯滿目應有盡有。其數量之多，品種之繁和保存之好，在全國已經發掘的漢墓中是前所未有的。
南越王死後美玉裹身，追求身體的不朽，靈魂的不滅，既是“事死如事生”這種喪葬觀念的壹種反映， 也是精神世界的追求。南越王墓中出土的玉器，反映了秦漢時期南越國燦爛的玉文化。出土的部分玉器構思新穎，夠土奇特，加工細膩，巧奪天工，充滿求新求變的氣息，堪稱絕品。
中國古代的青銅器，商周至盛。漢代的銅器更適應於生活實用。南越王墓保存的青銅器遺物反映的文化內涵更是融合了中原漢文化、南方楚文化和當地越文化為壹身，這些器物對於探求當日嶺南地區的開發育民族、文化的大融合等，都有重要的研究價值。
南越王墓出土各種印璽二十三枚。其中有金印三枚，壹為龍鈕“文帝行璽”金印，壹為龜鈕“泰子”金印，另為“右夫人璽”龜鈕金印。這三枚金印在考古發掘中尚屬首見。綴在墓主人面幕上的八塊杏形金飾片和置於玉衣兩側的龍龜紋鎦金銅牌飾，同是西北草原地區匈奴族人特有的飾物。至於焊珠金花泡飾、蒜瓣紋銀盒和原支的非洲象牙等，應屬來自海上絲綢之路目前已知最早舶來品。還有石硯及四千多顆墨丸，則可視為年代較早的文房二寶。
博物館還設有壹個專題陳列室，展出由唐代至元明時期的各種陶枕瓷枕數十個。這批珍貴的藏枕是又香港實業家、文物鑒藏家楊永德伉儷無償捐贈的。該館所藏瓷枕數量之多，品類之全，窯口之眾，在現金世界眾多的收藏單位中實為僅見。
除了上述常設陳列外，博物館還積極舉辦各種類型的臨時展覽。先後舉辦過《石清陶瓷精品展》、《羊城文物精華展》、《中華百佛展》、《客家民俗風情展》、《廣州保護地下文物成果展》、《中國古代科技展》、《清代宮廷文物包裝藝術展》等展覽。近年來為支持開發西部，舉辦了“走向西部”系列文物展，如《廣西甌駱文物展》、《壹代天驕，成吉思汗展》和《西夏文物展》，近期我們聯合多家相關單位舉辦的《秦皇·漢武·南越王——秦漢文物精華展》和《美食配美器——中國歷代飲食展》更引起了不小反響。此外博物館還積極聯系國外文物展，2001年舉辦的《走進瑪雅——墨西哥古代文物展》，竟然在短短三個月時間內，參觀人次達14萬之多。
近年來該館註重運用科技手段加強文物的保護並提高服務水平。2002年3月至10月，市政府撥款1000多萬元對南博館的壹些設施進行了全面改造，使其各方面的設施均達到國內先進水平。南博館還重新制作了英、法、日等8種語言的發掘錄像，8種語言的語音導覽和6種文字簡介以及多媒體導覽。同時積極致力於紀念品的開發，使博物館的紀念品成為歷史文化傳播的新的載體，開辟了博物館傳播的新途徑