5000-10000年前，三江盆地沿岸就有先民活動。公元前2000年左右，樂山出現了青銅器皿。公元前600年左右，以龜仙人為首的明凱部落在青衣江流域定居，繁衍生息，開墾荒地。
戰國時期
公元前309年戰國時期，秦武王出兵南下，破壞了明凱原轄地的統治，秦國在樂山市區設立南安縣，並從陜西水鏡地區大量遷入青衣江流域定居。
秦朝
公元前256年，李冰組織樂山人民削去淩雲山絕壁，開辟引水渠道。此後，樂山岷江、大渡河的水上航運逐漸發展起來。
漢魏晉南北朝
漢朝將南安劃歸犍為郡。西漢文帝時，南安人鄧通鑄幣，有“鄧錢遍天下”之說。
三國時期，蜀國宰相諸葛亮在鐵山制造了冶鐵的武器和工具，樂山的冶煉規模和技術達到了先進水平。
魏晉南北朝，東晉末期，南安設郡治官，重點管理迅速發展的冶鐵業。這壹時期，原居住在廣西、貴州、雲南的十余萬人進入四川，樂山犍為鐵山、三江峽谷大量居住。居住生活持續了200多年。
南北朝時期，由於戰亂不斷，樂山的建制變動頻繁。
北周時，史載，意為“郡縣美不勝收”。樂山設平強郡，管人。
隋唐時期
隋朝設眉山縣。原南安縣更名為龍遊縣。相傳隋軍從成都乘船向樂山進發，追擊陳敗軍時，遊龍導航岷江，幫助隋軍統壹天下，故南安改為隴右。中央政府在樂山設立夾江、峨眉兩縣。此時樂山可以建造黃龍艦，成為四川沿江重要的造船基地。
梅州唐宓嘉州。茶產業非常發達。岑參的詩描寫了嘉州城外“半種茶”的情景。舉世聞名的樂山大佛是在唐朝中期挖掘的。
宋朝
宋朝改嘉州為嘉定府；元朝改嘉定路；明代改為嘉定府；清雍正十二年(1734)，嘉定府升為嘉定府，在府內設樂山縣，以“城西南五裏有壹‘至樂山’”為名，改龍遊縣為樂山縣。“樂山”的名稱沿用至今。
元明清
元代設馬湖路，明代設沐川署，清代設馬邊殿、峨邊殿。
摩登時代
民國廢除州府，設立樂山行政督察署。中華人民共和國和中華人民共和國設立樂山專員公署。樂山地區1950成立，1968改為樂山地區，1978樂山縣與五通橋區合並後改為樂山市(縣級)，仍屬樂山地區。1985年，國務院批準樂山地區改為樂山市，為省轄市。65438年至0997年調整樂山市行政區劃，劃出眉山等6個縣。