乐山县地原为蜀国支封丹犁地，秦武王时，丹犁结蜀侯叛秦，秦军于武王二年（前309年）伐丹犁，夺取沿江地，置县，为蜀郡极南，故名南安县。
汉武帝建元六年（前135年），统治者划巴、蜀二郡部分土地置犍为郡，南安县划属犍为郡。
东晋元帝咸康四年（338年）至穆帝永和二年（346年），西南夷别族僚夷入犍为郡，南安县人逃往外地，县境地多荒废。
南北朝时期，因战乱不断，乐山地区的建制屡有变迁。
南安县先后隶属于犍为郡、青州、眉州。
北周时期，置嘉州，取“郡土嘉美”之意，在乐山设置平羌郡平羌县管理僚人，今市中区为南安县、平羌县地。
隋代，开皇三年（583年），改平羌县为峨眉县，以境内峨眉山为名，治嘉州城；开皇九年（589年），改峨眉县为青衣县，取青衣水为名；开皇十三年（593年），改青衣县为龙游县。
唐代，唐高祖废眉山郡复曰嘉州，元宗时又改曰犍为郡，肃宗时复改为嘉州。
市中区属州治龙游县、平羌县地。
五代前后蜀如唐旧。
宋代，宣和元年（1119年），改龙游县为嘉祥县；绍兴元年（1131年），又改嘉祥县为龙游县。
明代，洪武八年（1375年），撤销龙游县入嘉定州为州治。
清代，雍正十二年（1734年），置乐山县，因境内至乐山而得名。
民国元年（1912年），裁县入府。
民国二年（1913年）1月，恢复道制，裁嘉定府；同年2月置乐山县。
1949年12月16日，乐山城解放；同月20日，成立县人民政府。
1978年5月25日，撤销乐山县，设立乐山市（县级）。
1985年2月21日，撤地建市；同年6月17日，撤销乐山市（县级），建立乐山市市中区。