西周境内有禹国及鲁国启阳、中邱等邑。
启阳，乃今临沂城最早名称。
春秋末期为鲁国地。
战国后期归楚国。
秦为启阳县，属郯郡。
西汉时，为避景帝刘启讳，启阳易名为开阳。
元封五年（前106），在今城北白沙埠镇境内的诸葛城置临沂县、即丘县，与开阳县均属徐州东海郡。
东汉建初五年（80），置琅琊国于开阳。
北魏中期，琅琊国改作琅琊郡。
永安二年（529），为北徐州治所。
南朝宋移郡治于即丘，有临沂、开阳二县。
隋大业初年（605），将开阳、临沂、即邱3个县合并为临沂县，治今临沂城。
唐武德四年（621年），在今郯城县褚墩镇西南部之兰山脚下置兰山县，武德六年兰山县撤销，辖境并入临沂县版图（据《方舆纪要》）。
北宋时，属沂州琅琊郡。
尔后金、元、明、清几朝，皆沿用沂州之称。
明初，临沂县撤销入沂州（即以州代县）。
清雍正十二年（1734），沂州改称府，府治周围地区设县，名为兰山县。
民国二年（1913）沂州府撤销，兰山县恢复临沂县之称。
新中国成立后，临沂县于1958年12月至1963年3月期间改称临沂市，后又称为县。
1983年9月，国务院批准恢复临沂市，为山东省辖县级市。
1994年12月17日，国务院同意原县级临沂市撤销，其原辖行政区域内设置兰山区、罗庄区、河东区3个县级行政区。
兰山区辖兰山、金雀山、银雀山3个办事处，义堂、大岭、南坊、枣沟头、白沙埠、半程6个镇，李官、朱保、马厂湖3个乡。
1997年3月，马厂湖撤乡设镇。
2001年6月，大岭镇撤销，所辖38个行政村并入兰山办事处。
2002年1月，兰山办事处、银雀山办事处、金雀山办事处分别改称兰山街道办事处、银雀山街道办事处、金雀山街道办事处。
3月，朱保、李官撤乡设镇。
截至2002年12月，全区下设3个街道办事处，8个镇。
2003年1月，撤销南坊镇，设立南坊街道办事处。
截至2003年12月，全区下设4个街道办事处，7个镇。
2024年1月经山东省人民政府批准，将费县新桥镇、方城镇、汪沟镇划归兰山区管辖。
2024年8月经山东省人民政府批准，撤销朱保镇，将其原行政区域并入义堂镇；撤销新桥镇，将其原行政区域并入方城镇。
截至2024年3月，全区下设4个街道，8个镇。