山丹原名删丹，历史悠久。
据《山丹县志》载，删丹古城在焉支山谷地近钟山寺处，“以晓日出映，丹碧相间如‘删’字，又名删丹山，而县以此得名”。
夏帝禹元年，山丹属《禹贡》雍州之域，西戎氏之故墟。
禹封少子于西戎，世代为首领。
周穆王十三年，祭公率师随穆王西征，西戎归顺。
西周时期，戎、狄两族在这里居住。
春秋战国时，乌孙与月氏共居河西。
其后，月氏逐乌孙而独居。
秦汉之际，北方的匈奴族强大起来，击败并赶走了月氏人，河西遂为匈奴右贤王的领地。
黑河东、西分别由休屠王、浑邪王分领。
西汉时期，武帝元狩二年（前121），骠骑将军霍去病进军河西，战败匈奴，浑邪、休屠二王率众归汉。
汉元鼎六年（前111年），取“张国臂掖，以通西域”之意，置张掖郡，山丹为张掖郡治。
东汉始建国元年（9年），王莽废汉立新，令天下改郡、县名。
张掖郡改名设屏郡、觻得改名官式。
山丹为设屏郡治。
建武三年（27年），光武帝刘秀令各郡、县恢复旧名。
张掖郡及各县恢复原名称。
献帝兴平元年（194年）六月，分张掖郡之日勒、山丹置西郡。
两晋南北朝时期，沮渠蒙逊在山丹建立北凉国，都建康（今高台县骆驼城）。
隋初改为山丹卫，大力发展农业生产，山丹成为中国对外贸易的重要场所。
五代时，后梁乾化元年（911年），甘州回鹘攻沙州，张承奉力屈，订城下之盟。
后唐庄宗同光二年（924年）六月，甘州回鹘遣使向后唐纳贡，乃册封王仁美为英义可汗。
后唐明宗天成三年（928年），甘州回鹘王仁裕（仁美之弟）遣使纳贡，被封为奉化可汗。
北宋时期，天圣六年（1028年），党项族首领李元昊击败甘州回鹘，建立西夏。
元时期，置甘肃行省，山丹为省会。
意大利旅行家马可波罗前往上都途中，曾在甘州停留一年，在《马可·波罗游记》中记述了张掖的富庶、城市的规模以及宗教寺庙的宏伟。
明时期，山丹为陕西行都司及甘肃镇的治所。
清时期，改置山丹县，山丹为甘州府治所，甘肃提督统军驻地，节制凉州、肃州、西宁、宁夏四镇总兵。
2002年属地级张掖市。
2024年，撤销东乐乡、陈户乡、大马营乡，设立东乐镇、陈户镇、大马营镇。
调整后，全县辖6个镇、2个乡：清泉镇、位奇镇、霍城镇、东乐镇、陈户镇、大马营镇、老军乡、李桥乡。
同年，清泉镇、位奇镇被列为全国重点镇。