夏属雍州，商为龙方地，西周被猃狁占据，春秋战国时为白狄地。
秦属上郡北境。
汉代属西河郡，置白土县，后属上郡，三国两晋为羌胡地。
东晋十六国时期，先后为后赵、后秦、大夏属地。
北朝时先为北魏地，置石城县，后改为银城，属上郡；后为西魏、北周地，置归真郡。
隋置银城县，属雕阴郡。
唐开元十二年（724）置麟州，天宝元年（742）改为新秦郡，乾元元年（758）复为麟州，领新秦、连谷、银城三县。
五代州制不变，先后属晋、唐、北汉、周。
宋代仍为麟州，属河东路。
乾德五年（967）升麟州为建宁军，后改为镇西军。
政和四年（1114）废银城、连谷两县并入新秦县。
南宋为“神木寨”，曾为金、西夏辖地，建制未变。
元初立云州于神木寨，至元六年（1269）废州为神木县。
明洪武六年（1373），改县为神木堡，属榆林卫。
洪武十四年（1381）复置神木县，属葭州。
隆庆间改神木道，辖制葭州及神木、府谷、吴堡三县。
清初，仍沿旧制。
雍正九年（1731）撤销神木道，县属佳州。
乾隆元年（1736）属榆林府。
1913年属榆林道，1928年属省。
1934年3月，陕北特委在境内创建革命根据地。
同年9月成立神木县革命委员会，辖马镇，沙峁、贺家川、太和寨、杨家沟、黄草焉6个区。
1936年1月，中共神府特区成立，辖府谷、佳芦、神木、佳北、榆林5个县级苏维埃政府。
1948年，神木全县解放，神木县人民政府成立；2024年，神木撤县设市，县级神木市由陕西省直辖，榆林市代管。