春秋属晋，为霍人邑，战国属赵称藿人。
秦属代郡，西汉建莜人县（汉晋之繁峙在今浑源、繁峙县境），东汉废。
晋复称莜人县，属雁门郡，后废，繁峙来治，北周废。
隋开皇十八年（598）设繁峙县。
金贞祐三年（1215）改称坚州，元因之。
明洪武二年（1360）废州，改称繁峙县。
抗战时期属晋察冀边区一专署。
解放战争时期属察哈尔省浑源专署。
1949年划归山西省，属忻县专署。
1958年11月代县与繁峙合并，属晋北专署。
1961年繁代二县重分，繁峙属忻县地区。
2000年属忻州市至今。