灵石县上古时代属冀州。
尧、舜、夏、商、西周属并州。
春秋时期北属并州，南属冀州。
战国初年设县，名平周，先属赵国，后属魏国。
秦庄襄王三年（前247）改平周县为界休县，属太原郡。
汉元朔四年（前125）改属西河郡。
三国时期改属魏国并州西河郡。
晋改西河郡为西河国，改界休县为介休县，属并州西河国。
北魏属汾州西河郡。
北周大成元年（579）改介休县为平昌县，属介休郡。
隋开皇十年（590），文帝北巡至此，获一陨石，以为祥瑞，遂割平昌西南地置灵石县，属西河郡。
义宁元年（617年）改属霍山郡。
唐武德二年（619年）改霍山郡为吕州，属河东道吕州。
唐贞观十七年（643年）改属河东道汾州。
五代时期仍属汾州。
北宋政和六年（1116）改属霍州。
元代先属霍州，其间设小灵石县属汾州，后仍属霍州。
明万历二十三年（1595）属汾州府。
明万历四十三年（1615）属平阳府。
清乾隆三十七年（1772）升霍州为直隶州，改属霍州。
民国初年，废府，改州为县，省下设道，由道辖县，属山西省河东道。
1927年，撤道直属山西省。
1938年，因抗战需要，以汾河为界分设灵（石）东、灵（石）西县，灵（石）东县属晋冀鲁豫边区太岳分区，灵（石）西县属晋绥边区。
1948年，灵（石）东、灵（石）西县合并为灵石县，属太岳一专区。
中华人民共和国成立后，属榆次专区。
1958年11月改为协作区，属晋中专区介休县。
1961年5月恢复原建制，仍属晋中专区。
1968年9月属晋中地区。
1999年9月，晋中地区改为晋中市，属晋中市。