春秋置瓜衍县，治今市区北5公里虢城村，后废。
三国魏中阳县治徙今城关西13公里巩村，属西河郡。
晋永嘉元年（307）废入隰城县。
北魏太和十七年（493）置永安县，属西河郡，治今城关东2.5公里。
孝昌中叶吐京郡自今石楼县寄治今城关西10公里吐京村。
永安二年（529）侨置显州，治今城关西10公里六壁头村；又置定戎郡，治今城关北5公里虢城村，属显州；又置建平郡，治今城关西10公里六壁头村，属显州。
北齐废显州及所属郡。
唐贞观元年（627）改永安县为孝义县，属汾州。
“因县人郑兴有孝义，故以名焉”。
明、清俱属汾州府。
1912年属冀宁道，后直属省。
1949年属汾阳专区。
1951年属榆次专区。
1958年废入介休县。
1961年复置，属晋中专区。
1967年属晋中地区。
1971年属吕梁地区。
1992年2月，经国务院批准，撤销孝义县，设立孝义市。
现隶属于吕梁市。