春秋置瓜衍縣，治今市區(qū)北5公里虢城村，后廢。
三國魏中陽縣治徙今城關(guān)西13公里鞏村，屬西河郡。
晉永嘉元年（307）廢入隰城縣。
北魏太和十七年（493）置永安縣，屬西河郡，治今城關(guān)東2.5公里。
孝昌中葉吐京郡自今石樓縣寄治今城關(guān)西10公里吐京村。
永安二年（529）僑置顯州，治今城關(guān)西10公里六壁頭村；又置定戎郡，治今城關(guān)北5公里虢城村，屬顯州；又置建平郡，治今城關(guān)西10公里六壁頭村，屬顯州。
北齊廢顯州及所屬郡。
唐貞觀元年（627）改永安縣為孝義縣，屬汾州。
“因縣人鄭興有孝義，故以名焉”。
明、清俱屬汾州府。
1912年屬冀寧道，后直屬省。
1949年屬汾陽專區(qū)。
1951年屬榆次專區(qū)。
1958年廢入介休縣。
1961年復(fù)置，屬晉中專區(qū)。
1967年屬晉中地區(qū)。
1971年屬呂梁地區(qū)。
1992年2月，經(jīng)國務(wù)院批準(zhǔn)，撤銷孝義縣，設(shè)立孝義市。
現(xiàn)隸屬于呂梁市。