國內(nèi)史籍最早記載介休歷史為周代魯隱公五年（前718），曲沃莊伯伐翼，晉翼侯奔隨（在今介休城東），當時為晉大夫士會食邑。
公元前636年，晉文公返國賞隨臣，介子推不言祿，與母隱居綿山。
晉文公焚林求賢，子推不出，竟與母抱樹而死。
后，介休即依介子推死于此而得名。
春秋時期，晉頃公12年（前514）始置鄔縣（在城東10千米今鄔城店一帶）。
戰(zhàn)國時期屬魏國。
秦滅六國時，于魏趙邊界休整，之后攻趙，秦代因此置界休縣，與鄔縣同屬太原郡。
西漢屬并州刺史部太原郡。
新莽改界休為界美，東漢復名界休。
西晉，杜預臆說界休當為介休，晉武帝司馬炎遂改界休為介休，屬西河國。
北齊天保年間（550），介休縣并入永安縣（即今孝義）。
北周富政元年（578）置介休郡，介休縣屬介休郡。
北周大成元年（579）改介休縣為平昌縣。
隋開皇18年（598）平昌縣復名介休縣，屬西河郡。
唐武德元年（618）介休郡改名介州縣，屬介州，兼領平遙縣。
五代時介休縣屬太原府汾州。
元代屬河東山西道宣慰司冀寧路汾州。
明代屬山西布政使司汾州。
清代屬山西省汾州府。
1937年介休縣成立抗日縣政府，屬山西省第四行政區(qū)。
1941年屬太岳專署。
1948年介休解放后，屬晉中區(qū)三專屬。
1949年2月屬太原市三專屬，同年9月，屬榆次區(qū)行政督察專員公署。
1950年8月屬榆次專區(qū)。
1958年屬晉中專區(qū)。
1992年2月10日，國務院批準介休縣撤縣設市，更名為介休市。