秦統(tǒng)一六國(guó)后，廢封國(guó)，實(shí)行郡縣制，置縣平陶，屬太原郡。
北魏始光元年(424)，改平陶縣為平遙縣，屬太原郡。
太平真君九年(448)，中都縣治遷榆次縣境。
平遙縣后屬東魏、北齊、北周控制。
隋開皇三年(583)，廢郡設(shè)州，平遙縣屬介州。
大業(yè)三年(607)廢州設(shè)郡，屬西河郡(介州改)。
義寧元年(617)，于介休設(shè)介休郡，平遙縣改屬介休郡。
唐武德元年(618)，改介休郡為介州，平遙縣屬介州。
貞觀元年(627)，屬汾州(介州廢)。
天寶元年(742)，屬西河郡(汾州郡改)。
乾元元年(758)，屬汾州(西河郡改)。
太平興國(guó)四年(979)歸北宋，屬汾州。
明萬歷二十三年(1595)汾州升為府，平遙屬汾州府，屬山西省承宣布政使司，又設(shè)冀南道駐此。
清順治三年(1646)，裁冀南道，隸冀寧道，仍屬汾州府。
1912年廢府后直屬于省。
1913年3月，省縣之間設(shè)道時(shí)屬中路道。
1914年6月，屬冀寧道(中路道改)。
1937年4月，山西廢除道制后，直轄于省。
1938年4月，在縣內(nèi)彭坡頭村建立平遙縣抗日民主政府，屬山西省第三行政公署領(lǐng)導(dǎo)。
后屬太岳區(qū)一專區(qū)管轄。
1941年，建立平介縣抗日民主政府(轄同蒲鐵路北平遙境及介休、汾陽、孝義三縣部分地區(qū))，屬太岳專署管轄。
1942年5月，劃歸晉西北行政公署八專區(qū)，實(shí)際由中共晉西南工委統(tǒng)一領(lǐng)導(dǎo)。
1945年9月，鐵路南境的平遙縣抗日民主政府改為平遙縣民主政府，仍屬太岳區(qū)一專區(qū)。
平介縣屬呂梁行署七專區(qū)管轄。
1948年7月13日，平遙解放。
8月，平遙縣屬晉中區(qū)。
同月，平遙縣城關(guān)區(qū)升級(jí)為平遙市(縣級(jí))，與平遙縣同屬晉中行政公署第三專區(qū)。
10月，平介縣撤銷，鐵北地區(qū)復(fù)歸平遙縣。
1949年2月，平遙縣、平遙市同屬太原三專區(qū)。
1949年8月10日，平遙市撤銷，恢復(fù)平遙縣城關(guān)區(qū)，屬榆次區(qū)行政督察專員公署。
1950年8月，屬榆次區(qū)專區(qū)。
1958年11月，屬晉中專區(qū)。
1968年9月，屬晉中地區(qū)。
2000年，晉中撤地設(shè)市，平遙縣隸屬于晉中市。