汾陽(yáng)，于《禹貢》九州，為冀州之域，于周《職方》，屬并州。
春秋置瓜衍縣。
戰(zhàn)國(guó)屬魏、趙，為茲氏縣。
秦仍名茲氏縣，隸太原郡。
漢屬并州刺史部──太原郡。
三國(guó)魏置并州西河郡，郡治設(shè)于茲氏。
晉易名隰城，南北朝先后遞歸前趙、后趙、前秦、前燕、后燕、北魏、東魏、北齊。
北魏間汾州移治隰城，轄郡城。
北周廢汾州，改隸于介州。
隋先廢郡州，后復(fù)西河郡，郡治置隰城。
唐復(fù)稱汾州，治隰城縣如故。
肅宗上元元年，縣名改稱西河，歷五代、宋、金、元。
明初省西河縣置汾州，兼領(lǐng)平遙、介休、孝義三縣。
萬歷間升州為府，依郭設(shè)汾陽(yáng)縣。
清因之。
1912年，廢府存縣。
1949年9月，山西省人民政府設(shè)汾陽(yáng)專區(qū)，行署駐縣城。
1950個(gè)后半年，六區(qū)、八區(qū)合并，七區(qū)、九區(qū)合并，成為7個(gè)區(qū)。
1951年3月專區(qū)撤銷，改屬榆次專區(qū)。
1971年4月汾陽(yáng)縣與文水、平遙、介休縣行政區(qū)劃進(jìn)行了較大的調(diào)整變更，將汾陽(yáng)縣的蒼爾會(huì)公社二、三道川地區(qū)的蒼爾會(huì)等24個(gè)自然村和冀村公社的百金堡、東槽頭、西槽頭、裴會(huì)、王家莊、狄家莊、尹家莊、閻家社8個(gè)自然村劃歸文水縣管轄，將平遙縣的寧固、香樂、凈化、西王智4個(gè)公社計(jì)47個(gè)自然村及介休縣的萬戶堡公社及其所屬12個(gè)自然村劃歸汾陽(yáng)管轄。
1971年5月劃歸新成立的呂梁地區(qū)，屬呂梁地區(qū)。
1996年8月20日，國(guó)務(wù)院批準(zhǔn)撤銷汾陽(yáng)縣，設(shè)立縣級(jí)汾陽(yáng)市。
2003年10月23日，國(guó)務(wù)院批準(zhǔn)撤銷呂梁地區(qū)，設(shè)立地級(jí)呂梁市，縣級(jí)汾陽(yáng)市改由山西省直轄、地級(jí)呂梁市代管。