秦代始置汝陰縣；東漢時期屬于汝南郡；三國魏置汝陰郡；北魏孝昌四年（528），置潁州；隋大業(yè)三年（607），設汝陰郡；唐設潁州，屬亳州管轄；宋設順昌府；元屬汝寧府；明朝屬鳳陽府。
明朝萬歷十年（1582），在阜陽縣置潁川衛(wèi)；清雍正十三年（1735）升潁州為潁州府，并以潁州本轄新置附郭縣，乾隆皇帝依奏賜名阜陽縣；民國初年撤銷潁州府。
1949年3月，撤阜陽市，并入阜陽縣；1949年10月，設立阜陽專區(qū)專員公署，下轄八縣一個行政辦事處。
阜陽專區(qū)有界首市、亳縣、太和縣、阜陽縣、渦陽縣、蒙城縣、潁上縣、阜南縣、臨泉縣和鳳臺縣。
1953年9月，界首市撤銷，建界首縣。
1964年10月，建立利辛縣。
1971年，改阜陽專區(qū)為阜陽地區(qū)。
1975年12月19日，設立阜陽市（縣級），由阜陽地區(qū)管轄。
1977年1月，鳳臺縣由阜陽地區(qū)劃歸淮南市管轄。
1986年3月11日，設立亳州市（縣級）。
亳州市由阜陽地區(qū)領導（1986年6月4日正式成立）。
1992年，同意撤銷阜陽市、阜陽縣，重新組建阜陽市（縣級）。
1996年1月，撤銷阜陽地區(qū)和縣級阜陽市，設立地級阜陽市。
1998年2月，亳州市從阜陽市劃出，由安徽省直轄。
2000年5月11日，將阜陽市管轄的渦陽縣、蒙城縣、利辛縣劃歸新設立的地級亳州市管轄。