公元前221年，秦始皇統(tǒng)一中國后始行郡縣制。
境內除任城縣、亢父縣屬薛郡外，其他則屬魯郡。
西漢時，境內曾置有東平國，領任、無鹽、亢父、樊、東平陸、富城、章7縣。
東漢則從東平國析出任城國，領任、亢父、樊3縣。
三國、兩晉、南北朝時期，境內政區(qū)變化不大，或為任城國，或為任城郡，領3縣如故。
隋統(tǒng)一后，改兗州為魯郡，領瑕丘、任城、鄒、曲阜、平陽、泗水、龔丘、梁文、博、贏10縣。
唐時無大變化，但五代周廣順二年(952年)置濟州，并割鄆州的巨野、鄆城，兗州的任城，單州的金鄉(xiāng)歸其統(tǒng)轄。
這期間，境內其他各縣則多屬兗州。
宋政和八年(1118年)兗州一度升為襲慶府，境內的仙源、泗水、瑕丘、鄒縣都歸其統(tǒng)轄。
金天德二年(1150年)，濟州由巨野遷往任城，并領任城、嘉祥、鄆城、金鄉(xiāng)4縣。
元至元八年(1271年)，濟州升為濟寧府，至元十六年(1279年)，又升為濟寧路。
自此以后，境內或為府、州，或為區(qū)、市，一直是歷代地方二級政權機關駐地，其行政區(qū)劃如下。
元時，至元十六年(1279年)，境內置濟寧路，治任城，領轄3州7縣，即：濟州、單州、兗州，任城、巨野、鄆城、肥城、金鄉(xiāng)、碭山、豐縣。
明時，洪武元年(1368年)改濟寧路為府，仍治任城，領轄3州12縣。
即：兗州、東平州、沂州，任城、金鄉(xiāng)、巨野、鄆城、嘉祥、曹、單、定陶、成武、魚臺、滕、嶧縣。
洪武十八年(1385年)改濟寧府為州，只領3縣。
即：嘉祥、巨野、鄆城。
清時，雍正二年(1724年)濟寧州升為直隸州，仍領3縣，即嘉祥、巨野、鄆城。
乾隆四十一年(1776年)，濟寧直隸州領3縣。
即：嘉祥、魚臺、汶上。
乾隆五十四年(1789年)，濟寧直隸州領3縣。
即：嘉祥、魚臺、金鄉(xiāng)。
中華民國時，1914年6月境內置濟寧道，領轄25縣。
即：濟寧、滋陽、曲阜、寧陽、鄒、滕、泗水、汶上、嶧、金鄉(xiāng)、嘉祥、魚臺、蘭山(后改名為臨沂)、郯城、費、蒙陽、營、沂水、菏澤、曹、單、成武、定陶、巨野、鄆城縣。
1933年，境內置山東省第一行政督察專員公署，領轄11縣。
即：濟寧、滋陽、汶上、寧陽、曲阜、鄒、滕、東平、嘉祥、金鄉(xiāng)、魚臺縣。
1935年7月，又改為濟寧實驗區(qū)長官公署，領轄14縣。
即：濟寧、嘉祥、巨野、鄆城、壽張、鄄城、定陶、成武、曹、單、金鄉(xiāng)、魚臺、東平、汶上縣。
1935年冬，再改為山東省第一區(qū)行政督察專員公署，領轄10縣。
即：濟寧、滋陽、東平、汶上、鄒、滕、寧陽、曲阜、嘉祥、魚臺縣。
1946年9月，境內設山東省第二行政督察專員公署，領轄7縣。
即：濟寧、嘉祥、鄆城、巨野、壽張、東平、汶上縣。
中華人民共和國建立后，1953年7月，滕縣專署和湖西專署合并為濟寧專署，專署駐地為濟寧市。
領轄濟寧市、濟寧縣、滋陽縣、曲阜縣、鄒縣、鳧山縣、滕縣、嶧縣、薛城縣、微山縣、魚臺縣、金鄉(xiāng)縣、嘉祥縣、汶上縣。
1956年2月，泰安專區(qū)的泗水縣劃歸濟寧專區(qū)。
同時，境內的區(qū)劃也作了調整，撤銷了魚臺縣并入金鄉(xiāng)縣；撤銷了鳧山縣、薛城縣。
這時的濟寧專署領轄濟寧市、濟寧縣、滋陽縣、曲阜縣、泗水縣、鄒縣、滕縣、嶧縣、微山縣、金鄉(xiāng)縣、嘉祥縣、汶上縣。
1958年12月，經國務院批準撤銷菏澤專署，原屬各縣劃歸濟寧專署；撤銷濟寧縣，分別劃歸濟寧市和鄆城、巨野、金鄉(xiāng)縣；撤銷滋陽縣，劃歸曲阜縣。
這時的濟寧專署領轄濟寧市、曲阜縣、泗水縣、鄒縣、滕縣、嶧縣、微山縣、金鄉(xiāng)縣、汶上縣、菏澤縣、曹縣、單縣、成武縣、鄄城縣、巨野縣、鄆城縣、梁山縣。
1959年7月，菏澤專署恢復，濟寧專署領轄濟寧市、曲阜縣、泗水縣、鄒縣、滕縣、嶧縣、微山縣、金鄉(xiāng)縣、汶上縣。
1960年1月，嶧縣撤銷，劃歸新建的棗莊市。
這時的濟寧專署領轄濟寧市、棗莊市、曲阜縣、泗水縣、鄒縣、滕縣、微山縣、金鄉(xiāng)縣、汶上縣。
1961年9月，棗莊市從濟寧專區(qū)析出。
10月，恢復嘉祥縣；撤銷滋陽縣，新設兗州縣。
至此，濟寧專署尚轄濟寧市，兗州縣、曲阜縣、泗水縣、鄒縣、滕縣、微山縣、金鄉(xiāng)縣、嘉祥縣、汶上縣。
1964年7月，恢復魚臺縣；1965年4月，恢復濟寧縣；皆歸屬濟寧專區(qū)。
1967年，濟寧專區(qū)改稱濟寧地區(qū)。
1978年11月，滕縣劃歸棗莊市。
這時的濟寧地區(qū)尚有1市10縣。
即：濟寧市，兗州縣、曲阜縣、泗水縣、鄒縣、金鄉(xiāng)縣、嘉祥縣、魚臺縣、汶上縣、微山縣、濟寧縣。
1983年8月30日，經國務院批準，撤銷濟寧地區(qū)，濟寧市升格為省轄地級市。
原濟寧地區(qū)的汶上縣、泗水縣劃歸泰安地區(qū)。
10月5日，經山東省人民政府批準，設立濟寧市中區(qū)，以原濟寧市區(qū)域為轄區(qū)；設立濟寧市郊區(qū)，以原濟寧縣區(qū)域為轄區(qū)。
調整后，濟寧市人民政府領轄2區(qū)7縣，即市中區(qū)、市郊區(qū)，兗州縣、曲阜縣、鄒縣、微山縣、魚臺縣、金鄉(xiāng)縣、嘉祥縣。
1985年3月，汶上縣、泗水縣重新劃歸濟寧市。
1986年6月，曲阜縣改建為曲阜市，由濟寧市代管。
1989年12月，原菏澤地區(qū)的梁山縣劃歸濟寧市。
1992年兗州縣、鄒縣分別撤縣設市。
1993年12月市郊區(qū)改名為任城區(qū)。
現濟寧市轄二區(qū)三市七縣，即市中區(qū)、任城區(qū)、曲阜市、兗州市、鄒城市、微山縣、魚臺縣、金鄉(xiāng)縣、嘉祥縣、汶上縣、泗水縣、梁山縣。
2013年11月根據國務院《關于同意山東省調整濟寧市部分行政區(qū)劃的批復》和省政府《關于調整濟寧市部分行政區(qū)劃的通知》精神，濟寧市部分行政區(qū)劃實施調整：撤銷市中區(qū)、任城區(qū)，設立新的任城區(qū)，以原市中區(qū)、任城區(qū)的行政區(qū)域為新設任城區(qū)的行政區(qū)域；撤銷兗州市，設立濟寧市兗州區(qū)，以原兗州市的行政區(qū)域為兗州區(qū)的行政區(qū)域。
通過這次區(qū)劃調整，濟寧市區(qū)行政區(qū)域面積由884平方公里拓展到1534平方公里，人口由113.8萬增加到177.5萬。
新任城區(qū)管轄面積624平方公里、人口86.7萬，兗州區(qū)管轄面積535平方公里、人口52萬，高新區(qū)管理面積255平方公里、人口28.2萬，太白湖新區(qū)管理面積119.7平方公里、人口11萬，濟寧經濟技術開發(fā)區(qū)和商貿物流園區(qū)管理面積128平方公里、人口11.2萬。
截至目前，轄任城區(qū)、兗州區(qū)、曲阜市、泗水縣、鄒城市、微山縣、魚臺縣、金鄉(xiāng)縣、嘉祥縣、汶上縣、梁山縣共2區(qū)2市7縣，49個街道、4個鄉(xiāng)、103個鎮(zhèn)。