清同治八年（1869），青山被列為江夏六鎮(zhèn)之一，境域?yàn)楸编l(xiāng)，轄保安一、保安二、永豐一、永豐二、招賢、橫山6里。
1927年廢道，武昌縣直屬湖北省，設(shè)16區(qū)，青山為武昌縣第八區(qū)。
1934年，武昌縣隸湖北省第一行政督察區(qū)，設(shè)10區(qū)，為武昌縣第六區(qū)。
1937年，武昌縣設(shè)5區(qū)，為武昌縣第五區(qū)。
1938年10月，武昌淪陷。
次年，國民政府設(shè)敵后武昌縣政府，隸鄂南行政專署，為敵后武昌縣政府轄地。
1942年，中共在武昌縣北設(shè)立武鄂政務(wù)委員會抗日民主政府，為武鄂政務(wù)委員會抗日民主政府轄地。
1945年８月，日本投降，武昌縣隸湖北省第一行政專署，屬武昌縣。
1949年5月，武昌縣解放。
6月，武昌縣政府正式成立，轄7個(gè)區(qū)。
第二區(qū)駐青山鎮(zhèn)，轄45個(gè)保、491個(gè)甲。
1950年2月，武昌縣第二區(qū)改稱第九區(qū)，由于所轄沙窯保（亦稱沙口）地處長江北岸不便管理，被湖北省人民政府劃入黃陂縣。
4月，廢除舊政權(quán)實(shí)行的保甲制度，建立34個(gè)行政村級政權(quán)組織。
7月，重建鄉(xiāng)（鎮(zhèn)）級政權(quán)組織，將34個(gè)行政村改組為24個(gè)鄉(xiāng)人民政府、1個(gè)鎮(zhèn)人民政府。
1951年6月，在中南局民政部主持下，湖北省、武漢市會同武昌縣將武漢市擴(kuò)大市區(qū)范圍界定。
7月，為適應(yīng)經(jīng)濟(jì)建設(shè)發(fā)展的需要，中南軍政委員會報(bào)經(jīng)中央政務(wù)院批準(zhǔn)：同意武漢市擴(kuò)展市界。
12月4日，湖北省大冶專署武昌縣第九區(qū)全部劃入武漢市，并正式建立武漢市青山區(qū)人民政府，隸屬武漢市人民政府郊區(qū)辦事處。
青山區(qū)政府駐青山鎮(zhèn)，轄24個(gè)鄉(xiāng)、1個(gè)鎮(zhèn)。
區(qū)境范圍：由武豐鄉(xiāng)至胡墩鄉(xiāng)，東西長30千米。
由青山鎮(zhèn)至陳家井鄉(xiāng)，南北寬15千米，總面積246平方千米。
1952年6月16日，湖北省、武漢市政府聯(lián)合發(fā)出通知：奉中央及中南局指示，武漢市除酌留風(fēng)景區(qū)外，暫不擴(kuò)大。
青山區(qū)原有彭家?guī)X鄉(xiāng)、武豐鄉(xiāng)、龍王鄉(xiāng)、鐵鋪嶺鄉(xiāng)等4個(gè)鄉(xiāng)留作武漢市郊轄，其余21個(gè)鄉(xiāng)鎮(zhèn)仍劃歸武昌縣轄。
武漢市青山區(qū)撤銷。
1955年2月，湖北省人民委員會決定：“根據(jù)武漢鋼鐵公司建設(shè)及城區(qū)副食品生產(chǎn)基地需要，對武漢市區(qū)劃進(jìn)行調(diào)整”。
將原武昌縣第九區(qū)的21個(gè)鄉(xiāng)鎮(zhèn)再次劃入武漢市。
2月15日，武漢市青山區(qū)人民政府正式建立，駐青山鎮(zhèn)。
轄24個(gè)鄉(xiāng)、1個(gè)鎮(zhèn)。
1955年4月，武漢市調(diào)整郊區(qū)區(qū)劃，組建4個(gè)郊區(qū)。
即：洪山區(qū)、青山區(qū)、漢橋區(qū)、南湖區(qū)，并將洪山區(qū)的3個(gè)鄉(xiāng)（同意鄉(xiāng)、沿江鄉(xiāng)、白滸鄉(xiāng)）劃入青山區(qū)。
時(shí)青山區(qū)北接市界，西由紫荊山順沙湖邊到張家兵房、水果湖邊，沿東湖、小湯林湖邊到胡雙堂、熊家嘴、毛家嘴，沿吳家大橋到東港止，全區(qū)有27個(gè)鄉(xiāng)和1個(gè)鎮(zhèn)，水陸總面積264平方千米。
1955年，新中國成立后興建的第一個(gè)特大型鋼鐵聯(lián)合企業(yè)一一武漢鋼鐵（集團(tuán)）公司在位于青山區(qū)的中東部破土動工，占地25平方千米。
由中國一冶集團(tuán)有限公司承建。
1956年6月，武漢市調(diào)整郊區(qū)區(qū)、鄉(xiāng)行政區(qū)劃，將洪山區(qū)的花山、春和、聯(lián)合、中合、大吳、劉黃、山湖等7個(gè)鄉(xiāng)劃歸青山區(qū)。
1957年6月，武漢市將青山區(qū)所轄天興、建設(shè)、黎明、紅旗、聯(lián)合、和平、白滸、游家廟、駝子店等9個(gè)鄉(xiāng)全部劃歸洪山區(qū)管轄。
1963年4月，武漢市將武昌區(qū)的白滸公社、沿江漁業(yè)公社和洪山區(qū)的聯(lián)合公社劃入青山區(qū)。
將洪山區(qū)和平公社的白鶴嘴、長山嘴、白楊橋等3個(gè)生產(chǎn)隊(duì)劃入青山區(qū)聯(lián)合公社，將其陳家嘴、八大家、油坊嶺、落王廟、大洲等5個(gè)生產(chǎn)隊(duì)劃入青山區(qū)環(huán)城公社。
至此，青山區(qū)下轄9個(gè)農(nóng)村人民公社，即：黎明、建設(shè)、紅旗、環(huán)城、火官、天興、白滸、沿江、聯(lián)合。
1964年8月，武漢市調(diào)整農(nóng)業(yè)管理體制，將青山區(qū)所轄的9個(gè)農(nóng)村人民公社全部劃歸洪山區(qū)，境域面積縮小4/5。
2009年5月，武漢市調(diào)整武昌、青山、洪山三區(qū)插花地帶，將洪山區(qū)建設(shè)鄉(xiāng)與和平街的13個(gè)村和2個(gè)社區(qū)的全部區(qū)域，及4個(gè)行政村的部分區(qū)域劃歸青山區(qū)管理，將青山區(qū)廠前街的自建社區(qū)全部劃歸洪山區(qū)管理。
此次調(diào)整使青山區(qū)土地面積增加23.85平方千米。
2009年青山區(qū)內(nèi)的武漢鋼鐵（集團(tuán)）公司一舉躋身世界500強(qiáng)，列中國500強(qiáng)企業(yè)第56名、武漢市100強(qiáng)企業(yè)第2名。
沿用至今。