金大定年間（1161～1189年），張氏遷此建村，名張阿。
清順治二年（1645年），李氏由李谷堆遷入，因村周圍低洼，積水成汪，故改稱“張汪”。
張汪鎮(zhèn)古為薛地，夏商周為薛國所轄。
戰(zhàn)國初，薛歸齊；戰(zhàn)國末，薛舊地皆為楚；秦屬薛郡，漢屬薛縣，三國時入魏；晉、南北朝屬徐州彭城郡，歸滕縣。
康熙十二年（公元1672年），改用保甲法，滕縣轄地用八卦統(tǒng)領72保，張汪為離八保。
嘉慶十八年（1813年）年間，將八卦稱改為“仁、義、禮、智、孝、悌、忠、信”，張汪為悌六區(qū)。
1931年張汪為第七區(qū)薛城鄉(xiāng)。
1942年張一汪仍屬滕縣第七區(qū)，改成張汪鄉(xiāng)。
新中國建立初期，區(qū)劃調整，境內仍屬臨城縣第七區(qū)。
1950年12月，改為臨城縣第七區(qū)公所，區(qū)駐地由臨城遷至張汪。
1952年9月，臨城縣改稱薛城縣，時為薛城縣第七區(qū)。
1955年9月，又改稱張汪區(qū)，區(qū)駐地張汪村。
1956年3月，撤薛城縣建置，第七區(qū)劃歸藤縣所轄，建藤縣薛城區(qū)，轄歡城、李橋、周樓、張汪、柴胡店、殷莊、龍山7個鄉(xiāng)，區(qū)駐地駐張汪村。
1958年夏，撤區(qū)并鄉(xiāng)，境內轄區(qū)劃分為張汪、李橋兩個大鄉(xiāng)。
1959年秋，改稱張汪人民公社。
1966年5月，改稱張汪區(qū)。
1969年2月，改稱為張汪人民公社革命委員會。
1980年12月，撤銷公社革命委員會，重新恢復公社管理委員會。
1984年3月，改張汪公社為張汪鄉(xiāng)；1984年11月，改鄉(xiāng)稱鎮(zhèn)。