長山堡一帶，是清末放荒招墾較早的地方。
清光緒三十二年(1906)甘井子荒務行局成立后，始駐甘井子屯，翌年遷至二站。
中華民國成立后。
1926年甘南設治局成立，劃歸設治局管轄，后隸第三區(qū)。
東北淪陷后，1933年12月隸屬甘南縣第三保。
1938年改設韓家溝村。
1943年改稱長山堡村。
1945年“九三”抗日戰(zhàn)爭勝利后。
1946年3月設置長山堡區(qū)，區(qū)政府駐長山堡，后改為第六區(qū)。
1955年底和1956年初，為接收安置山東移民，于區(qū)內(nèi)新建13個移民新村(稱“長”字片，即長一村至長十三村)。
1956年3月，撤區(qū)劃鄉(xiāng)，將原六區(qū)劃分為長山堡、興安堡、景利、八里崗子4個鄉(xiāng)。
1958年4月，將長山堡鄉(xiāng)劃出部分區(qū)城與景利鄉(xiāng)合并，設立四方山鄉(xiāng);將興安堡、八里崗子鄉(xiāng)并入長山堡鄉(xiāng)。
1958年9月，將長山堡、四方山兩個鄉(xiāng)合并為長山人民公社。
1984年4月，政社分開，改為長山鄉(xiāng)。
名稱沿用至今。