白土山一帶，清代屬齊齊哈爾副都統(tǒng)轄區(qū)。
中華民國時期，先后隸屬龍江縣第三區(qū)和第二區(qū)管轄。
東北淪陷后，初隸朱家坎保，1938年4月改隸朱家坎村。
1945年“九三”抗日戰(zhàn)爭勝利后，1946年6月隸屬朱家坎區(qū)，1948年改隸第三區(qū)。
1954年設(shè)白土山區(qū)。
1956年3月，并村劃鄉(xiāng)，設(shè)白山鄉(xiāng)。
1958年靠山鄉(xiāng)并入，同年9月后道老鄉(xiāng)并入，成立白山人民公社。
1960年析置東部地區(qū)成立黑崗公社。
1984年5月，白山公社改為白山鄉(xiāng)。
2013年10月，撤鄉(xiāng)設(shè)鎮(zhèn)，改為白山鎮(zhèn)，名稱沿用至今。