1950年屬杉山等鄉(xiāng)，1956年合并置杉山鄉(xiāng)，1958年屬婁底公社，1961年分置杉山公社和恩口公社，1968年合并為杉山公社，1984年復(fù)改鄉(xiāng)，1986年建鎮(zhèn)。
2015年11月23日湖南省民政廳辦公室印發(fā)《湖南省民政廳關(guān)于同意婁底市婁星區(qū)鄉(xiāng)鎮(zhèn)區(qū)劃調(diào)整方案的批復(fù)》（湘民行發(fā)〔2015〕65號(hào)），同意小碧鄉(xiāng)與杉山鎮(zhèn)成建制合并設(shè)立杉山鎮(zhèn)。
新設(shè)立的杉山鎮(zhèn)轄19個(gè)建制村和恩口社區(qū)，總面積66.38平方千米，總?cè)丝?.39萬人，鎮(zhèn)人民政府駐石垣（原杉山鎮(zhèn)政府駐地）。