民國時期，1936年屬鐘祥縣第四區(qū)三民鄉(xiāng)，1941年廢區(qū)屬鐘祥縣麗元鄉(xiāng)，1946年仍屬麗元鄉(xiāng)，1949年7月鐘祥縣人民政府成立，屬胡集區(qū)小山鄉(xiāng)；1956年農(nóng)業(yè)生產(chǎn)合作化時，名小山高級農(nóng)業(yè)生產(chǎn)合作社，屬胡集區(qū)白云鄉(xiāng)；1958年9月人民公社化時，小山高級農(nóng)業(yè)生產(chǎn)合作社更名為小山大隊，屬胡集人民公社白云管理區(qū)；1961年恢復(fù)胡集區(qū)，公社范圍由大變小，小山大隊屬胡集區(qū)白云公社；1975年11月25日撤區(qū)并社，屬胡集公社白云管理區(qū)；1984年3月恢復(fù)胡集區(qū)，小山大隊改稱小山村，設(shè)村民委員會屬胡集區(qū)白云鄉(xiāng)；1987年4月屬胡集鎮(zhèn)白云片；1994年屬胡集街道辦事處；2001年3月屬胡集鎮(zhèn)至今。