自唐貞元十六年（800）至清末（1911），屬分寧縣、寧州、義寧州泰鄉(xiāng)八都1914-1949年屬山谷區(qū)安峰鄉(xiāng)。
1949年9月隸屬三都區(qū)山口鄉(xiāng)。
1956年9月隸屬合并后的廟嶺鄉(xiāng)。
1958年7月建紅光升公社設(shè)為山口大隊(duì)。
1960年隸屬合并后的太陽(yáng)升公社，1961年隸屬分設(shè)的廟嶺公社。
1968年與戴家大隊(duì)合并為山口大隊(duì)，隸屬太陽(yáng)升公社。
1972年改名為小山口大隊(duì)，戴家大隊(duì)分出另設(shè)，隸屬?gòu)R嶺公社。
1984年改為小山口村，沿用至今。