唐開元時屬富都鄉(xiāng)。
北宋熙寧六年（1073）屬富都鄉(xiāng)德行里。
元時稱小沙岙，屬金塘鄉(xiāng)。
清康熙年間屬定�？h富都鄉(xiāng)十圖；道光年間置小沙莊；宣統(tǒng)二年（1910）設三益鄉(xiāng)。
1934年設小沙、大沙2個鄉(xiāng)。
1947年屬小沙和大獅鄉(xiāng)。
1953～1954年分設小沙、樂家、毛峙、大沙、青岙、西岙6個小鄉(xiāng)。
1956～1957年，設小沙、大沙、毛峙3個鄉(xiāng)。
1958年1月毛峙鄉(xiāng)并入小沙鄉(xiāng)；9月與長白鄉(xiāng)合并設立小沙人民公社；10月大沙鄉(xiāng)改設大沙人民公社。
1984年6月復設小沙、大沙2個鄉(xiāng)。
1995年12月撤銷小沙鄉(xiāng)建小沙鎮(zhèn)。
2001年7月小沙鎮(zhèn)與大沙鄉(xiāng)合并設立新的小沙鎮(zhèn)。
2013年8月小沙鎮(zhèn)與長白鄉(xiāng)合并設立小沙街道。