明景泰前屬瑞安縣義翔鄉(xiāng)五十七都。
1934年屬泰順縣榮城鄉(xiāng)，1938年屬第二區(qū)橫山鄉(xiāng)，1946年屬百丈區(qū)翁山鄉(xiāng)，1948年屬山垟鄉(xiāng)，7月劃歸文成縣管轄，鄉(xiāng)名仍之。
1952年分為山垟、桂庫2鄉(xiāng)。
1956年3月2鄉(xiāng)合并稱桂山鄉(xiāng)，同年9月，復分為山垟、桂庫2鄉(xiāng)；1958年2鄉(xiāng)改稱大隊、管理區(qū)。
1959年兩個管理區(qū)合并稱桂山管理區(qū)。
1961年改稱桂山公社，1984年復稱桂山鄉(xiāng)；1992年，撤區(qū)歸縣直轄。
2011年3月桂山鄉(xiāng)并入珊溪鎮(zhèn)。
2016年1月從珊溪鎮(zhèn)分立，復稱桂山鄉(xiāng)。