民國時(shí)期屬封竇鄉(xiāng)第6保；建國后1951年建政為新生鄉(xiāng)第7村；1955年建社為回龍鄉(xiāng)八村二十六社；1958年為回龍公社二十一管理區(qū)；1962年為幸福公社五大隊(duì)；1967年改為幸福公社四大隊(duì)；1981年地名普查命名為幸福公社團(tuán)山大隊(duì)；1984年改社為鄉(xiāng)時(shí)為幸福鄉(xiāng)團(tuán)山村；1992年撤區(qū)并鄉(xiāng)建鎮(zhèn)后并入回龍鎮(zhèn)，團(tuán)山村不變。
2020年，村級(jí)建制調(diào)整，撤銷高坎村、楠廟村和團(tuán)山村，合并設(shè)立團(tuán)山村（營府函〔2020〕72號(hào)）。