商、周、春秋屬越，戰(zhàn)國(guó)屬楚，秦漢屬烏傷，唐、宋、元、明、清屬東陽(yáng)縣瑞山鄉(xiāng)三十五都。
1935年4月，改稱安文鎮(zhèn)。
1939年7月磐安建縣，稱安文鄉(xiāng)。
1949年10月30日解放，為縣政府駐地。
同年12月建立安文鄉(xiāng)。
1950年8月改為安文鎮(zhèn)。
1952年10月擴(kuò)大管轄范圍，改為縣屬建制鎮(zhèn)。
1958年9月人民公社化，改為紅旗人民公社安文管理區(qū)。
同年11月磐安并入東陽(yáng)，為東陽(yáng)縣紅旗人民公社安文管理區(qū)(大隊(duì))。
1959年2月改名安文公社安文管理區(qū)，同年6月改為東陽(yáng)縣屬建制鎮(zhèn)。
1961年9月安文公社改為安文區(qū)，管理區(qū)改為人民公社，稱安文鎮(zhèn)人民公社。
1964年3月撤銷縣屬鎮(zhèn)。
1980年11月撤銷人民公社復(fù)為縣屬鎮(zhèn)。
1983年11月恢復(fù)磐安縣，為縣政府駐，稱安文鎮(zhèn)。
1992年云山鄉(xiāng)并入，2009年墨林鄉(xiāng)并入。
2018年，撤銷安文鎮(zhèn)建制，成立安文街道。