春秋戰(zhàn)國時，境地先后屬吳、越、楚地。
秦時，境內(nèi)金沙溪以東屬會稽郡太末縣，金沙溪以西屬九江郡余汗縣。
漢獻(xiàn)帝初平三年（192），析太末縣東境置新安縣，東部屬新安縣。
建安十五年（210），析余汗東境置葛陽縣，西境屬葛陽。
建安二十二年（217），析新安縣東境置定陽縣，東境屬定陽。
三國時，為吳國領(lǐng)地。
西晉元年（266），分會稽西部設(shè)東陽郡，隸吳州，東境屬之。
太康元年（280），新安縣更名為信安縣，東境分屬信安、定陽兩縣。
南朝（陳）天嘉三年（562），東境隨信安、定陽兩縣改隸金華郡。
隋初，郡改為州，定陽縣并入信安縣，東境屬信安縣，隸婺州。
開皇十二年（592），葛陽縣更名為弋陽縣，西境屬弋陽縣。
唐初，境地分屬衢州常山、須江縣（今江山市）和饒州弋陽縣。
唐證圣（周）年（695），析須江、常山、弋陽之地置玉山縣，以境內(nèi)有懷玉山得名，隸江南道衢州。
天寶元年（742），衢州改稱信安郡，隨隸信安郡。
乾元元年（758）置信州，改屬信州，隸江南東道，并劃須江縣南鄉(xiāng)鎮(zhèn)頭墟至下鎮(zhèn)墟歸玉山縣管轄。
宋仍屬信州。
建炎四年（1130），隸江南路；紹興元年（1131），隸江南東路。
元至元十四年（1277），隸江浙行中書省信州路。
至正二十年（1360）六月，改信州路為廣信府，隨屬廣信府，仍隸江浙行中書省。
明洪武四年（1371），隨廣信府改隸江西行中書省。
洪武九年（1376），廢行中書省，設(shè)承宣布政使司，下分道，隨府隸江西承宣布政使司湖東道。
清屬江西省廣信府。
民國元年（1912）冬，廢府、州，縣直隸江西省。
三年（1914），江西全省分四道，玉山屬豫章道。
十五年（1926），廢道，直隸省轄。
二十年（1931），省下設(shè)行政區(qū)，玉山隸江西省第九行政區(qū)。
二十一年（1932），隸江西省第六行政區(qū)。
1949年5月5日，玉山縣解放，隸贛東北行政區(qū)；同年9月，贛東北行政區(qū)撤銷，隸上饒專區(qū)。
1971年隸上饒地區(qū)。
2000年10月，隸上饒市。