唐武德四年（621）析信安縣之南川置須江縣，隸屬越州總管府衢州，為江山建縣之始；五代吳越王寶正六年（931）錢镠因縣南有江郎山，改須江縣為江山縣，屬衢州。
南宋咸淳三年（1267）遷治禮賢，改名禮賢縣，屬衢州。
元至元十三年（1276）遷舊治，復(fù)為江山縣，屬衢州路。
1949年5月6日，江山縣解放，7月1日建浙江省第三專區(qū)，屬第三專區(qū)；同年第三專區(qū)改稱衢州專區(qū)，江山縣屬衢州專區(qū)。
1954年11月15日國務(wù)院批準(zhǔn)，撤銷衢州專區(qū)，江山縣改屬金華專區(qū)。
1985年5月15日，根據(jù)《國務(wù)院關(guān)于同意浙江省撤銷金華地區(qū)實(shí)行市管縣給浙江省人民政府的批復(fù)》〔（85）國函字68號(hào)〕文件，衢州市升為地級(jí)市，江山縣劃歸衢州市管轄。
1987年11月27日，根據(jù)《國務(wù)院關(guān)于浙江省撤銷江山縣設(shè)立江山市的批復(fù)》（國函〔1987〕187號(hào)）文件，撤銷江山縣，設(shè)立江山市（縣級(jí)），以原江山縣的行政區(qū)域?yàn)榻绞械男姓䥇^(qū)域，隸屬衢州市。
名稱沿用至今。