西漢時(shí)期，縣境東部屬牂牁郡句町、鐔封、進(jìn)桑、宛溫縣，西部屬益州郡、毋棳縣。
蜀漢為庲降都督府興古郡。
隋屬南寧州總管府昆明。
唐南詔時(shí)期屬通海都督府轄地。
宋大理時(shí)期屬最寧鎮(zhèn)維摩部、教合三部、廣南西路和哈迷萬(wàn)戶府。
明分屬臨安府阿迷州教化長(zhǎng)官司，廣南府和廣西府維摩州。
清為開(kāi)化府文山縣、廣西直隸丘北縣、廣南府寶寧縣、臨安府阿迷州轄地。
清道光三年（1823），設(shè)江那縣丞。
1912年，設(shè)江那縣佐（江那、盤龍、八嘎一帶），隸屬文山縣。
1932年，江那縣佐和廣南縣的小維摩縣佐（維摩、阿猛、阿基一帶）析出，合并成立硯山設(shè)治局。
1935年7月1日，設(shè)置硯山縣，隸屬云南第六區(qū)團(tuán)練督練處，今西部稼依、平遠(yuǎn)、阿舍一帶時(shí)屬開(kāi)遠(yuǎn)東山區(qū)，后屬云南省第二區(qū)（后改為第四區(qū)）行政督察文山專員公署。
1958年10月，硯山縣與文山縣合并為文山縣，撤銷硯山縣制。
1961年8月31日，文、硯分縣恢復(fù)硯山縣制，至今。