西汉时期，县境东部属牂牁郡句町、镡封、进桑、宛温县，西部属益州郡、毋棳县。
蜀汉为庲降都督府兴古郡。
隋属南宁州总管府昆明。
唐南诏时期属通海都督府辖地。
宋大理时期属最宁镇维摩部、教合三部、广南西路和哈迷万户府。
明分属临安府阿迷州教化长官司，广南府和广西府维摩州。
清为开化府文山县、广西直隶丘北县、广南府宝宁县、临安府阿迷州辖地。
清道光三年（1823），设江那县丞。
1912年，设江那县佐（江那、盘龙、八嘎一带），隶属文山县。
1932年，江那县佐和广南县的小维摩县佐（维摩、阿猛、阿基一带）析出，合并成立砚山设治局。
1935年7月1日，设置砚山县，隶属云南第六区团练督练处，今西部稼依、平远、阿舍一带时属开远东山区，后属云南省第二区（后改为第四区）行政督察文山专员公署。
1958年10月，砚山县与文山县合并为文山县，撤销砚山县制。
1961年8月31日，文、砚分县恢复砚山县制，至今。