阿克蘇市境即西漢時期姑墨國所在地。
隋唐時期，阿克蘇市境為跋祿迦，亦稱亟墨。
五代十國時期，后梁太祖開平元年至后周恭帝顯德七年(907-960)，本境屬葛邏祿部(亦稱割鹿國)。
真宗咸平四年(1001)，本境為喀喇汗王朝一部分。
元代，阿克蘇市境為察合臺后王封地，稱為阿速。
乾隆二十二年（1757），清政府派軍平定準噶爾叛亂，將地名定為“阿克蘇”。
清乾隆二十四年（1759）在此設阿克蘇辦事大臣，光緒十年（1884）九月在新疆建省后設阿克蘇道（駐今溫宿縣）。
1913年，溫宿府本府改制阿克蘇縣。
1983年8月，經(jīng)國務院批準，撤銷阿克蘇縣設立阿克蘇市（縣級）。