祁連地區(qū)古為羌地，與世居河西走廊的古老民族月氏人毗鄰。
漢高祖六年（前201），匈奴王冒頓擊敗月氏，占領河西走廊。
被擊敗的月氏大部徙至今新疆西部伊犁河流域及其以西地區(qū)，史稱“大月氏”；小部進入祁連山與羌人雜處，史稱“小月氏”，河西走廊遂為匈奴族右地。
后小月氏進入湟中，漸融入羌漢等民族之中。
漢武帝元狩二年（前121），驃騎將軍霍去病率萬騎出隴西，過焉支山（今甘肅省山丹縣大黃山）千余里，破休屠王與渾邪王，迫使渾邪王殺休屠王，率部降漢，匈奴勢力退出祁連山區(qū)。
居于祁連山及湟水流域的小月氏亦歸服于漢，與漢人錯居。
漢武帝元鼎六年（前111），漢遣將軍李息，郎中令徐目平羌，羌人離開湟中，到西海鹽池一帶居住，漢遂依山為塞。
祁連峨堡至八寶18千米處漢代鮮尉塞古城當筑于此時。
神爵（前61）后，將軍趙充國河湟屯田，祁連為臨羌屬地。
東漢時期，居住在今祁連縣黑河一帶的小月氏發(fā)展演變?yōu)椤氨R水胡”，曾興盛一時。
到北魏時期，因受漢族文化影響，融為漢族。
東晉十六國時期河西走廊和河湟地區(qū)先后出現(xiàn)了前涼、后涼、南涼、北涼、西涼等王國，祁連地區(qū)曾為南涼等政權的屬地。
河西走廊、河湟地區(qū)政權屢易，戰(zhàn)禍頻繁，絲綢之路北道時通時斷，東西方交往極不便利。
西晉末年，遼東鮮卑慕容的一支移牧甘青地區(qū)，建立起強盛的吐谷渾國。
約在北涼滅亡前后祁連地區(qū)即為吐谷渾屬地。
隋大業(yè)元年(605)，煬帝即位，祁連地區(qū)仍為吐谷渾所屬。
隋初，吐谷渾勢力強盛，在河西走廊等地與隋不斷有所沖突。
隋大業(yè)五年（609）四月，隋煬帝親自統(tǒng)兵出征吐谷渾，從臨津關（今甘肅省臨夏縣大河家境）渡河，抵西平陳兵講武。
五月，大獵于拔延山（今樂都南山、化隆北山），入長寧谷（今大通回族自治縣后子河鄉(xiāng)），度星嶺（今大通回族自治縣景陽川西北），宴群臣于金山（今大通回族自治縣金娥三），作了戰(zhàn)略部署。
時伏允退保覆袁川，隋軍便從北面甘青交界處之祁連山，東面的琵琶峽（今門源回族自治縣、互助土族自治縣和甘肅省天祝藏族自治縣三縣交界處的朱岔峽口天堂寺一帶，由此沿浩門河上溯至珠固、仙米一帶的峽谷，西面的泥嶺（浩門河南山），南面的金山，將伏允合圍于覆袁川（今門源回族自治縣和祁連縣交界處之永安一帶）。
伏允派部屬據(jù)守車我真山（覆袁川南，今祁連默勒南山一帶，為西平郡之鮮谷塞尉古城所在地），自引二千騎經青海湖西直奔黨項（今果洛藏族自治州一帶）。
吐谷渾部眾十余萬人由其仙頭王率領降隋，史稱覆袁川之戰(zhàn)。
煬帝于六月間經浩門川，出大斗拔谷（今扁都口），北趨張掖，九月間轉回長安，隋大敗允，遂以伏俟城為治所，置西�？�；以赤水為治所，置河湟郡，祁連地區(qū)屬西海郡。
隋大業(yè)十三年（617），隋朝的統(tǒng)治在一連串農民起義中瀕于覆滅，吐谷渾首領伏允率眾重返故土。
唐高宗咸亨二年（671），吐蕃擊滅吐谷渾國，包括祁連在內的祁連山區(qū)及青海湖環(huán)湖地區(qū)等成為吐蕃屬地，唐玄宗開元十六年（728），金吾將軍林賓客，為守衛(wèi)扁都口道，曾在峨堡一帶與吐蕃大戰(zhàn)。
唐末，吐蕃王國崩潰。
宋代，由于扁都口事關河西走廊安危，北宋末年，宋王朝直接統(tǒng)治河湟地區(qū)時，曾在峨堡修建三角城防衛(wèi)。
13世紀初，西夏勢力曾一度達青海湖以北祁連山一帶。
1227年，元太祖成吉思汗西渡黃河，占據(jù)西寧州和柴達木及環(huán)湖地區(qū)，曾在祁連山地區(qū)駐軍屯牧。
元朝建立后，祁連地區(qū)為吐蕃等處宣尉使司都元帥府（治今甘肅省臨夏市）轄區(qū)。
元滅亡后，仍有一部分蒙古人留居游牧于祁連山地區(qū)。
為了進一步鞏固西北邊陲，加強對邊塞的統(tǒng)治，明朝政府于洪武年間在今嘉峪關以西，哈密以東，以及青海湖、柴達木盆地一帶設立七衛(wèi)，其中青海境內為四衛(wèi)，即安定衛(wèi)、阿端衛(wèi)、曲先衛(wèi)、罕東衛(wèi)，隸西寧衛(wèi)兼轄，當時稱“塞外四衛(wèi)”。
其中安定、阿端衛(wèi)地跨祁連山，包括祁連在內的海北西南部及海西南部為其屬地。
明正德年間，東蒙古封建主亦卜刺與滿都賚、阿固勒呼（《明史》作阿爾禿斯）因起兵反抗蒙古達延汗失敗，約于明正德五年（1510）率部從河套轉移環(huán)湖地區(qū)，破四衛(wèi)，祁連地區(qū)成為其屬地。
明正德九年（1514）明朝派三邊總制彭澤統(tǒng)兵向環(huán)湖地區(qū)進擊，亦卜刺和阿爾禿斯率眾渡過黃河，東走河州，進入四川北部，轉往今西藏地區(qū)。
不久，彭澤部回師，亦卜刺部又回環(huán)湖地區(qū)。
同年，東蒙古可汗達延（明人稱小王子）的另一部屬卜兒孩，因內部紛爭，遷居祁連山和環(huán)湖地區(qū)，經扁都口對甘州等地經常進行襲擾。
明嘉靖十二年（1533）占據(jù)河套的蒙古吉囊一度率眾入青海境，突擊亦卜刺部。
亦卜刺失去部眾的大半，只剩下卜兒孩一支斂眾自保。
嘉靖二十年（1541）卜兒孩部向明入貢，環(huán)湖及祁連地區(qū)在一段時間內獲得平靜。
嘉靖三十八年（1559），成吉思汗后裔，達延汗之孫阿勒坦（《眀史》作俺答）率部進入環(huán)湖及祁連山地區(qū)。
崇禎十年（1637）又為衛(wèi)拉特蒙古和碩特部顧實汗轄區(qū)。
清雍正二年（1724），設大通衛(wèi)于北大通城（今門源回族自治縣浩門鎮(zhèn)），隸西寧府。
祁連東部屬大通衛(wèi)轄，其余地方為蒙古和碩特西右前旗駐牧地，隸青海辦事大臣管轄。
后經遷徙流動，至民國十八年（1929）青海建省時，祁連屬亹源管轄。
民國二十八年（1939）三月，經國民政府內政部核準，由亹源縣析置祁連設治局治八寶。
當時，在祁連境內及其附近駐牧的蒙古旗有六旗，右翼盟和碩特前左翼首旗（俗稱默勒王）、左翼盟和碩特北前旗（俗稱布哈公）、右翼盟和碩特西右前旗（俗稱默勒札薩）、右翼盟土爾扈南中旗（俗稱永安札薩），左翼盟士爾扈南后旗（俗稱角昂札薩），右翼喀爾喀南右翼后旗(俗稱哈里哈札薩)。
1943年祁連設治局擬升格為縣，但在古佛寺轄屬問題上與甘肅有爭議，故暫緩設縣，直至解放。
1949年11月22日，人民解放軍第三軍騎兵團進駐八寶，祁連各族人民獲得解放。
1951年9月13日，青海省人民政府行政會議決定：將祁連設治局更名為祁連區(qū)人民政府委員會，由省直轄。
1952年10月1日成立祁連藏族自治區(qū)人民政府，屬省直轄。
1953年11月23日成立祁連縣人民政府，屬海北藏族自治區(qū)。
1955年6月18日更名為祁連縣人民委員會，1955年5月海北藏族自治區(qū)更名為自治州后，仍屬之。
1967年12月28日祁連縣革命委員會成立。
1980年6月26日恢復祁連縣人民政府。