秦以前為古羌人居地。
漢武帝元鼎六年（前111年）此地開始歸護羌校尉領(lǐng)護。
漢宣帝神爵二年（公元前60年），今貴德、貴南縣地區(qū)為河關(guān)縣地，隸金城郡，其余地區(qū)為羌人所據(jù)。
羌人大首領(lǐng)接受漢朝封號，受漢“護羌校尉”節(jié)制。
漢平帝元始四年(公元4年)，設(shè)西海郡，其轄地包括今共和、興海兩縣的大部分地區(qū)。
東漢建武十年（公元34年），恢復(fù)河關(guān)縣，改隸隴西郡。
（《后漢書·郡國志》）東漢末及三國時，州境復(fù)為羌地，在史書所稱的“大、小榆谷”范圍內(nèi)。
西晉末、東晉初，州境陸續(xù)成為吐谷渾屬地。
后涼、南涼、北涼時，州東南部為澆河郡所轄，其余仍為吐谷渾地。
北魏太平真君五年（444年），原澆河郡地入北魏版圖。
后來又失于吐谷渾。
北周建德五年（576年），在今貴德設(shè)廓州，轄洮河、達化2郡，2郡下轄洮河、廣威等5縣，今貴德、貴南等縣地區(qū)即為其中洮河郡所轄，州境其余地區(qū)仍為吐谷渾地。
隋開皇三年（583年），設(shè)達化縣，海南州東南部歸廓州河津縣轄。
大業(yè)五年（609年）隋在吐谷渾故地設(shè)置郡縣，州南部地區(qū)為河源郡赤水縣、遠化縣轄區(qū)。
唐武德二年（619年），州東南部地區(qū)歸廓州達化縣轄，其余仍為吐谷渾地。
龍朔三年（663年）吐蕃攻滅吐谷渾國，州大部遂成為吐蕃國轄區(qū)。
廣德元年（763年）廓州也陷入吐蕃。
北宋初，海南州地區(qū)為唃廝啰政權(quán)勢力范圍。
宋徽宗大觀二年（1108年）今海南州東南部為積石軍轄區(qū)。
北宋亡后，金將積石軍更名積石州（治所移至今甘肅省積石山縣大河家），隸臨洮路。
南宋紹興七年（1137年），積石州被金劃贈西夏。
次年，西夏將積石州更名為祈安城。
州東南部為祈安城轄區(qū)。
元世祖至元八年（1271年），改祈安城為貴德州，今貴德縣、貴南縣和共和縣東部一帶為貴德州轄地，其余是必里萬戶府轄區(qū)，均隸吐蕃等處宣慰使司都元帥府。
明洪武八年（1375年），明改貴德州為歸德守御千戶所，直隸于西安行都指揮使司（后改隸河州衛(wèi)）。
州東南部為歸德守御千戶所地，其余地區(qū)為朵甘行都指揮使司轄區(qū)。
清初，海南州大部為衛(wèi)拉特蒙古和碩特部首領(lǐng)顧實汗轄區(qū)。
清雍正三年（1725年），青海蒙古各部被編為29旗，海南地區(qū)占11旗，隸欽差辦理青海蒙古番子事務(wù)大臣公署。
乾隆乾隆二十六年(1761）改“歸德”為“貴德”，五十六年(1791年)置貴德廳，州境東南部為貴德廳轄區(qū)，隸甘肅省西寧府。
1913年改貴德廳為貴德縣。
1929年青海建省，州境統(tǒng)歸青海省管轄。
同年設(shè)共和縣。
1935年5月，從貴德縣析置同德縣。
1939年設(shè)大河壩設(shè)治局(1943年改為興海縣)，均直隸青海省。
1949年9月今海南地區(qū)解放后，貴德、共和、興海、同德4縣人民政府相繼建立。
1952年7月，由貴德縣析置尖扎藏族自治區(qū)（次年改為尖扎縣）。
1953年7月，由貴德、同德兩縣析置貴南縣。
同年12月6日，經(jīng)中華人民共和國政務(wù)院批準，成立專區(qū)一級的海南藏族自治區(qū)。
1955年7月28日，改稱海南藏族自治州。
1979年3月成立龍羊峽辦事處，為自治州政府派出的縣級機構(gòu)（1988年改稱龍羊峽行政委員會）。
至此，全州轄5縣、1個行政委員會。
2002年，撤銷龍羊峽行委。