甘南上古時為西羌地。戰國時期為秦國版圖，屬臨洮郡。西漢元鼎六年（前111年），漢征討羌人，劃甘南州東部屬隴西郡，北部屬金城郡，設白石、羌道兩縣。三國州境東部屬曹魏。南部屬蜀漢。西晉永嘉七年（313年），吐谷渾於枹罕建國（今臨夏市），吐谷渾人開闢了「絲綢南路」，成為連接中原與西藏、印度的要道。隋時的臨洮郡、桴罕郡、宕昌郡分別管轄今甘南的西北和東南部。唐朝初年廢郡置州，甘南境內曾為洮州、芳州、迭州的全部和河州、宕州的部分。唐龍朔三年（663年），吐谷渾為吐蕃所滅。吐蕃管轄期間又開發了「唐蕃古道」，經過甘南。北宋熙寧六年（1073年），宋將王韶收復河州，甘南歸宋。
十三世紀，蒙古族進入青藏高原，將其納入蒙古帝國版圖。元朝在河州設立吐蕃等路宣慰司，管轄甘南之境。明朝洪武五年（1372年），朵甘思內附大明。洪武七年（1374年），設置朵甘行都指揮使司，轄甘南。清雍正初年平定青海親王羅卜藏丹津之亂後，西安行都指揮使司總轄河州、朵干、馬斯藏三衛，甘南西部為甘肅蘭州府循化廳管轄。
民國時期，甘南屬甘肅省。民國二年（1913年），廢府設道，臨潭縣屬蘭山道，西固縣（今舟曲縣）屬渭川道。民國十五年（1926年），析導河、臨潭及循化縣設置拉卜楞設治局，駐拉卜楞（今夏河縣拉卜楞鎮）。民國十六年（1927年），升格為縣。民國十七年（1928年）3月，改縣名為「夏河」，以地處大夏河濱而得名。民國二十八年（1939年），以楊姓卓尼土司轄地改置卓尼設治局，局所駐卓尼（今卓尼縣柳林鎮），隸屬於甘肅省第一行政督察區。
1953年10月，甘南自治區在夏河縣拉卜楞成立，卓尼設治局改卓尼縣。1954年7月，甘南自治區改為甘南藏族自治州。1956年5月，州府由夏河拉卜楞鎮遷至黑措鎮，黑措改名為諧音的「合作」。1998年1月，撤銷合作鎮，設立縣級合作市。
2010年8月7日，甘南州舟曲縣發生特大泥石流災害，大量土石衝進縣城，並截斷兩條河流，形成堰塞湖。災害造成1481人遇難，284人失蹤。