春秋战国时期就有许多民族在河西地区活动，肃南裕固族自治县曾是乌孙、月氏游牧地，后为匈奴所据。
西汉时期，汉武帝派遣张骞出使西域，先后击败了占据河西地区的匈奴王休屠和浑邪。
西汉元鼎六年（前111年），设张掖郡，祁连山一带正式归入中原版图。
其后河西回鹘（裕固族先民）曾攻入甘州，随后占据河西走廊西部，并立国，设牙帐于张掖，统治河西约140余年。
辛亥革命后，设甘凉道和安肃道，肃南地区大部分属安肃道管辖，隶属酒泉、高台、临泽、张掖、民乐各县。
1949年中华人民共和国成立后，今肃南裕固族自治县所属的祁丰、明花、大河、康乐、马蹄等区都以原有的各少数民族部落为基础，建立了区、乡基层人民政权，区、乡行政领导人从各民族中的优秀分子和部落头目、宗教上层人士中选出。
1952年，成立了中共肃南县工作委员会。
1953年7月18日，决定在裕固族聚居的原高台县第六区、酒泉县祁明区、张掖县康乐区的基础上成立裕固族自治区（县级）。
1954年2月，成立肃南裕固族自治区（县级），酒泉祁明区（今明花乡）、高台第六区（今大河乡）、张掖康乐区（今康乐、白银两乡）为肃南裕固族自治区的行政区域。
1955年5月，改肃南裕固族自治区为“肃南裕固族自治县”。
1957年，又将原属民乐、张掖管辖的马蹄区划归肃南裕固族自治县。
1959年，肃南裕固族自治县与青海省的行政区划进行了一次大的调整，将托勒、八字墩、友爱划归青海省，将青海省的城滩草原移交肃南县。