克山一带，清代属布特哈游牧地，清末添设民官，归讷河直隶厅管辖。
中华民国成立后，1915年3月18日，于讷河县属三站地方设量克山设治局，隶属龙江道管辖，衙暑初设二克山。
同年8月2日批准，改设克山县，后将县署移驻三站（亦称察霍镇.今克山县城）。
1929年2月，裁撤龙江道，改由省直辖。
11月，将二克山一带划出设置克东设治局。
东北沦陷后，初隶黑龙江省，1934年12月划归龙江省管辖。
1939年6月，划归新设之北安省管辖。
1945年"九三"抗日战争胜利后，隶属黑龙江省管辖。
1954年8月，松江、黑龙江两省合并后，由省直辖。
1956年3月，划归嫩江专区管辖。
1960年5月至1961年10月，嫩江专区一度撤销时，曾归齐齐哈尔市领导。
1985年1月，嫩江地区正式撤销，划归齐齐哈尔市领导。
名称沿用至今。