属齐齐哈尔副都统辖区，为布特哈游牧地。
清末放荒招垦，设立荒务机构。
光绪三十一年（1905）于郭尔罗斯后旗巡防局启用“总理甘井子荒务之关防”，翌年于二站（由齐齐哈尔城至呼伦贝尔驿道的第二站，故名二站）附近勘定城基。
清光绪三十三年（1907）“街基落成”，荒务行局迁抵二站（今甘南镇）。
光绪三十四年（1908），撤销荒务行局设置甘井子巡防局，隶属西布特哈总管。
中华民国成立后，1914年7月，改设甘井子佐治局，隶属龙江县管辖。
同年10月9日批准，将甘井子佐治局改为甘井子县佐。
1916年2月，划归布西设治局管辖。
1925年12月1日，黑龙江省长公署令，将甘井子佐治局改设甘南设治局，驻地二站改为甘南镇，隶属龙江道管辖。
1929年2月，龙江道撤销后，改由省直辖。
东北沦陷后，1933年10月1日，改为甘南县，隶属黑龙江省。
1934年12月，划归伪龙江省管辖。
1945年“九三”抗日战争胜利后，划归嫩江省管辖。
1949年5月，撤销嫩江省，划归黑龙江省管辖。
1954年8月设立嫩江专区，归嫩江专区管辖。
1960年5月至1961年10月，嫩江专区一度撤销时，曾归齐齐哈尔市领导。
1985年1月1日，嫩江地区正式撤销后，划归齐齐哈尔市领导。
并沿用至今。