图木舒克市历史悠久，西汉时期，图木舒克是古西域三十六国之一的“尉头国”所在地；三国北魏时属龟兹；隋属疏勒；唐朝时是安西都护府属下的“郁头州”；宋时又归疏勒；元、明时期分别归察合台汗国、叶尔羌汗国、准噶尔办事大臣管辖范围。
1759年，清朝政府平息大小和卓之乱后，归叶尔羌办事大臣管辖。
1997年，中共中央下发《中共中央、国务院关于进一步加强新疆生产建设兵团工作的通知》。
决定在兵团农三师小海子垦区建立图木休克市。
1998年5月20日，兵团党委同意成立农三师前海垦区管理局，负责图木休克市的筹建工作。
2002年9月17日，国务院批准设立自治区县级直辖市图木休克市（中发【1997】17号文件中为图木休克市，根据地名从雅的惯例，兵团办公厅建议改为图木舒克市作为标准地名），市人民政府驻齐干却勒。
2004年1月19日，图木舒克市举行成立挂牌仪式，沿用至今。