春秋时期，今遵义市管辖地域分属鳖、鳛及巴、蜀、牂牁等方国。
战国时属夜郎国。
秦置鄨县，属巴郡。
西汉元光五年(前130)置犍为郡，治鄨县。
元鼎六年(前111)改隶牂牁郡。
晋平夷郡领鄨县地。
隋于东境置明阳郡(今凤冈)；其西境属牂州，隋炀帝时改牂州为牂柯郡，唐初废。
唐贞观九年（635）以隋牂柯郡北部地置郎州(今遵义)。
十三年将郎州更名播州，州治恭水县。
次年更名罗蒙县，十六年（642）更名遵义县。
此为遵义名之始。
十六年于北境置珍州，治夜郎县(今桐梓)。
十七年又置溱州。
景龙二年(708)于播州设都督府，先天二年(713)废。
北宋乾德三年(965)复置珍州(今正安、道真)。
大观二年(1108)置播州、承州和遵义军；三年置滋州，均隶夔州路。
宣和三年(1121)滋、溱、承、播诸州及遵义军皆废。
南宋开禧三年(1207)复置遵义军，嘉定十一年(1218)废。
嘉熙三年(1239)置播州安抚司，治播川县。
元至元二十一年(1284)置遵义军民总管府；二十六年改播州为播南路；二十八年置播州军民宣抚司，治今遵义市，隶四川行省。
明洪武五年(1372)以宣抚司地置播州宣慰司，隶四川；改遵义军民总管府为播州长官司。
万历二十九年(1601)废播州宣慰司，分置遵义、平越两军民府。
前者治遵义县，辖真安州及遵义、桐梓、绥阳、仁怀4县，隶四川；后者属贵州。
清康熙二十六年(1687)改遵义军民府为遵义府。
雍正五年(1727)遵义府由四川划归贵州。
1913年废府、州、厅改置县，属黔中道。
1935年设第五行政督察区，驻桐梓县。
1936年督察专员公署移驻遵义城。
1949年置遵义专区。
1956年余庆县划入。
1958年息烽县划入。
1963年开阳县划入。
1965年息烽、开阳2县划归安顺专区。
1970年改称遵义地区。
1997年撤遵义地区设地级遵义市，县级遵义市改设红花岗区。
2004年6月，成立汇川区。
2024年3月，撤销遵义县，设立播州区。
至此，遵义市共辖3区7县2自治县，代管2市。