汾阳，于《禹贡》九州，为冀州之域，于周《职方》，属并州。
春秋置瓜衍县。
战国属魏、赵，为兹氏县。
秦仍名兹氏县，隶太原郡。
汉属并州刺史部──太原郡。
三国魏置并州西河郡，郡治设于兹氏。
晋易名隰城，南北朝先后递归前赵、后赵、前秦、前燕、后燕、北魏、东魏、北齐。
北魏间汾州移治隰城，辖郡城。
北周废汾州，改隶于介州。
隋先废郡州，后复西河郡，郡治置隰城。
唐复称汾州，治隰城县如故。
肃宗上元元年，县名改称西河，历五代、宋、金、元。
明初省西河县置汾州，兼领平遥、介休、孝义三县。
万历间升州为府，依郭设汾阳县。
清因之。
1912年，废府存县。
1949年9月，山西省人民政府设汾阳专区，行署驻县城。
1950个后半年，六区、八区合并，七区、九区合并，成为7个区。
1951年3月专区撤销，改属榆次专区。
1971年4月汾阳县与文水、平遥、介休县行政区划进行了较大的调整变更，将汾阳县的苍尔会公社二、三道川地区的苍尔会等24个自然村和冀村公社的百金堡、东槽头、西槽头、裴会、王家庄、狄家庄、尹家庄、阎家社8个自然村划归文水县管辖，将平遥县的宁固、香乐、净化、西王智4个公社计47个自然村及介休县的万户堡公社及其所属12个自然村划归汾阳管辖。
1971年5月划归新成立的吕梁地区，属吕梁地区。
1996年8月20日，国务院批准撤销汾阳县，设立县级汾阳市。
2003年10月23日，国务院批准撤销吕梁地区，设立地级吕梁市，县级汾阳市改由山西省直辖、地级吕梁市代管。