桃江古为楚地。
秦置益阳县，属长沙国。
汉属荆州长沙国。
三国初属长沙郡，后属衡阳郡。
晋初属荆州衡阳郡，后隶湘洲。
南朝宋属湘洲衡阳内史。
南朝的齐、梁、陈时期属荆州衡阳郡。
隋属潭洲（后改长沙郡）。
唐属江南西道潭洲长沙郡。
元元贞元年（1295），升县为洲（无领县），益阳县即为益阳洲，属湖南道天临路。
明初降洲为县，属长沙府。
清代属长宝道长沙府。
民国时期先属湘江道，后属湖南省第一、第五行政督察区。
1949年8月，益阳和平解放，益阳县人民政府成立，属益阳专区益阳县。
1952年，从益阳县析置桃江县，县人民政府驻桃江镇。
1962年，属益阳地区管辖。
1994年，益阳地区撤地建市，桃江县属益阳市管辖。