遂川县原名龙泉县，相传“有二龙戏于武陵泷（草林冲），土石崩裂，后人因以为龙泉”。
夏商属古扬州地域南境。
春秋战国，先后属吴、越、楚3国。
秦属九江郡。
汉属豫章郡庐陵县。
东汉初平二年（191），立南部都尉置庐陵郡，属扬州刺史部。
建安四年（199）孙策定庐陵郡，建县名曰“遂兴”，此为建县之始。
三国时，属吴国领地，嘉和四年（235）吴大帝改遂兴为“新兴”，隶属庐陵郡。
南北朝沿袭晋制。
隋开皇十年（590）废遂兴等6县，置安丰县，遂兴为其一。
次年改安丰为泰和县。
唐袭隋制。
南唐保大元年（943），析泰和龙泉乡什善镇置龙泉场。
南唐李璟十八年（960）升场为县，名“龙泉”县，以场治为县治，在水南十七都慈云寺（今泉江镇小溪村境内）。
宋开宝八年（975）南唐国亡，归宋管辖。
宣和三年（1121）改龙泉为“泉江”县。
绍兴元年（1131）复称龙泉县，隶属江南西路吉州军。
元元贞元年（1295）隶属江西行中书省吉安路。
明属江西承宣布政使司湖西道吉安府。
清沿袭明制。
1912年冬，县直属省。
1914年，因与浙江、贵州两省之龙泉县同名，易名“遂川县”至今。
1932年，江西划为13个行政区，遂川属第10行政区。
1935年，全省缩为8个行政区，遂川隶属第3行政区，直至1949年解放。
1949年至今，先后属江西省赣西南区、吉安分区、吉安专区、井冈山专区、井冈山地区、吉安地区、吉安市。