秦代属长沙郡。
西汉初置桂阳县，属长沙国。
汉景帝元年（前156），以湘、粤北地置桂阳郡，桂阳县隶属桂阳郡。
隋开皇十年（590），始设连州，治所在桂阳（今连州）。
大业元年（605），连州改称熙平郡。
唐武德四年（621），裁熙平郡复置连州。
天宝元年（742），改连州为连山郡。
乾元元年（758），复名连州。
元至元十七年（1280），升为连州路。
清雍正七年（1729），改为连州直隶州。
1912年，连州改连县。
1958年11月，连县、阳山、连南、连山四县合并，称连阳各族自治县。
1960年10月，分出阳山县，称连州各族自治县。
1961年10月，又分出连南、连山两县，复名连县。
1994年4月22日，撤销连县，设立连州市（县级），由清远市代管。