清远市境在先秦时代，为古越族各部落聚居地。
西汉初年开始建县，首置桂阳县（辖今连州、连南、连山县地，县治在今连州镇）。
南朝起，在建置县级行政的基础上，开始设郡置州：梁天监六年（507），分湘、广二州置衡州（治在含洭）；以阳山、桂阳、含洭、广惠（亦名广德）4县。
明代在全国的政区设置分为布政司（初期为行省）、府（直隶州）、县（散州）三级。
这一时期清远境内政区设置变动，英德州降格为英德县，属韶州府；撤销桂阳州，并入连山县。
洪武十三年，又在原来桂阳州的治所设立连州（即后来的连县）。
洪武十四年，连州及其所辖的阳山县和连山县改属广州府。
万历十年（1582），清远政区有：清远县、连州及所领阳山、连山2县，隶广东布政司广州府；英德县，隶广东布政司韶州府。
清代康熙至乾隆十一年（1746），这一时期清远境内政区设置变动，只是佛冈直隶厅的设立。
清雍正七年（1729），连州改为直隶州，直隶广东布政司，辖阳山、连山2县。
嘉庆十八年（1813），清朝从清远、英德2县划地设立佛冈直隶厅。
嘉庆二十一年，连山县升格为连山绥瑶直隶厅，统管“连阳”瑶务，宣统三年（1911）复称连山县。
嘉庆二十五年（1820），清远境内设置的政区有1个直隶州：连州，属南韶连道，直隶广东布政司；2个直隶厅：佛冈、连山，分别属广肇罗道和南韶连道，直隶广东布政司；3个县：清远、英德、阳山，分别隶属广肇罗道广州府、南韶连道韶州府、南韶连道连州。
中华民国建立后，清远的名称和范围与清代相同，但将府直辖地及州、厅皆改为县，成为省、县二级制，并于省、县之间分区相继设置绥靖区、行政区、行政督察区。
1912年，连州、连山直隶厅分别改为连县、连山县。
1914年，佛冈直隶厅改为佛冈县。
1947年，国民政府设立连南县，隶属广东第二专署行政督察区。
1983年7月，韶关实行市管县新体制，清远、佛冈两县从韶关地区划归广州市管辖。
1988年1月7日，国务院批准撤销清远县，设立地级清远市，原清远县分为清城、清郊两个市辖区，并划广州市属的佛冈县和韶关市属的英德县、阳山县、连县、连南瑶族自治县、连山壮族瑶族自治县为清远市所辖。
1992年清郊区改称清新县;1994年，英德、连县改为县级市（连县称连州市），由清远市代管。
2024年11月，国务院批复同意撤销清新县，设立清远市清新区。