绩溪汉代称华阳镇，南朝梁大同元年（535年）设良（梁）安县，唐朝永泰二年（766年）置绩溪县。
绩溪是古新安、古歙州、古徽州的重要组成部分，唐至宋代属歙州，宋宣和三年（公元1121年）因绩溪有“徽岭、徽溪、大徽村”，改“歙州为徽州”（“徽，善也”《尔雅·释诂》，“绩、功也”《尔雅》），清康熙六年（公元1667年）建安徽省时，取安庆、徽州二府首字为省名，可以说绩溪是名副其实的“安徽之源”。
1949年4月30日绩溪县解放，改属徽州专区，1988年1月划入宣城地区，2001年1月属宣城市。