临泉，古称沈地。
公元前1042年，周文王第十子聃季载被封于此，建沈（子）国。
秦始皇二十六年（前221年）置寝县，西部置平舆县。
汉改为寖县，同时在西部置鲖阳县，在今鲖城置鲖阳侯国。
东汉永建元年（126年）封刘显为阜阳侯，置阜阳侯国；还置有平舆县。
隋开皇三年（583年）废褒信县置沈州，把原褒信县分为鲖阳县和沈丘县。
唐朝武德元年（618年）在今县东南部置高塘县，六年废，入汝阴县。
唐朝贞观元年（627年）废鲖阳、沈丘两县交入汝阴县。
唐朝神龙二年（706年）分汝阴复置沈丘县仍属颍州。
北宋属京西北路顺昌府管辖。
明初，废沈丘县，降为沈丘镇，入颍州，属凤阳府。
清朝康熙六年（1667年）成立安徽省，沈丘镇属安徽省颍州管辖。
民国三年（1914年），安徽淮北设淮泗道，临泉地方属淮泗道阜阳县。
民国十七年（1928年）废道存县，临泉仍属阜阳县。
民国二十三年（1934年）9月，阜阳县西乡设立新县，因县城濒临泉河，故名临泉县，民国二十四年（1935年）1月正式成立临泉县，驻地沈丘集，属安徽省第七专员公署。
县下设三个区。
民国二十八年（1939年），改属安徽省第三行政督查区。
民国三十六年至民国三十八年（1947年-1949年）分置临泉、泉南、泉阳3县和临泉市，统规豫皖苏区四地委、四专属所辖。
民国三十八年（1949年）3月将临泉、泉南、泉阳3县和临泉市撤销，恢复旧临泉县界，成立新的临泉县。
1952年起属安徽省阜阳专区。
1971年起临泉县属安徽省阜阳地区。
1996年起属安徽省阜阳市。