夏、商时期为挚国地。
西周为沈子国（今射桥镇古城村）。
楚正式称沈都为平舆邑，始有平舆之名。
秦置平舆县，属汝南郡。
东汉、三国魏、晋、南北朝因之。
南朝宋废平舆县。
北魏太和二十一年（497），复置（今县西南汝河北岸），属豫州汝南郡。
北齐县废。
隋大业二年（606），复置平舆县，属豫州汝南郡，三年（607），改州为郡，属汝南郡，十三年（617），置舆州。
唐贞观元年（627），废平舆县，并入新蔡县。
武周天授二年（691），复置平舆县（今平舆县城），属河南道蔡州。
五代属蔡州。
北宋属京西路蔡州淮康军。
金属南京路蔡州镇南军。
元至元七年（1270），废平舆县，并汝阳县，属蔡州。
明、清皆属河南布政使司汝宁府汝阳县（今汝南县）。
1913年，属汝南县。
1949年，属信阳专区汝南县。
1951年，自汝南县析置平舆县（今古槐街道），属信阳专区。
1965年，属驻马店专区。
1969年，属驻马店地区。
2000年，属驻马店市。