据明万历年间《滕县志》、《峄县志》记载，以及考古发现，山亭区辖境，早在7300年前的新石器时代，就有人类繁衍生息。
山城、西集等镇（街道）发现多处属于大汶口文化、龙山文化的遗址。
夏朝时期，凫城乡、北庄镇、西集镇（下称南部）境域属鄫国，山城街道、徐庄镇、水泉镇、城头镇、冯卯镇、桑村镇、店子镇7处镇（街道）（下称北部）境域属滕国。
殷商时代，南部境域属蔇国，殷封蔇子翦于蔇，属大彭国。
蔇旧域在今西集附近。
北部境域归滕国郳国。
郳国即小邾国，是滕国的附庸国。
西周时代，南部境域属郑国，北部境域属滕鄫(鲁国附庸国)。
春秋时期，南部境域属郑国，北部境域属滕国和小邾国。
战国时期，南部境域属兰陵，北部境域属滕国。
公元前254年，山亭区境全属楚、秦。
南部境域属蔇县，北部境域属滕县。
西汉，南部境域属楚国氶县，北部境域属鲁国、沛国滕县。
东汉，南部境域属琅琊国的氶县、蔇县；北部境域属鲁国，沛国、蕃县、合乡县。
三国，南部境域属东海郡县，北部境域属东海郡蕃县、合乡县。
晋朝，南部境域属兰陵郡氶县，北部境域属彭城郡蕃县。
南北朝，南部境域属兰陵郡氶县，北部境域属鄫郡蕃县。
隋开皇三年（583)罢兰陵郡，隋开皇六年（586)改蕃县为滕县。
北部境域属滕县。
隋开皇十六年（596)改氶县为郑州。
设兰陵县(治旧氶域)。
隋仁寿二年（602)废郑州，改兰陵县为氶县，南部境域属氶县、兰陵县。
唐朝，北部境域有的属徐州彭城郡滕县，有的属沂州琅琊郡氶县，南部境域属沂州琅琊郡氶县。
宋朝，北部境域隶属京东西路徐州彭城郡滕县(后改滕阳县)，南部境域隶属京东东路徐州琅琊郡氶县。
金代，北部境域属滕阳州（后改滕县），南部境域隶属峄州。
元代，山亭区全境属山东西路。
北部境域属滕州，南部境域属峄州。
明代，山亭区全境属山东省济宁府(后属兖州府)，北部境域属滕县。
南部境域属峄州(后降为峄县)。
清代，山亭区全境属山东省兖州府，北部境域属滕县，南部境域属峄县。
中华民国，山亭区境内乡镇先后属滕县、峄县、峄县抗日民主政府、滕峄边工委(县委)、费滕峄中心县(实验县)、双山县、麓水县、白彦县管辖。
1949年至1983年11月，山亭区境内乡镇先后属滕县、麓水县、白彦县、峄县、枣庄市（县级）、枣庄市齐村区管辖。
1983年11月15日经山东省人民政府批准，并报国务院备案，由原滕县东部8处山区乡镇和原齐村区北部6处山区乡镇合并组成山亭区，为枣庄市市辖区。