夏商时期，巨地属徐州北境。
西周时期，为鲁国地。
春秋时期，巨野境内有昌邑、咸丘邑、垂葭邑。
战国时期，前475年，属宋国，前286年，改属齐国。
秦朝时期，始皇二十六年（前221），置昌邑县，（在今巨野县东南昌邑集）属砀郡。
西汉初期，巨野境内有昌邑县。
西汉中期增置巨野县和乘氏县。
汉景帝中元六年（前144），分梁国为5国，于昌邑置山阳国，昌邑县，巨野县均属之。
汉武帝建元五年（前136），改山阳国为山阳郡。
昌邑、巨野两县属之。
汉宣帝元平元年（前74），撤消昌邑国，为山阳郡。
昌邑、巨野随属。
新莽始建国元年，为巨野郡，治巨野，巨野、昌邑仍属之。
汉光武帝刘秀建武元年（25）撤消巨野郡，恢复山阳郡，昌邑、巨野属之。
东汉初，昌邑为兖州刺史部治所。
三国时期，巨野、昌邑两县属山阳郡。
晋朝时期，晋武帝泰始元年（265），改山阳郡为高平国，治昌邑。
巨野、昌邑属之。
南北朝时期，巨野先属南朝高平郡，后属北魏任城郡。
永初元年（420），撤消昌邑，并入金乡县。
北齐撤消巨野县，其地入乘氏、金乡二县。
隋朝时期，开皇十六年（596），恢复巨野县，和昌邑县并于乘氏故城置乘丘县。
隋炀帝大业二年（606），又废乘丘并入巨野县，属郓州东平郡；废昌邑入金乡，属曹州济阳郡。
唐朝时期，武德四年（621），于巨野置麟州，复置乘丘县为属县。
武德五年（622），撤消麟州，复置昌邑县。
巨野、乘丘二县同属郓州。
昌邑县属戴州。
武德八年（625），撤消昌邑县，入金乡县属鲁郡。
（从此无昌邑县）。
唐贞观元年（627），省乘丘入巨野，属戴州。
贞观十七年（643）属戴州，巨野仍属郓州。
五代时期，后周广顺二年（952）移济州于巨野县城，巨野、金乡属之。
宋朝时期，巨野、金乡县属济州、济阳郡，郡治巨野。
金朝时期，金、天德二年（1150），黄河大决口，淹没巨野，济州迁往任城并撤消巨野县，百姓分别迁至济州之郓城、嘉祥、金乡三县。
元朝时期，至元六年（1269），恢复巨野县，济州亦由任城迁回巨野。
至元八年（1271），升济州为济宁府。
至元十六年（1279），升府为济宁路。
至正八年（1348），黄河大决口，巨野再次被水淹没，遂迁济宁路于济州（任城），迁县治于城北刑家务。
明朝时期（1374），黄水淹没巨野，至洪武九年（1376）消退，县治由刑家务迁入巨野县城，重建县公署。
洪武十八年（1385），兖州升为府，济宁降为州，巨野县随济宁州属兖州府。
清朝时期，雍正八年（1730），巨野县改属曹州直隶州。
雍正十三年（1735）升曹州为曹州府，巨野县属之。
民国时期，1914年，巨野县属济宁道。
1928年废除道制，巨野直属省。
1929年，于菏泽置山东省第二区行政督察专员公署，巨野县属之。
1938年，山东省第二区行政督察专员公署分为第十、第十一、第十二专署，巨野属第十专署。
抗日战争时期，1939年7月中共苏鲁豫区党委于巨(野)、菏(泽)、金(乡)、定(陶)、成(武)5县结合部建立巨菏金定成五县边抗日民主政权，同年9撤销。
1941年2月建立巨野县抗日民主政敉背闪⒌木藓式鸺纬晌逑亓习焓麓芟剑?943年1月属晋冀鲁豫边区第二十一(湖西)专区和五县联办双重管辖。
1942年2月于巨野、菏泽邻接地区建立巨菏抗日办事处，属鲁西行政区第二专区；1942年6月正式改为巨菏县，12月巨菏县与郓南县合并建立郓鄄巨菏四县边区(县)，属晋冀鲁豫第十七专区；1943年11月该四边县改建为临泽县，隶属不变；1944年12月自临泽县析置郓(城)巨(野)县，仍以郓鄄巨菏四县边区为其行政区域，属冀鲁豫行政区第八(运西)专区第二办事处管辖。
1943年初于巨野与金乡结合部建立金巨县，属晋冀鲁豫边区第二十一(湖西)专区和巨南(巨菏金嘉成)五县边联合办事处双重管辖。
1946年1月巨野与金巨2县均属冀鲁豫行政区第七专区(运西地区东部)。
同年3月撤销金巨县，改建巨南县，属冀鲁豫第三(湖西)专区；巨野县属冀鲁豫第二(运西)专区。
1948年4月巨野县属冀鲁豫第第七专区。
1949年8月巨野县属平原省湖西专区；撤销郓巨县，东部并入巨野，其余并入菏泽和郓城县；撤销巨南县，北部并入巨野，其余并入成武县。
1952年11月随湖西专区划归山东省。
1953年8月撤销湖西专区，巨野转属菏泽专区。
1958年12月改属济宁专区。
1959年7月复属菏泽专区(1967年改称菏泽地区)。
2000年6月属地级菏泽市。