明清时属即墨县仁化乡。
1898年德国侵占后，属胶澳租界青岛区，为德国"提督府"所在地。
1929年属青岛特别市。
1938年-1945年属日伪“青岛特别市"。
1945年抗日战争胜利后，国民党政府于1946年将青岛市区分为市南等4个区，以位于市区南部，故名。
新中国成立后，1949年市南区境分置为市南、台西、浮山3个区，并设区公所，青岛市政府驻市南区。
1951年市南区公所改为市南区人民政府，沿用至今。
1954年市南区辖9个街道。
1955年将浮山、湛山地区划归市南区，设置两个街道。
1958年设立浮山人民公社，属市南区。
1963年初所辖11个街道调整合并为7个。
同年3月经国务院批准，撤销台西区，将所辖的云南路、郓城北路、单县路、台西路、南村路5个街道划归市南区，另一部划归市北区。
1984年撤销浮山人民公社，将浮山、湛山地区重新划为湛山、浮山、辛家庄3个街道。
1992年撤并郓城北路，设立西陵峡路街道。