中华民国时期，属勃利县管辖，初隶南乡，后改隶小五站镇。
1931年东北沦陷后，隶属十一甲。
1938年日本侵略者强占民地，设立桃山开拓点。
1945年“九三”抗日战争胜利后，隶属勃利县第五区管辖。
1948年桃山区划归新增设的七台河区。
新中国成立后，1951年2月改为第十二区。
1955年5月，复改为七台河区。
1956年3月，撤七台河区划乡，隶属七台河乡管辖。
1958年9月，并入七台河人民公社，同年底划归七台河矿区公社管辖；1960年3月，改隶七台河镇公社。
1965年2月，划归七台河特区管辖。
1970年4月，改隶七台河市。
同年5月，设立市属桃山街道。
1973年6月，并入红旗公社。
1978年9月，七台河市政府自北山迁至桃南（今桃山区）。
1981年10月，复设桃山街道。
1984年1月21日，黑龙江省省政府批准，设立桃山区，名称沿用至今。