搜索问答之如何取消封禁百度蜘蛛？

一般比较常见的封禁行为有robots封禁、封禁百度UA、封禁百度IP这三种，可以逐一排查解决：

A 查看robots.txt文件，是否存在封禁记录。（一般robots.txt文件放置在网站根目录下。）

B robots文件无异常，进一步排查是否存在封禁百度UA情况；

方案一：执行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'

注：正常返回码是200，其他情况为异常。

方案二：变更浏览器UA验证；

C 以上验证均无异常，最后进一步排查是否存在IP级别的封禁；

常见的IP封禁，源自网站的防火墙系统配置，需要查看防火墙配置系统后台，检查是否存在百度蜘蛛的IP级别封禁措施。