宁推网-站长资讯

robots封禁后 为什么线上结果没有立刻消除或百度爬虫依旧对封禁目录进行抓取

2022-06-19 13:32:31· 稿源：网络整理
中介网(zhongjie.com)：专注互联网虚拟资产中介交易平台

您好，网站在设置robots封禁，您可以使用站长平台的robots工具进行更新，更新后可以尝试使用抓取诊断工具进行检测。 百度在robots封禁后，百度可以保证不再对robots封禁的网站和目录进行抓取，但无法保证线上结果会立即消除，线上更新需要一定周期。如您站想快速删除索引，您可以将域名设置404状态，使用死链工具进行提交。如问题依旧存在，请进行人工反馈。

1、宁推网原创文章未经授权转载必究，如需转载请联系授权；
2、转载时须在文章头部明确注明出处、保留作者和原文链接，如：转自宁推网字样；
3、宁推网报道中所涉及的所有内容均由用户提供，仅供参考！
4、声明：该文观点仅代表作者本人，宁推网系信息发布平台，宁推网仅提供信息存储空间服务。