宁推网-站长资讯

通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀

通过网站日志分析,会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀,如:.php、.asp、.aspx等。

搜外网站后台日志分析结果如下图:

搜外主站实际上不存在php后缀的URL地址。

可通过robots.txt文件禁止蜘蛛抓取不存在的后缀,减少出现404返回值。

在robots.txt文件填写屏蔽规则如下:

Disallow: /*.asp$Disallow: /*.php$Disallow: /*.aspx$

注意前面一个*,后面一个$,代表后缀。

参考搜外的robots.txt文件写法,点击这里

扩展阅读:

robots.txt概念和10条注意事项

1、宁推网原创文章未经授权转载必究,如需转载请联系授权;
2、转载时须在文章头部明确注明出处、保留作者和原文链接,如:转自宁推网字样;
3、宁推网报道中所涉及的所有内容均由用户提供,仅供参考!
4、声明:该文观点仅代表作者本人,宁推网系信息发布平台,宁推网仅提供信息存储空间服务。