google网站管理员后台提示robts.txt有两个错误的问题

今天收到Google网站管理员的邮件,提示网站覆盖率存在问题。点击邮件的连接,发现是提示robots.txt存在错误。仔细检查了robots.txt文件,表面没发现任何错误。如下图。

google提示robots.txt文件存在错误
google提示robots.txt文件存在错误

反复修改测试robots.txt,始终还是提示有错误。而且始终都是提示第一行和第二行有错误。忽然想起,可能是文件编码的原因引起的,于是将robots.txt文件从“UTF-8格式编码”修改为“UTF-8无BOM格式编码”。重新测试,问题解决。具体设置如下图

robots.txt需要使用UTF8无bom格式编码
robots.txt需要使用UTF8无bom格式编码

所以大家一定要注意:robots.txt务必使用UTF-8无BOM格式编码

发表评论

电子邮件地址不会被公开。 必填项已用*标注