站长视角
用户至上

Google SEO搜索引擎已编入索引,尽管遭到 robots.txt 屏蔽

Google Search Console 的 覆盖率报告中出现:已编入索引,尽管遭到 robots.txt 屏蔽,怎么解决?最简单的解决方案:修改 robots.txt 文件,或直接将 URL 301 至有效页面。

一定有人好奇,为什么 URL 已经被 robots.txt 文件屏蔽,还是会被谷歌索引?

导致该问题的原因

因为这个链接有可能是通过不同的提交来源,或者是其他的引荐来源获取的,谷歌并没有事先进行 robots.txt 的判断就将 URL 编入了索引。包括但不仅限如下这些情况:

  • 这些链接出现在了其他的的网页上(例如外链,大概率都是因为这个)
  • 这些链接之前是没有被屏蔽的,但是你之后又设置了屏蔽。
  • 这些链接被它人通过特殊方式进行了提交(例如 Ping,不太可能发生)
  • 这些链接,被你自己通过 Sitemap 的方式,或者是手动提交的方式给提交了。

解决方案

浏览器中输入 域名/robots.txt 查看自己的 robots.txt 文件,并对比 URL,确认屏蔽是否合理。

如果合理则忽略该提示(因为随着时间,谷歌会主动删除你的链接);如果不合理,则删除 robots.txt 中对应的命令。

如果觉得等待谷歌判断花费的时间较长,而你又是个急性子,那么建议你直接将 URL 301 重定向至有效的页面,或是首页。

需要关注的重点

如果被你用 robots.txt 屏蔽的页面是你的核心页面(落地页、搜索流量入口页等)那么必须及时调整 robots.txt 文件。否则时间长了谷歌有可能会主动将该链接移出索引!

关于 国外主机测评

%title插图%num【声明】:本站宗旨是为方便站长、科研及外贸人员,请勿用于其它用途!站内所有内容及资源,均来自网络。本站自身不提供任何资源的储存及下载,若无意侵犯到您的权利,请及时与我们联系。另外群里不定期放出优质免费资源,欢迎加入!

广告位招租,详情联系站长。
赞(0)
版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权, 转载请注明出处。
文章名称:《Google SEO搜索引擎已编入索引,尽管遭到 robots.txt 屏蔽》
文章链接:https://www.veidc.com/30062.html
【声明】:国外主机测评仅分享信息,不参与任何交易,也非中介,所有内容仅代表个人观点,均不作直接、间接、法定、约定的保证,读者购买风险自担。一旦您访问国外主机测评,即表示您已经知晓并接受了此声明通告。
【关于安全】:任何 IDC商家都有倒闭和跑路的可能,备份永远是最佳选择,服务器也是机器,不勤备份是对自己极不负责的表现,请保持良好的备份习惯。
标签:
广告位招租,欢迎骚扰
广告位招租,详情联系站长。