• 设备
  • 蜘蛛

百度无视robots协议

当前位置:首页 | 站长资讯 | 正文 2015年12月4日 12:24 新成 2114 ° 2条

关于百度无视Robots的新闻到处都是了,一开始认为百度肯定会遵循Robots协议,但是今天凑巧搜索了【6米太阳能路灯报价】这个关键词,却发现居然有搜狗搜索。然后我看了下搜狗的robots,在最后明显注明了禁止所有搜索引擎抓取。但是这个页面确展现到了百度的页面,不得不好好思考一下,百度是否正真的遵循Robots协议。我只是希望百度能尊重一下Robots,要不然Robots还有什么意义!

Robots

RobotsRobots

知识普及:

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

如果将网站视为酒店里的一个房间,robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参观,哪些房间因为存放贵重物品,或可能涉及住户及访客的隐私而不对搜索引擎开放。但robots.txt不是命令,也不是防火墙,如同守门人无法阻止窃贼等恶意闯入者。

相关阅读:

百度“蓝天算法”正式上线 严厉打击低质软文侵扰用户

2017年百度快速排名SEO的操作思路

百度上线辟谣平台,将在搜索中显著标明“谣言”

如何用爱奇艺视频长尾关键词如何快速做到百度首页

同样是新站 为什么别人的网站更受搜索引擎的欢迎

怎么让自己的网站更受搜索引擎喜欢

来源:新成博客(QQ/微信:1048217914),欢迎分享,转载请注明出处!
  • #2楼 列兵(1)
    阿木木 2015-12-6 01:47
    溜溜,网站不错
  • #1楼 大校(49)
    boke112导航 2015-12-5 22:56
    这个我还真没有关注过,不过网站根目录都会设置一个robots文件,至于效果就不懂了