• 设备
  • 蜘蛛

百度无视robots协议

当前位置:首页 | 站长资讯 | 正文 2015年12月4日 12:24 新成 3961 ° 2条

关于百度无视Robots的新闻到处都是了,一开始认为百度肯定会遵循Robots协议,但是今天凑巧搜索了【6米太阳能路灯报价】这个关键词,却发现居然有搜狗搜索。然后我看了下搜狗的robots,在最后明显注明了禁止所有搜索引擎抓取。但是这个页面确展现到了百度的页面,不得不好好思考一下,百度是否正真的遵循Robots协议。我只是希望百度能尊重一下Robots,要不然Robots还有什么意义!

Robots

RobotsRobots

知识普及:

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

如果将网站视为酒店里的一个房间,robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参观,哪些房间因为存放贵重物品,或可能涉及住户及访客的隐私而不对搜索引擎开放。但robots.txt不是命令,也不是防火墙,如同守门人无法阻止窃贼等恶意闯入者。

相关阅读:

百度严打虚假推广 清理38亿条违规链接仅是开始?

百度坐不住了,辟谣未推出付费SEO服务

百度竞价位减少应对攻略

SEOer必知:搜索引擎都重视原创的三大理由

零成本稳做百度首页网站优化技巧

百度“蓝天算法”正式上线 严厉打击低质软文侵扰用户

来源:新成博客(QQ/微信:1048217914),欢迎分享,转载请注明出处!
  • #2楼 列兵(1)
    阿木木 2015/12/6 01:47
    溜溜,网站不错
  • #1楼 大校(49)
    boke112导航 2015/12/5 22:56
    这个我还真没有关注过,不过网站根目录都会设置一个robots文件,至于效果就不懂了