• 设备
  • 蜘蛛

百度无视robots协议

当前位置:首页 | 要闻 | 正文 2015年12月4日 12:24 新成 4217 ° 2条

关于百度无视Robots的新闻到处都是了,一开始认为百度肯定会遵循Robots协议,但是今天凑巧搜索了【6米太阳能路灯报价】这个关键词,却发现居然有搜狗搜索。然后我看了下搜狗的robots,在最后明显注明了禁止所有搜索引擎抓取。但是这个页面确展现到了百度的页面,不得不好好思考一下,百度是否正真的遵循Robots协议。我只是希望百度能尊重一下Robots,要不然Robots还有什么意义!

Robots

RobotsRobots

知识普及:

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

如果将网站视为酒店里的一个房间,robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参观,哪些房间因为存放贵重物品,或可能涉及住户及访客的隐私而不对搜索引擎开放。但robots.txt不是命令,也不是防火墙,如同守门人无法阻止窃贼等恶意闯入者。

相关阅读:

草根站长如何利用百度联盟快速赚钱

百度搜索引擎爬行蜘蛛IP大全

百度贴吧图片签名档推广日引上万流量

百度坐不住了,辟谣未推出付费SEO服务

百度调整4个竞价排名位,真的亏损了吗?

百度、腾讯、今日头条等最全广告投放及优化指南

来源:新成博客(QQ/微信:1048217914),欢迎分享,转载请注明出处!
  • #2楼 列兵(1)
    阿木木 2015/12/6 01:47
    溜溜,网站不错
  • #1楼 大校(49)
    boke112导航 2015/12/5 22:56
    这个我还真没有关注过,不过网站根目录都会设置一个robots文件,至于效果就不懂了