您现在的位置是：主页 > 品牌 > 百度 >
淘宝局部恢复对百度爬虫的访问权限
发布时间：2016年05月24日 12:11:43 百度 人已围观
简介淘宝近日对百度蜘蛛开放了七个目录，相关媒体对此进行了报道。为了解具体情况，许多用户查看了淘宝的robots协议，确认了这一消息的真实性。这一举措可能对淘宝与百度之间的合作...
据悉，今日传出一则重磅消息，淘宝向百度蜘蛛开放了部分目录。于是，笔者迅速查看了淘宝的robots协议，果然，淘宝已向百度开放了七个目录，如下图所示：
接下来，我们分析一下淘宝此番开放给百度的目录具体包括哪些内容。
1. /article 目录中，主要为网站地图下的列表页面;
2. /oshtml 目录内，同样包含网站地图下的全球购和爱逛街等列表页面，已向百度开放;
3. /product 目录的页面状态为403 Forbidden（可能是操作失误，因为没有理由对搜索引擎开放一个403状态的页面，还特意制定Robots协议）;
4. 在 /Spu 目录下，未能找到相关页面;
5. /dianpu 目录实际上是繁体字台湾的店铺列表，而非店铺主页面，令人略感失望;
6. /wenzhang 目录中，包含了淘宝头条的文章，大部分为信息分享类页面;
7. /oversea 目录并不存在。
Robots协议是国际搜索引擎对网站内容抓取的标准协议，通常搜索引擎必须遵守。
2008年，马云做出了一个具有重大影响的决定，禁止百度蜘蛛在robots.txt协议中抓取淘宝内容，这也是淘宝店铺无法通过百度搜索引流的原因。马云曾表示，百度带来的流量质量差，转化率不高。
淘宝今天向百度蜘蛛开放特定目录，显然不是由于技术错误。从目录结构来看，此次开放的主要是与文章资讯相关的内容，而淘宝店铺相关的目录仍然处于屏蔽状态。