淘宝为什么要屏蔽百度蜘蛛（电子商务：淘宝为什么禁止搜索引擎蜘蛛爬行抓取内容）

?

我们都知道在国内如果买东西的话去淘宝购买就好了，对于普通网名来说他们不会在浏览器中搜索域名进入淘宝网站，更多的是在搜索引擎中搜索“淘宝”，我们可以看到淘宝网屏蔽搜索引擎的蜘蛛爬虫，淘宝网在网站根目录下的robots.txt文件中设置相关命令，禁止搜索引擎蜘蛛获取网页信息。

这个“robots.txt”是什么呢?

robots.txt(小写字母)是一种存放在一些网站的服务器根目录下的ASCII编码的文本文件。它的作用是告诉搜索引擎的爬虫机器人(又称网络蜘蛛、漫游器)该网站中的哪些内容是不允许被搜索引擎爬虫抓取的，哪些是允许被抓取的。由于在一些系统中URL大小写敏感，因此robots.txt的文件名均统一为小写。robots.txt放置在网站的根目录下。

淘宝为什么要这样做呢?

网上的说法有很多种，在我看来有2个重要的原因：

1、保护用户的信息

搜索引擎对动态页面的抓取技术越来越成熟，在没屏蔽爬虫的情况下，爬虫是可以抓取到用户登陆之后的信息的，抓取之后是有可能在搜索引擎中搜索时候展现出来的，基于这种前提淘宝考虑屏蔽。

2、抢夺流量入口

可以试想一下如果在百度搜索中，搜索淘宝的一家店铺名字能够展现出来这个淘宝店铺的话，会有多少人直接用百度搜索淘宝店铺购买想要的东西了，而不会先进入到淘宝网再对淘宝店铺进行搜索了?那么这一部分本来就属于淘宝的流量被百度给抢走了，淘宝能干嘛?

再试想一下，这些流量都被百度抢走之后淘宝网首页的大图推荐还能卖多少钱?淘宝的直通车还能赚钱吗?淘宝自己开发的那么多产品不都是通过流量来变现的吗?这些流量被百度拿走了对淘宝来说是一个巨大的损失。

综合这2点重要的因素我们了解到淘宝通过禁止搜索引擎爬虫的抓取，抢夺到一大批的流量，同时淘宝还在搜索引擎上购买流量，如下图：

天猫本身是屏蔽蜘蛛抓取的，但是他们在百度付费推广做广告，等于是在付费购买百度搜索引擎的流量。

淘宝在拥有大流量大数据的情况下开发出各种针对商家的产品，让商家对这自己需要的部分流量进行付费买单，从而实现流量变现。

https://www.leosem.com/

淘宝和百度是两个独立的公司

一、淘宝网是中国*集团旗下网络购物网站，由马云创立于2003年5月10日，是面向中国大陆、*、*、*等地消费者的C2C购物网站（B2C模式网站——天猫已拆出），个人或企业均可在淘宝网开设自己的网络店铺，此外淘宝网上还拥有拍卖平台。2011年6月16日，网站分拆为淘宝网、天猫、一淘网。

二、百度公司（简称百度，英语：Baidu）是一家提供以简体中文内容为主的网络搜索引擎服务的公司，于2000年1月由李彦宏、徐勇两人创立于北京中关村。名称中的“百度”二字源自中国南宋词人辛弃疾的《青玉案·元夕》的一句词：“众里寻她千百度，蓦然回首，那人却在灯火阑珊处”，企业标志则有一个熊掌的意象。

截至2009年，根据中国大陆调研机构艾瑞咨询发布的2009年第二季中国搜索引擎请求量监测数据，百度也是中国大陆市场份额最大的搜索引擎（因为2012年8月360搜索在中国大陆上线，随即夺去10%市场份额，2013年7月据CNZZ数据显示360搜索占有率达到17%，百度份额跌至60%）。截至2015年2月，百度在Alexa全球互联网排名第五位，中国大陆互联网排名第一。