大家都知道大概是“百度有啊”上線之前，淘寶網為了避免百度惡意抓取，直接屏蔽了百度蜘蛛，也就是當時鬧得沸沸揚揚的robots.txt協議 。
就算是現在打開淘寶的robots.txt協議，依然可以看到淘寶還在屏蔽百度的蜘蛛。
可是事實上真的如此么
看下圖
事實證明淘寶的robots.txt文件根本對百度蜘蛛起不到任何作用。
小弟推測百度之所以這么做是因為百度考慮到戰略方向的問題，因為查詢了一下發現一些知名店鋪在百度的排名都很不錯。足以證明百度對淘寶這種店鋪的重要性。更加戲曲化的是天貓網（淘寶商城）也是使用robots.txt協議的。同樣屏蔽了百度蜘蛛。
同樣百度采取的態度是瘋狂抓取 如圖
還有一種可能就是淘寶網以及天貓網的權重太高了，導致了百度蜘蛛不遵循搜索引擎協議而進行的抓取。不過對于這種事情可以聯想到前些日子，一淘網惡意抓取京東商城以及新蛋網等的商品數據，也是不遵循搜索引擎規則的。
直到現在京東商城等也在屏蔽一淘網的蜘蛛，
小編想說的是現在的搜索引擎為了自身利益而不遵循互聯網協議的規則，是值得反思的，呼吁這種互聯網大公司能在整個IT行業樹立標榜。