從天貓雙十一官網看robots協議

class="area"> 　　一年一度的天貓雙十一就快來了，所謂外行熱鬧，內行看門道。天貓雙十一官網的robots.txt協議寫的明顯針對百度搜索引擎，因為從該網站robots.txt協議中，我們可以獲知這個網站已經明確不允許百度搜索引擎收錄。

至於馬雲和李彥宏的恩恩怨怨早已家喻戶曉，但在這千絲萬縷的關系中，我們不難發現，淘寶和百度是死對頭，但是天貓雙十一只是這兩個人斗角的縮影，前段時間搜索引擎互聯網大會召開，追對robots協議的遵守，各家搜索引擎公司都是表示支持的，但是真的會支持robots.txt協議嗎？其實筆者認為，淘寶雙十一沒有收錄不代表百度就一點會遵守robots.txt，為什麼這麼說呢？大家都知道淘寶網吧，淘寶網也是馬雲的，但是你訪問http://www.taobao.com/robots.txt的話，你同樣可以看到淘寶網是不支持百度搜索引擎蜘蛛抓取的。不管是天貓雙十一還是淘寶網，都是不支持百度搜索引擎的，那我們可以根據搜索引擎蜘蛛爬行規律來判斷，百度搜索引擎蜘蛛要是遵守robots協議的話，應該不可能收錄淘寶網呀，但是百度還是收錄了。這難道是百度的BUG？筆者不想多說什麼。

那麼為什麼眾多搜索引擎都不太遵守robots協議呢？其實很簡單，就是為了利益。就拿本文的主題來說，天貓雙十一它本身就是個營銷手段，這個營銷手段是馬雲搞得，誰會買賬呢？自然是老百姓。好了，我們算這次有3000萬人去淘寶購物，那麼著3000萬人中都是潛在的高質量用戶群體，這些用戶群體都是國人，國人用的最多的是百度，除了百度還是百度，那麼這麼多人群中肯定有人不知道天貓雙十一的官網網站，他們肯定是在百度裡搜索一下呀，至少筆者之前也不知道天貓雙十一的官方網站，但筆者和大眾都認為，天貓這麼大的活動，百度肯定是第一名呀，但是筆者和大眾都失望了。百度壓根就沒有收錄天貓雙十一的官方網站。單這筆交易對百度來說無所謂，因為百度不在乎這點錢，但是如果核心的東西失去了，百度肯定坐不住，那時候它也不會顧及robots.txt這個文本了。

淘寶設置了robots協議，並且明確要拒絕被百度收錄，但是百度還是死皮賴臉的收錄它。假設天貓雙十一百度不收錄，對百度的影響微乎其微，打，但是淘寶網如果百度不收錄，對想去淘寶網購物有懶得去輸入網址的網民來說，就形成障礙了。因為他們通過百度搜索引擎無法獲得它們想要的信息，這就是百度為什麼要死皮賴臉的收錄淘寶網。

本文由南京SEO原創，地址：http://www.nanjing-seo.com/seo/2012/1106/68.html轉載請注明原文出處，謝謝。