雙十一臨近,天貓官網 robots.txt 明確屏蔽百度蜘蛛。馬雲與李彥宏恩怨早為人知,淘寶、天貓雙十一均拒百度抓取。但淘寶網同樣屏蔽百度,百度卻依然收錄淘寶——難道是百度 Bug?
核心只有一個:**利益**。天貓雙十一是馬營銷大戲,買單的是老百姓。假設 3000 萬人購物,皆為高質量潛在用戶,國人最用百度。若百度不收錄官網,用戶搜不到入口,百度損失入口流量。對百度這筆交易微不足道,但核心入口失守必坐不住,屆時 robots.txt 自然不顧。
淘寶設 robots 拒百度,百度卻「死皮賴臉」收錄。若不收淘寶,懶得輸入網址的網民無法獲取信息,形成訪問障礙,百度用戶體驗受損。所以百度寧違協議也要收淘寶。雙十一官網無關痛癢,百度可不收;但核心資產淘寶,百度不敢不收。
商業博弈下,協議淪為廢紙,利益才是硬道理。