談從iis日志中探尋搜索引擎蜘蛛活動痕跡

在站點的優化過程中個並不是說所有的站點問題都可以直接從站長工具上得到信息，往往站長工具上得到的信息都是在站點出現問題後才能察覺到。作為一名SEOer，我們更需要學會站點的隱性信息。例如，這幾天做的外鏈效果怎樣？我們的內容那些方面更加容易受到搜索引擎蜘蛛的喜愛？搜索引擎蜘蛛對於我們站點的爬行積極度如何？等等，這些都是隱藏在站點內容部的一些關鍵信息。這些信息通過站長工具我們很難分析。而這些信息恰恰可以從我們的站點IIS日志上找到答案。

一：為何IIS日志在分析站點隱性信息中如此重要

1：借由該日記記錄我們可以更加清楚的分析搜索引擎蜘蛛在網站上的爬行信息，這些信息包含有蜘蛛的爬行路線以及爬行深度。通過這一些數據信息，我們可以分析近期我們建設的外鏈效果如何。因為我們知道外鏈就像是引導蜘蛛爬行的蜘蛛絲，如果外鏈建設的好的話，蜘蛛爬行的自然而然頻繁，而且我們可以記錄下從哪一個“入口”進入蜘蛛的頻率高。

2：網站的內容更新與蜘蛛爬行存在一定的關系，一般只要我們更新穩定頻繁，蜘蛛的就會爬行得更加的勤。對此我們可以借助日志中的蜘蛛來訪頻率對網站內容的更新頻率做一個細調。

3：通過日志我們可以發現空間存在的一些故障，這些故障可能是一些站長工具無法察覺到的。就比如近階段很火的美橙空間因為技術員誤操作導致空間屏蔽了百度了蜘蛛事件，假如站長們事先分析一下分析一下空間日志，或許可以發現這一錯誤。

二：如何獲得日志文件以及應注意的事項

1：要獲得該日志文件我們的空間需要有iis日志記錄的功能，假如我們的空間有這一功能的話，一般該日志文件會記錄在weblog文件夾中，我們可以直接從這一文件夾中下載我們站點的日志文件。

2：在使用這一功能時我們需要注意日志的生成時間設置，筆者的建議是如果站點是一個小型的站點可以讓它一天生成一次，假如是比較大的站點我們可以讓其每小時更新，以免生成的文件出現過大的情況。

三：如何分析解讀蜘蛛行為

我們可以記事本的方式打開我們站點的日志文件，使用記事本的搜索功能搜索百度和谷歌的蜘蛛，分別是BaiduSpider和Googlebot 。

百度蜘蛛

谷歌蜘蛛

我們可以分段進行分析：

2012-04-5 00:47:10 是在這一個事件點蜘蛛爬進了我們的站點

116.255.109.63 這個ip是指我們的站點

GET緊跟其後的就是蜘蛛爬行的頁面，從這邊我們可以了解近期我們的什麼頁面被爬行過。。

220.187.51.144 這一IP搜索引擎蜘蛛的ip地址，當然這邊就可能會出現真假兩種地址。那麼我們要如何識別這一個地址是真的蜘蛛還是偽裝的呢？筆者本文就分享自己的一個小方法，我們可以打開命令窗口，在窗口中執行nslookup+這一個所謂蜘蛛的地址。加入是貨真價實的蜘蛛，那麼就會有自己的服務器，反之則是無法找到信息。

真蜘蛛

假蜘蛛

那麼為什麼日志中會有偽造的蜘蛛呢？原因就是有其他站點偽造成假蜘蛛來爬行抓取你的站點內容。如果任由這些假蜘蛛橫行的話，會對站點的服務器消耗