萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP 實現搜尋引擎蜘蛛訪問日誌記錄與分析

核心識別邏輯

透過解析 `$_SERVER['HTTP_USER_AGENT']` 判斷來訪者是否為已知爬蟲,並記錄時間、IP、蜘蛛名稱、請求 URL。

<?php
function logSpiderVisit(): void
{
    $ua = strtolower($_SERVER['HTTP_USER_AGENT'] ?? '');
    $botMap = [
        'googlebot'        => 'Google',
        'mediapartners-google' => 'Google Adsense',
        'baiduspider'      => 'Baidu',
        'sogou spider'     => 'Sogou',
        'sogou web'        => 'Sogou Web',
        'sosospider'       => 'SOSO',
        '360spider'        => '360Spider',
        'yahoo'            => 'Yahoo',
        'msnbot'           => 'MSN/Bing',
        'bingbot'          => 'Bing',
        'yandex'           => 'Yandex',
        'duckduckbot'      => 'DuckDuckGo',
        'ia_archiver'      => 'Alexa',
        'slurp'            => 'Yahoo Slurp',
    ];

    $botName = 'Other';
    foreach ($botMap as $key => $name) {
        if (strpos($ua, $key) !== false) {
            $botName = $name;
            break;
        }
    }
    // 通用 bot 關鍵字兜底
    if ($botName === 'Other' && strpos($ua, 'bot') !== false) {
        $botName = 'Unknown Bot';
    }

    if ($botName !== 'Other') {
        $logLine = sprintf(
            "%s\t%s\t%s\t%s\n",
            date('Y-m-d H:i:s'),
            $_SERVER['REMOTE_ADDR'] ?? 'unknown',
            $botName,
            'https://' . ($_SERVER['HTTP_HOST'] ?? '') . ($_SERVER['REQUEST_URI'] ?? '')
        );
        // 建議使用檔案鎖定避免併發寫入衝突
        $fp = fopen(__DIR__ . '/logs/spider.log', 'a');
        if ($fp) {
            flock($fp, LOCK_EX);
            fwrite($fp, $logLine);
            flock($fp, LOCK_UN);
            fclose($fp);
        }
    }
}

// 在入口文件或公共引入檔中調用
logSpiderVisit();
?>

進階優化建議

  • 日誌輪轉:按天/大小分割,避免單檔過大。
  • 資料庫存儲:高流量站點改寫入 MySQL/Redis,便於統計分析。
  • 偽造 UA 識別:結合 IP 反查(如 `whois`、已知爬蟲 IP 段庫)驗證真實性。
  • 統計報表:定時任務聚合生成每日/每小時蜘蛛爬取頻次、狀態碼分布、抓取路徑熱力圖。

合規提醒

記錄 IP 屬個人資料,需遵循 GDPR/個資法,建議:

  1. 日誌保留期限不超過 30 天。
  2. IP 存儲前進行脫敏(如保留前兩段:`192.168.xxx.xxx`)。
  3. 在 `robots.txt` 聲明爬蟲政策。
copyright © 萬盛學電腦網 all rights reserved