萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP 打造網頁內容采集器 (爬蟲) 入門實戰

基本原理

  1. 發送 HTTP 請求取得目標頁面 HTML (原始碼)。
  2. 使用正則表達式、DOM 解析器或 CSS 選擇器提取目標資料。
  3. 清洗、轉換、儲存資料 (資料庫、檔案、API)。

核心工具選擇

需求推薦方案
簡單 GET/POSTfile_get_contents() (需 allow_url_fopen=On)、cURL
複雜請求 (Header、Cookie、Proxy、重導向、並發)GuzzleHttp/Client (Composer 套件)
HTML 解析DOMDocument + DOMXPath (內建)、symfony/dom-crawler, paquettg/php-html-parser
非同步/高併發amphp/http-client, react/http-client, Swoole 協程
JavaScript 渲染頁面 (SPA)spatie/browsershot (Headless Chrome)、puppeteer-php

入門範例:採用 Guzzle + DOMXPath

composer require guzzlehttp/guzzle symfony/dom-crawler symfony/css-selector
<?php
require 'vendor/autoload.php';

use GuzzleHttp\Client;
use Symfony\Component\DomCrawler\Crawler;

$client = new Client([
    'timeout' => 10,
    'headers' => ['User-Agent' => 'Mozilla/5.0 (compatible; MyBot/1.0)'],
    'cookies' => true, // 自動處理 Cookie
]);

try {
    // 1. 取得列表頁
    $resp = $client->get('https://example.com/books');
    $html = $resp->getBody()->getContents();

    // 2. 解析列表連結
    $crawler = new Crawler($html);
    $links = $crawler->filter('.book-item > a')->links(); // CSS 選擇器

    foreach ($links as $link) {
        $detailUrl = $link->getUri();
        echo "採集: $detailUrl\n";

        // 3. 取得詳情頁
        $detailResp = $client->get($detailUrl);
        $detailHtml = $detailResp->getBody()->getContents();
        $detail = new Crawler($detailHtml);

        // 4. 提取結構化資料
        $data = [
            'title' => $detail->filter('h1.title')->text(),
            'author' => $detail->filter('.author')->text(),
            'price' => $detail->filter('.price')->text(),
            'content' => $detail->filter('#content')->html(), // 保留 HTML
            'source_url' => $detailUrl,
            'crawled_at' => date('c'),
        ];

        // 5. 儲存 (示範存 JSON Lines)
        file_put_contents('books.jsonl', json_encode($data, JSON_UNESCAPED_UNICODE) . "\n", FILE_APPEND);

        // 禮貌延遲
        usleep(500_000); // 0.5 秒
    }
} catch (GuzzleHttp\Exception\RequestException $e) {
    error_log("請求失敗: " . $e->getMessage());
}
?>

正則表達式 vs DOM 解析

  • 正則:快速原型、結構固定簡單片段、非標準 HTML。缺點:HTML 巢狀結構難以正確匹配、易斷、維護困難。
  • DOM/XPath/CSS Selector:標準化、健壯、可維護、支援屬性/文字/HTML 多種提取。**推薦作為主力**。

反爬蟲應對基礎

  • 隨機 User-Agent、Referer、Accept-Language。
  • 使用代理 IP 池 (付費/免費),輪換 IP。
  • 模擬真實瀏覽器行為:Cookie 持久化、間隔隨機延遲、滾動/點擊 (Headless)。
  • 處理驗證碼:OCR API、人工打碼平台、避開需驗證碼頁面。
  • 遵守 robots.txt、Crawl-delay、頻率限制,**合法合規採集**。

資料清洗與儲存建議

  1. 去除多餘空白、HTML 實體解碼 (html_entity_decode)。
  2. 統一編碼為 UTF-8 (mb_convert_encoding)。
  3. 結構化驗證 (JSON Schema、Respect/Validation)。
  4. 去重:URL 去重 (Bloom Filter/Redis Set)、內容指紋去重 (SimHash)。
  5. 儲存:MySQL/PostgreSQL (結構化)、MongoDB (半結構)、Elasticsearch (全文搜尋)、檔案 (JSONL/CSV/Parquet)。

法律與道德邊界

  • 檢查目標網站 robots.txt、服務條款 (ToS)。
  • 不採集個人隱私、受版權保護內容、需登入的私有資料。
  • 採集頻率不影響目標網站正常服務。
  • 商業用途請諮詢法律顧問,風險自負。

進階架構建議

大型採集專案建議採用:

  • 調度器:cron + supervisor 或 Laravel Scheduler / Symfony Messenger。
  • 佇列:Redis/RabbitMQ 儲存待採集 URL,Worker 消費。
  • 去重/狀態:Redis (URL 集合、失敗重試計數)。
  • 監控:Prometheus + Grafana 監控成功率、延遲、佇列堆積。
  • 容器化:Docker 打包 Worker,K8s 擴縮容。
copyright © 萬盛學電腦網 all rights reserved