萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

基於 phpQuery 的通用採集類:CSS 選擇器驅動的網頁數據提取

項目背景

在數據採集場景中,針對不同網站編寫專用正則/ XPath 維護成本極高。本類基於 phpQuery(jQuery 語法的 PHP 實現),通過 CSS 選擇器統一提取邏輯,支援 HTTPS、列表/詳情頁、多字段類型(text/html/屬性),適合快速構建採集任務。

核心類實現 (QueryList.php)

<?php
/**
 * 通用列表採集類
 * 依賴:phpQuery (https://github.com/punkave/phpQuery)
 * 用法:$ql = new QueryList($url, $rules, $rangeSelector);
 *       $data = $ql->jsonArr;
 */
require_once __DIR__ . '/phpQuery/phpQuery.php';

class QueryList
{
    private string $pageURL;
    private array $regArr = [];
    public array $jsonArr = [];
    private string $regRange = '';
    private string $html = '';

    /**
     * 構造函數:獲取頁面並可選直接解析
     * @param string $pageURL 目標頁面 URL
     * @param array  $regArr  提取規則 ['字段名' => ['選擇器', '類型:text|html|屬性名']]
     * @param string $regRange 列表容器選擇器(可選),先選大塊再逐項提取
     */
    public function __construct(string $pageURL, array $regArr = [], string $regRange = '')
    {
        $this->pageURL = $pageURL;
        $this->fetchHtml();
        
        if (!empty($regArr)) {
            $this->regArr = $regArr;
            $this->regRange = $regRange;
            $this->parse();
        }
    }

    /** 重新設置規則並解析 */
    public function setQuery(array $regArr, string $regRange = ''): void
    {
        $this->jsonArr = [];
        $this->regArr = $regArr;
        $this->regRange = $regRange;
        $this->parse();
    }

    /** 獲取頁面 HTML (支援 HTTPS) */
    private function fetchHtml(): void
    {
        $ch = curl_init($this->pageURL);
        curl_setopt_array($ch, [
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_SSL_VERIFYPEER => false, // 生產環境請配置 CA 憑證
            CURLOPT_SSL_VERIFYHOST => false,
            CURLOPT_FOLLOWLOCATION => true,
            CURLOPT_MAXREDIRS => 5,
            CURLOPT_TIMEOUT => 30,
            CURLOPT_USERAGENT => 'Mozilla/5.0 (compatible; QueryList/1.0)',
        ]);
        $this->html = curl_exec($ch);
        if ($this->html === false) {
            throw new RuntimeException('cURL 錯誤: ' . curl_error($ch));
        }
        curl_close($ch);
    }

    /** 核心解析邏輯 */
    private function parse(): void
    {
        $doc = phpQuery::newDocumentHTML($this->html);
        
        if ($this->regRange) {
            // 列表模式:先選容器,再逐項提取
            $items = pq($doc)->find($this->regRange);
            $i = 0;
            foreach ($items as $item) {
                $itemDoc = pq($item);
                foreach ($this->regArr as $field => [$selector, $type]) {
                    $el = $itemDoc->find($selector);
                    $this->jsonArr[$i][$field] = $this->extractValue($el, $type);
                }
                $i++;
            }
        } else {
            // 直接模式:每個選擇器獨立匹配所有元素
            foreach ($this->regArr as $field => [$selector, $type]) {
                $elements = pq($doc)->find($selector);
                $i = 0;
                foreach ($elements as $el) {
                    $this->jsonArr[$i][$field] = $this->extractValue(pq($el), $type);
                    $i++;
                }
            }
        }
    }

    /** 根據類型提取值 */
    private function extractValue($el, string $type): string
    {
        return match ($type) {
            'text' => trim($el->text()),
            'html' => trim($el->html()),
            default => $el->attr($type), // 如 'href', 'src', 'data-id'
        };
    }

    /** 獲取解析結果 */
    public function getData(): array
    {
        return $this->jsonArr;
    }
}

使用示例

場景 1:列表頁採集 (文章標題、鏈接、摘要)

<?php
require 'QueryList.php';

$url = 'https://example.com/blog/list';
$rules = [
    'title' => ['h2.post-title a', 'text'],
    'link'  => ['h2.post-title a', 'href'],
    'excerpt' => ['.post-excerpt', 'text'],
    'thumb' => ['.post-thumb img', 'src'],
];
$range = '.post-item'; // 每篇文章的容器

$ql = new QueryList($url, $rules, $range);
$data = $ql->getData();

foreach ($data as $item) {
    echo "標題: {$item['title']}\n";
    echo "鏈接: {$item['link']}\n";
    echo "摘要: {$item['excerpt']}\n";
    echo "圖片: {$item['thumb']}\n---\n";
}

場景 2:詳情頁多字段提取

$url = 'https://example.com/product/123';
$rules = [
    'name'  => ['h1.product-name', 'text'],
    'price' => ['.price', 'text'],
    'sku'   => ['.sku', 'data-sku'],
    'desc'  => ['.description', 'html'],
    'gallery' => ['.gallery img', 'src'], // 多圖會生成多行
];
$ql = new QueryList($url, $rules); // 無 range 參數
$data = $ql->getData();
// $data[0] 包含所有字段
print_r($data[0]);

場景 3:分頁採集循環

$baseUrl = 'https://example.com/news?page=';
$allData = [];

for ($page = 1; $page <= 10; $page++) {
    $url = $baseUrl . $page;
    try {
        $ql = new QueryList($url, $rules, $range);
        $pageData = $ql->getData();
        if (empty($pageData)) break; // 無數據停止
        $allData = array_merge($allData, $pageData);
        sleep(1); // 禮貌延遲
    } catch (Exception $e) {
        error_log("Page $page 失敗: " . $e->getMessage());
    }
}
// 入庫或導出 CSV
file_put_contents('news.json', json_encode($allData, JSON_UNESCAPED_UNICODE));

進階擴展建議

1. 異步併發採集

// 使用 curl_multi 或 Swoole/Workerman 併發
$urls = range(1, 100)->map(fn($i) => "https://site.com/list?p=$i");
// 併發請求 -> 解析 -> 入隊列 -> Worker 消費入庫

2. 反反爬策略

  • 隨機 User-Agent 池
  • 代理 IP 輪換 (住宅代理/數據中心代理)
  • 請求頻率控制 (Token Bucket 算法)
  • Cookie 池維護 (登錄態保持)
  • Headless Chrome (Puppeteer/PHP-WebDriver) 處理 JS 渲染頁面

3. 數據清洗管道

// 採集後管道:去重、格式化、驗證、入庫
class Pipeline {
    public function process(array $item): ?array {
        $item = $this->clean($item);
        if (!$this->validate($item)) return null;
        return $this->transform($item);
    }
}

4. 選擇器調試工具

瀏覽器開發者工具 → Elements 面板 → 右鍵元素 → Copy → Copy selector,快速獲取 CSS 選擇器。

總結

QueryList 以 CSS 選擇器為核心抽象,屏蔽了底層 HTTP 與 DOM 解析細節,讓採集邏輯專注於「選什麼」而非「怎麼選」。配合 phpQuery 強大的 jQuery 兼容 API,可應對 90% 以上的靜態頁面採集需求。對於動態渲染、複雜反爬場景,建議引入 Headless Chrome 或專業採集框架 (Scrapy/Colly)。

copyright © 萬盛學電腦網 all rights reserved