在數據採集場景中,針對不同網站編寫專用正則/ XPath 維護成本極高。本類基於 phpQuery(jQuery 語法的 PHP 實現),通過 CSS 選擇器統一提取邏輯,支援 HTTPS、列表/詳情頁、多字段類型(text/html/屬性),適合快速構建採集任務。
<?php
/**
* 通用列表採集類
* 依賴:phpQuery (https://github.com/punkave/phpQuery)
* 用法:$ql = new QueryList($url, $rules, $rangeSelector);
* $data = $ql->jsonArr;
*/
require_once __DIR__ . '/phpQuery/phpQuery.php';
class QueryList
{
private string $pageURL;
private array $regArr = [];
public array $jsonArr = [];
private string $regRange = '';
private string $html = '';
/**
* 構造函數:獲取頁面並可選直接解析
* @param string $pageURL 目標頁面 URL
* @param array $regArr 提取規則 ['字段名' => ['選擇器', '類型:text|html|屬性名']]
* @param string $regRange 列表容器選擇器(可選),先選大塊再逐項提取
*/
public function __construct(string $pageURL, array $regArr = [], string $regRange = '')
{
$this->pageURL = $pageURL;
$this->fetchHtml();
if (!empty($regArr)) {
$this->regArr = $regArr;
$this->regRange = $regRange;
$this->parse();
}
}
/** 重新設置規則並解析 */
public function setQuery(array $regArr, string $regRange = ''): void
{
$this->jsonArr = [];
$this->regArr = $regArr;
$this->regRange = $regRange;
$this->parse();
}
/** 獲取頁面 HTML (支援 HTTPS) */
private function fetchHtml(): void
{
$ch = curl_init($this->pageURL);
curl_setopt_array($ch, [
CURLOPT_RETURNTRANSFER => true,
CURLOPT_SSL_VERIFYPEER => false, // 生產環境請配置 CA 憑證
CURLOPT_SSL_VERIFYHOST => false,
CURLOPT_FOLLOWLOCATION => true,
CURLOPT_MAXREDIRS => 5,
CURLOPT_TIMEOUT => 30,
CURLOPT_USERAGENT => 'Mozilla/5.0 (compatible; QueryList/1.0)',
]);
$this->html = curl_exec($ch);
if ($this->html === false) {
throw new RuntimeException('cURL 錯誤: ' . curl_error($ch));
}
curl_close($ch);
}
/** 核心解析邏輯 */
private function parse(): void
{
$doc = phpQuery::newDocumentHTML($this->html);
if ($this->regRange) {
// 列表模式:先選容器,再逐項提取
$items = pq($doc)->find($this->regRange);
$i = 0;
foreach ($items as $item) {
$itemDoc = pq($item);
foreach ($this->regArr as $field => [$selector, $type]) {
$el = $itemDoc->find($selector);
$this->jsonArr[$i][$field] = $this->extractValue($el, $type);
}
$i++;
}
} else {
// 直接模式:每個選擇器獨立匹配所有元素
foreach ($this->regArr as $field => [$selector, $type]) {
$elements = pq($doc)->find($selector);
$i = 0;
foreach ($elements as $el) {
$this->jsonArr[$i][$field] = $this->extractValue(pq($el), $type);
$i++;
}
}
}
}
/** 根據類型提取值 */
private function extractValue($el, string $type): string
{
return match ($type) {
'text' => trim($el->text()),
'html' => trim($el->html()),
default => $el->attr($type), // 如 'href', 'src', 'data-id'
};
}
/** 獲取解析結果 */
public function getData(): array
{
return $this->jsonArr;
}
}
<?php
require 'QueryList.php';
$url = 'https://example.com/blog/list';
$rules = [
'title' => ['h2.post-title a', 'text'],
'link' => ['h2.post-title a', 'href'],
'excerpt' => ['.post-excerpt', 'text'],
'thumb' => ['.post-thumb img', 'src'],
];
$range = '.post-item'; // 每篇文章的容器
$ql = new QueryList($url, $rules, $range);
$data = $ql->getData();
foreach ($data as $item) {
echo "標題: {$item['title']}\n";
echo "鏈接: {$item['link']}\n";
echo "摘要: {$item['excerpt']}\n";
echo "圖片: {$item['thumb']}\n---\n";
}
$url = 'https://example.com/product/123';
$rules = [
'name' => ['h1.product-name', 'text'],
'price' => ['.price', 'text'],
'sku' => ['.sku', 'data-sku'],
'desc' => ['.description', 'html'],
'gallery' => ['.gallery img', 'src'], // 多圖會生成多行
];
$ql = new QueryList($url, $rules); // 無 range 參數
$data = $ql->getData();
// $data[0] 包含所有字段
print_r($data[0]);
$baseUrl = 'https://example.com/news?page=';
$allData = [];
for ($page = 1; $page <= 10; $page++) {
$url = $baseUrl . $page;
try {
$ql = new QueryList($url, $rules, $range);
$pageData = $ql->getData();
if (empty($pageData)) break; // 無數據停止
$allData = array_merge($allData, $pageData);
sleep(1); // 禮貌延遲
} catch (Exception $e) {
error_log("Page $page 失敗: " . $e->getMessage());
}
}
// 入庫或導出 CSV
file_put_contents('news.json', json_encode($allData, JSON_UNESCAPED_UNICODE));
// 使用 curl_multi 或 Swoole/Workerman 併發
$urls = range(1, 100)->map(fn($i) => "https://site.com/list?p=$i");
// 併發請求 -> 解析 -> 入隊列 -> Worker 消費入庫
// 採集後管道:去重、格式化、驗證、入庫
class Pipeline {
public function process(array $item): ?array {
$item = $this->clean($item);
if (!$this->validate($item)) return null;
return $this->transform($item);
}
}
瀏覽器開發者工具 → Elements 面板 → 右鍵元素 → Copy → Copy selector,快速獲取 CSS 選擇器。
QueryList 以 CSS 選擇器為核心抽象,屏蔽了底層 HTTP 與 DOM 解析細節,讓採集邏輯專注於「選什麼」而非「怎麼選」。配合 phpQuery 強大的 jQuery 兼容 API,可應對 90% 以上的靜態頁面採集需求。對於動態渲染、複雜反爬場景,建議引入 Headless Chrome 或專業採集框架 (Scrapy/Colly)。