萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP cURL 抓取 AJAX 非同步載入內容的完整指南

許多現代網站採用 AJAX 非同步載入資料,直接抓取網頁原始碼只會得到 JavaScript 模板而非實際資料。解決關鍵在於:找出 AJAX 請求的真實後端 API 端點與參數,直接對該端點發送請求。本文詳解完整流程與 cURL 實作範例。

核心步驟

  1. 開啟瀏覽器開發者工具(F12)Network 分頁
  2. 篩選 XHR 或 Fetch 類型請求
  3. 觀察請求的 Request URL、Method、Headers、Payload/Query String
  4. 以 cURL 模擬相同請求,攜帶必要的 Cookie、Header、參數

實作範例:抓取某校園新聞系統的 AJAX 資料

<?php
// 建立暫存 Cookie 檔案
$cookieFile = tempnam(sys_get_temp_dir(), 'cookie_');

// --- 步驟 1:先訪問首頁建立 Session / 取得 Cookie ---
$ch = curl_init('https://www.example.edu.cn/default.html');
curl_setopt_array($ch, [
    CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
    CURLOPT_HEADER => 0,
    CURLOPT_RETURNTRANSFER => 1,
    CURLOPT_FOLLOWLOCATION => 1,
    CURLOPT_ENCODING => 'gzip, deflate',
    CURLOPT_COOKIEJAR => $cookieFile,  // 儲存 Cookie
    CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
    CURLOPT_SSL_VERIFYPEER => false,   // 僅測試環境使用
    CURLOPT_TIMEOUT => 30,
]);
$homeContent = curl_exec($ch);
curl_close($ch);

// --- 步驟 2:攜帶 Cookie 請求 AJAX API ---
$apiUrl = 'https://www.example.edu.cn/xww/dwr/call/plaincall/portalAjax.getNewsXml.dwr';
$postData = 'callCount=1&page=/xww/type/1000020118.html&httpSessionId=xxx&scriptSessionId=yyy&c0-scriptName=portalAjax&c0-methodName=getNewsXml&c0-id=0&c0-param0=string:10000201&c0-param1=string:1000020118&c0-param2=string:news_&c0-param3=number:10&c0-param4=number:1&batchId=0';

$ch = curl_init($apiUrl);
curl_setopt_array($ch, [
    CURLOPT_POST => true,
    CURLOPT_POSTFIELDS => $postData,
    CURLOPT_HTTPHEADER => [
        'Content-Type: text/plain',  // DWR 協議通常為 text/plain
        'Referer: https://www.example.edu.cn/xww/type/1000020118.html',
    ],
    CURLOPT_COOKIEFILE => $cookieFile, // 讀取 Cookie
    CURLOPT_RETURNTRANSFER => 1,
    CURLOPT_ENCODING => 'gzip, deflate',
    CURLOPT_TIMEOUT => 30,
]);
$ajaxResponse = curl_exec($ch);
curl_close($ch);

// 清理暫存檔
@unlink($cookieFile);

// 處理回應(DWR 回傳為 JavaScript 代碼,需進一步解析)
echo $ajaxResponse;

關鍵技術細節

1. Cookie 管理

CURLOPT_COOKIEJAR(寫入)與 CURLOPT_COOKIEFILE(讀取)配合使用,模擬瀏覽器 Session 保持。生產環境建議使用資料庫或 Redis 儲存 Cookie 池。

2. 處理壓縮傳輸

CURLOPT_ENCODING => 'gzip, deflate' 自動處理伺服器回傳的壓縮內容,避免收到亂碼。

3. 模擬瀏覽器指紋

設定 User-Agent、Referer、Origin 等 Header,繞過簡單的反爬蟲檢查。

4. 解析特殊格式回應

AJAX 回應可能為 JSON、XML、HTML 片段、或如範例中的 DWR(JavaScript 序列化格式)。需根據 Content-Type 選擇解析策略:

  • JSON:json_decode($response, true)
  • HTML 片段:DOMDocument + DOMXPath
  • DWR/JS:需以正則或專用解析器提取資料結構

進階:並發抓取多個 AJAX 端點

使用 curl_multi_* 系列函式可同時發送多個請求,大幅縮短總耗時。參考 PHP cURL 多執行緒併發請求實作。

法律與道德提醒

  • 遵守目標網站 robots.txt 與服務條款
  • 控制請求頻率,避免對目標伺服器造成過大負載
  • 僅抓取公開資料,勿嘗試繞過驗證或存取私有資訊
copyright © 萬盛學電腦網 all rights reserved