許多現代網站採用 AJAX 非同步載入資料,直接抓取網頁原始碼只會得到 JavaScript 模板而非實際資料。解決關鍵在於:找出 AJAX 請求的真實後端 API 端點與參數,直接對該端點發送請求。本文詳解完整流程與 cURL 實作範例。
<?php
// 建立暫存 Cookie 檔案
$cookieFile = tempnam(sys_get_temp_dir(), 'cookie_');
// --- 步驟 1:先訪問首頁建立 Session / 取得 Cookie ---
$ch = curl_init('https://www.example.edu.cn/default.html');
curl_setopt_array($ch, [
CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
CURLOPT_HEADER => 0,
CURLOPT_RETURNTRANSFER => 1,
CURLOPT_FOLLOWLOCATION => 1,
CURLOPT_ENCODING => 'gzip, deflate',
CURLOPT_COOKIEJAR => $cookieFile, // 儲存 Cookie
CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
CURLOPT_SSL_VERIFYPEER => false, // 僅測試環境使用
CURLOPT_TIMEOUT => 30,
]);
$homeContent = curl_exec($ch);
curl_close($ch);
// --- 步驟 2:攜帶 Cookie 請求 AJAX API ---
$apiUrl = 'https://www.example.edu.cn/xww/dwr/call/plaincall/portalAjax.getNewsXml.dwr';
$postData = 'callCount=1&page=/xww/type/1000020118.html&httpSessionId=xxx&scriptSessionId=yyy&c0-scriptName=portalAjax&c0-methodName=getNewsXml&c0-id=0&c0-param0=string:10000201&c0-param1=string:1000020118&c0-param2=string:news_&c0-param3=number:10&c0-param4=number:1&batchId=0';
$ch = curl_init($apiUrl);
curl_setopt_array($ch, [
CURLOPT_POST => true,
CURLOPT_POSTFIELDS => $postData,
CURLOPT_HTTPHEADER => [
'Content-Type: text/plain', // DWR 協議通常為 text/plain
'Referer: https://www.example.edu.cn/xww/type/1000020118.html',
],
CURLOPT_COOKIEFILE => $cookieFile, // 讀取 Cookie
CURLOPT_RETURNTRANSFER => 1,
CURLOPT_ENCODING => 'gzip, deflate',
CURLOPT_TIMEOUT => 30,
]);
$ajaxResponse = curl_exec($ch);
curl_close($ch);
// 清理暫存檔
@unlink($cookieFile);
// 處理回應(DWR 回傳為 JavaScript 代碼,需進一步解析)
echo $ajaxResponse;
CURLOPT_COOKIEJAR(寫入)與 CURLOPT_COOKIEFILE(讀取)配合使用,模擬瀏覽器 Session 保持。生產環境建議使用資料庫或 Redis 儲存 Cookie 池。
CURLOPT_ENCODING => 'gzip, deflate' 自動處理伺服器回傳的壓縮內容,避免收到亂碼。
設定 User-Agent、Referer、Origin 等 Header,繞過簡單的反爬蟲檢查。
AJAX 回應可能為 JSON、XML、HTML 片段、或如範例中的 DWR(JavaScript 序列化格式)。需根據 Content-Type 選擇解析策略:
json_decode($response, true)DOMDocument + DOMXPath使用 curl_multi_* 系列函式可同時發送多個請求,大幅縮短總耗時。參考 PHP cURL 多執行緒併發請求實作。
robots.txt 與服務條款