cURL 核心流程
cURL 流程:
curl_init() → curl_setopt() 設定選項 → curl_exec() 執行 → curl_close() 釋放
完整實作:模擬登入 → 攜帶 Cookie 存取受保護頁面
<?php
/**
* cURL 模擬登入類別
*/
class CurlLogin {
private $cookieFile;
private $userAgent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36';
public function __construct(string $cookieFile = '') {
$this->cookieFile = $cookieFile ?: sys_get_temp_dir() . '/curl_cookie_' . md5($_SERVER['HTTP_HOST'] ?? 'default') . '.txt';
}
/**
* 執行登入(POST 表單)
*/
public function login(string $url, array $postData, array $extraHeaders = []): bool {
$ch = curl_init();
$options = [
CURLOPT_URL => $url,
CURLOPT_POST => true,
CURLOPT_POSTFIELDS => http_build_query($postData), // 陣列自動編碼
CURLOPT_COOKIEJAR => $this->cookieFile, // 儲存 Cookie(回應)
CURLOPT_COOKIEFILE => $this->cookieFile, // 讀取 Cookie(請求)
CURLOPT_RETURNTRANSFER => true,
CURLOPT_HEADER => false,
CURLOPT_FOLLOWLOCATION => true,
CURLOPT_MAXREDIRS => 5,
CURLOPT_TIMEOUT => 30,
CURLOPT_CONNECTTIMEOUT => 10,
CURLOPT_SSL_VERIFYPEER => true,
CURLOPT_USERAGENT => $this->userAgent,
];
if ($extraHeaders) {
$options[CURLOPT_HTTPHEADER] = $extraHeaders;
}
curl_setopt_array($ch, $options);
$response = curl_exec($ch);
$errno = curl_errno($ch);
$error = curl_error($ch);
$httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
curl_close($ch);
if ($errno) {
error_log("cURL Login Error [$errno]: $error");
return false;
}
// 可依業務判斷登入成功:HTTP 200、回應包含特定字串、Set-Cookie 等
return $httpCode === 200 && $response !== false;
}
/**
* 取得受保護頁面內容(GET)
*/
public function get(string $url): string|false {
$ch = curl_init();
curl_setopt_array($ch, [
CURLOPT_URL => $url,
CURLOPT_COOKIEFILE => $this->cookieFile, // 讀取已儲存 Cookie
CURLOPT_RETURNTRANSFER => true,
CURLOPT_FOLLOWLOCATION => true,
CURLOPT_TIMEOUT => 30,
CURLOPT_USERAGENT => $this->userAgent,
]);
$response = curl_exec($ch);
$errno = curl_errno($ch);
curl_close($ch);
if ($errno) {
error_log("cURL Get Error [$errno]: " . curl_error($ch));
return false;
}
return $response;
}
/**
* 發送 POST 請求(攜帶 Cookie)
*/
public function post(string $url, array $data): string|false {
$ch = curl_init();
curl_setopt_array($ch, [
CURLOPT_URL => $url,
CURLOPT_POST => true,
CURLOPT_POSTFIELDS => http_build_query($data),
CURLOPT_COOKIEFILE => $this->cookieFile,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_TIMEOUT => 30,
CURLOPT_USERAGENT => $this->userAgent,
]);
$response = curl_exec($ch);
$errno = curl_errno($ch);
curl_close($ch);
return $errno ? false : $response;
}
public function clearCookie(): void {
if (file_exists($this->cookieFile)) {
unlink($this->cookieFile);
}
}
}
// ===== 使用範例:開源中國移動版登入 =====
$curl = new CurlLogin();
$loginUrl = 'https://m.oschina.net/action/user/login';
$targetUrl = 'https://m.oschina.net/my';
$postData = [
'email' => 'your_account@example.com',
'pwd' => 'your_password',
'goto_page' => '/my',
'error_page' => '/login',
'save_login' => '1',
'submit' => '現在登入',
];
if ($curl->login($loginUrl, $postData)) {
echo "登入成功\n";
$content = $curl->get($targetUrl);
if ($content) {
// 解析所需資料(使用 DOMDocument 或正則)
$dom = new DOMDocument();
@$dom->loadHTML($content);
$xpath = new DOMXPath($dom);
$nodes = $xpath->query("//td[@class='portrait']");
foreach ($nodes as $node) {
echo trim($node->textContent) . "\n";
}
}
} else {
echo "登入失敗\n";
}
$curl->clearCookie(); // 清理臨時 Cookie 檔
?>
關鍵選項詳解
| 選項 | 用途 | 關鍵值 |
CURLOPT_COOKIEJAR | 儲存回應的 Set-Cookie 至檔案 | 絕對路徑,需可寫入 |
CURLOPT_COOKIEFILE | 請求時讀取 Cookie 檔案 | 同一檔案實現 Cookie 持久化 |
CURLOPT_POSTFIELDS | POST 資料 | 陣列自動 http_build_query、字串直接發送 |
CURLOPT_RETURNTRANSFER | 回傳字串而非直接輸出 | true(必設) |
CURLOPT_FOLLOWLOCATION | 自動跟隨 3xx 重導向 | true + CURLOPT_MAXREDIRS |
CURLOPT_SSL_VERIFYPEER | 驗證 SSL 憑證 | 生產環境 true,測試可 false |
CURLOPT_USERAGENT | 偽裝瀏覽器 UA | 避免簡單反爬蟲攔截 |
進階技巧
1. 處理 CSRF Token
// 先 GET 登入頁 → 解析表單隱藏欄位 _token → 帶入 POST
$loginPage = $curl->get('https://example.com/login');
$dom = new DOMDocument();
@$dom->loadHTML($loginPage);
$token = $xpath->query("//input[@name='_token']")->item(0)->getAttribute('value');
$postData['_token'] = $token;
2. 多執行緒並發(curl_multi)
// 參考上一篇 getHttpStatusCurl 的 checkMultiUrls 實作
3. 代理 IP 輪換
curl_setopt($ch, CURLOPT_PROXY, 'https://proxy-ip:port');
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:pass');
4. 檔案上傳
$postData['file'] = new CURLFile('/path/to/file.jpg', 'image/jpeg', 'avatar.jpg');
curl_setopt($ch, CURLOPT_POSTFIELDS, $postData); // 必須用陣列,不可 http_build_query
常見問題排查
| 現象 | 可能原因 | 排查步驟 |
| 登入成功但後續請求未帶 Cookie | COOKIEJAR/COOKIEFILE 路徑不一致、權限不足 | 確認絕對路徑、檔案權限 644、目錄可寫 |
| SSL 憑證驗證失敗 | CA 憑證缺失、自簽憑證、中間人 | 設定 CURLOPT_CAINFO 或暫時 CURLOPT_SSL_VERIFYPEER => false |
| 重導向循環/過多 | 登入後導向登入頁、Cookie 未生效 | 檢查 CURLOPT_MAXREDIRS、手動處理 302 Location |
| 中文亂碼 | 編碼不一致 | curl_setopt($ch, CURLOPT_ENCODING, 'gzip,deflate')、確認頁面 charset |
| cURL error 28: Operation timed out | 連線/執行超時 | 調大 CURLOPT_TIMEOUT、CURLOPT_CONNECTTIMEOUT |
法律與道德提醒
- 尊重網站
robots.txt 與服務條款
- 控制請求頻率(
sleep(1)、Token Bucket 限流)
- 優先使用官方 API,爬蟲為最後手段
- 個資保護法/GDPR 合規:不蒐集、儲存、傳輸個人敏感資料
總結
cURL 是 PHP 進行 HTTP 互動的瑞士刀。封裝為可復用類別,統一管理 Cookie、Header、超時、錯誤處理、SSL、代理等細節,能顯著提升爬蟲/整合專案的穩定度與維護性。生產環境建議改用 GuzzleHTTP(PSR-7/18 相容、中介軟體、非同步、測試雙工),僅在極簡環境或學習階段直接使用原生 cURL。