萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP cURL 模擬登入並抓取資料完整實戰教學

cURL 核心流程


cURL 流程:
curl_init() → curl_setopt() 設定選項 → curl_exec() 執行 → curl_close() 釋放

完整實作:模擬登入 → 攜帶 Cookie 存取受保護頁面

<?php
/**
 * cURL 模擬登入類別
 */
class CurlLogin {
    private $cookieFile;
    private $userAgent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36';

    public function __construct(string $cookieFile = '') {
        $this->cookieFile = $cookieFile ?: sys_get_temp_dir() . '/curl_cookie_' . md5($_SERVER['HTTP_HOST'] ?? 'default') . '.txt';
    }

    /**
     * 執行登入(POST 表單)
     */
    public function login(string $url, array $postData, array $extraHeaders = []): bool {
        $ch = curl_init();
        
        $options = [
            CURLOPT_URL            => $url,
            CURLOPT_POST           => true,
            CURLOPT_POSTFIELDS     => http_build_query($postData), // 陣列自動編碼
            CURLOPT_COOKIEJAR      => $this->cookieFile,           // 儲存 Cookie(回應)
            CURLOPT_COOKIEFILE     => $this->cookieFile,           // 讀取 Cookie(請求)
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_HEADER         => false,
            CURLOPT_FOLLOWLOCATION => true,
            CURLOPT_MAXREDIRS      => 5,
            CURLOPT_TIMEOUT        => 30,
            CURLOPT_CONNECTTIMEOUT => 10,
            CURLOPT_SSL_VERIFYPEER => true,
            CURLOPT_USERAGENT      => $this->userAgent,
        ];
        
        if ($extraHeaders) {
            $options[CURLOPT_HTTPHEADER] = $extraHeaders;
        }
        
        curl_setopt_array($ch, $options);
        $response = curl_exec($ch);
        $errno = curl_errno($ch);
        $error = curl_error($ch);
        $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
        curl_close($ch);
        
        if ($errno) {
            error_log("cURL Login Error [$errno]: $error");
            return false;
        }
        
        // 可依業務判斷登入成功:HTTP 200、回應包含特定字串、Set-Cookie 等
        return $httpCode === 200 && $response !== false;
    }

    /**
     * 取得受保護頁面內容(GET)
     */
    public function get(string $url): string|false {
        $ch = curl_init();
        
        curl_setopt_array($ch, [
            CURLOPT_URL            => $url,
            CURLOPT_COOKIEFILE     => $this->cookieFile, // 讀取已儲存 Cookie
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_FOLLOWLOCATION => true,
            CURLOPT_TIMEOUT        => 30,
            CURLOPT_USERAGENT      => $this->userAgent,
        ]);
        
        $response = curl_exec($ch);
        $errno = curl_errno($ch);
        curl_close($ch);
        
        if ($errno) {
            error_log("cURL Get Error [$errno]: " . curl_error($ch));
            return false;
        }
        
        return $response;
    }

    /**
     * 發送 POST 請求(攜帶 Cookie)
     */
    public function post(string $url, array $data): string|false {
        $ch = curl_init();
        curl_setopt_array($ch, [
            CURLOPT_URL            => $url,
            CURLOPT_POST           => true,
            CURLOPT_POSTFIELDS     => http_build_query($data),
            CURLOPT_COOKIEFILE     => $this->cookieFile,
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_TIMEOUT        => 30,
            CURLOPT_USERAGENT      => $this->userAgent,
        ]);
        $response = curl_exec($ch);
        $errno = curl_errno($ch);
        curl_close($ch);
        return $errno ? false : $response;
    }

    public function clearCookie(): void {
        if (file_exists($this->cookieFile)) {
            unlink($this->cookieFile);
        }
    }
}

// ===== 使用範例:開源中國移動版登入 =====
$curl = new CurlLogin();

$loginUrl = 'https://m.oschina.net/action/user/login';
$targetUrl = 'https://m.oschina.net/my';

$postData = [
    'email'       => 'your_account@example.com',
    'pwd'         => 'your_password',
    'goto_page'   => '/my',
    'error_page'  => '/login',
    'save_login'  => '1',
    'submit'      => '現在登入',
];

if ($curl->login($loginUrl, $postData)) {
    echo "登入成功\n";
    $content = $curl->get($targetUrl);
    if ($content) {
        // 解析所需資料(使用 DOMDocument 或正則)
        $dom = new DOMDocument();
        @$dom->loadHTML($content);
        $xpath = new DOMXPath($dom);
        $nodes = $xpath->query("//td[@class='portrait']");
        foreach ($nodes as $node) {
            echo trim($node->textContent) . "\n";
        }
    }
} else {
    echo "登入失敗\n";
}

$curl->clearCookie(); // 清理臨時 Cookie 檔
?>

關鍵選項詳解

選項用途關鍵值
CURLOPT_COOKIEJAR儲存回應的 Set-Cookie 至檔案絕對路徑,需可寫入
CURLOPT_COOKIEFILE請求時讀取 Cookie 檔案同一檔案實現 Cookie 持久化
CURLOPT_POSTFIELDSPOST 資料陣列自動 http_build_query、字串直接發送
CURLOPT_RETURNTRANSFER回傳字串而非直接輸出true(必設)
CURLOPT_FOLLOWLOCATION自動跟隨 3xx 重導向true + CURLOPT_MAXREDIRS
CURLOPT_SSL_VERIFYPEER驗證 SSL 憑證生產環境 true,測試可 false
CURLOPT_USERAGENT偽裝瀏覽器 UA避免簡單反爬蟲攔截

進階技巧

1. 處理 CSRF Token

// 先 GET 登入頁 → 解析表單隱藏欄位 _token → 帶入 POST
$loginPage = $curl->get('https://example.com/login');
$dom = new DOMDocument();
@$dom->loadHTML($loginPage);
$token = $xpath->query("//input[@name='_token']")->item(0)->getAttribute('value');
$postData['_token'] = $token;

2. 多執行緒並發(curl_multi)

// 參考上一篇 getHttpStatusCurl 的 checkMultiUrls 實作

3. 代理 IP 輪換

curl_setopt($ch, CURLOPT_PROXY, 'https://proxy-ip:port');
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:pass');

4. 檔案上傳

$postData['file'] = new CURLFile('/path/to/file.jpg', 'image/jpeg', 'avatar.jpg');
curl_setopt($ch, CURLOPT_POSTFIELDS, $postData); // 必須用陣列,不可 http_build_query

常見問題排查

現象可能原因排查步驟
登入成功但後續請求未帶 CookieCOOKIEJAR/COOKIEFILE 路徑不一致、權限不足確認絕對路徑、檔案權限 644、目錄可寫
SSL 憑證驗證失敗CA 憑證缺失、自簽憑證、中間人設定 CURLOPT_CAINFO 或暫時 CURLOPT_SSL_VERIFYPEER => false
重導向循環/過多登入後導向登入頁、Cookie 未生效檢查 CURLOPT_MAXREDIRS、手動處理 302 Location
中文亂碼編碼不一致curl_setopt($ch, CURLOPT_ENCODING, 'gzip,deflate')、確認頁面 charset
cURL error 28: Operation timed out連線/執行超時調大 CURLOPT_TIMEOUT、CURLOPT_CONNECTTIMEOUT

法律與道德提醒

  • 尊重網站 robots.txt 與服務條款
  • 控制請求頻率(sleep(1)、Token Bucket 限流)
  • 優先使用官方 API,爬蟲為最後手段
  • 個資保護法/GDPR 合規:不蒐集、儲存、傳輸個人敏感資料

總結

cURL 是 PHP 進行 HTTP 互動的瑞士刀。封裝為可復用類別,統一管理 Cookie、Header、超時、錯誤處理、SSL、代理等細節,能顯著提升爬蟲/整合專案的穩定度與維護性。生產環境建議改用 GuzzleHTTP(PSR-7/18 相容、中介軟體、非同步、測試雙工),僅在極簡環境或學習階段直接使用原生 cURL。

copyright © 萬盛學電腦網 all rights reserved