萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP cURL HTTPS 內存洩漏根因分析與解決方案:CURLOPT_HTTPPROXYTUNNEL 關鍵配置

長時間運行的 PHP cURL 客戶端(特別是透過 Privoxy/HTTP 代理訪問 HTTPS 目標)常遭遇記憶體持續增長、memory_get_usage() 卻未反映的「隱性內存洩漏」。經反覆排查,根因在於 cURL 對 HTTPS over HTTP Proxy 的預設行為:未建立真正的 TCP 隧道,導致 libcurl 內部連線物件累積未釋放。解決關鍵在於啟用 CURLOPT_HTTPPROXYTUNNEL 搭配 SSL 驗證調整。

問題現象

  • PHP 守護進程持續運行,top 顯示 RES 記憶體線性增長
  • memory_get_usage() 維持穩定(PHP 端記憶體正常)
  • 目標:https://www.google.com/search?q=xxx 透過 Privoxy (HTTP Proxy)
  • cURL 選項看似正確,但記憶體持續洩漏

根因分析:HTTP Proxy 處理 HTTPS 的兩種模式

模式一:無隧道(預設,CURLOPT_HTTPPROXYTUNNEL = false)

Client → HTTP Proxy (解析 HTTP Header) → 目標 HTTPS Server
         ↑ 代理解析 CONNECT 請求,轉發明文 HTTP Header
         ↓ 返回響應
  • 代理需解析 HTTP 協議,可能記錄/修改 Header
  • HTTPS 實際上被降級為 HTTP 傳輸至代理,安全性降低
  • libcurl 內部為每次請求創建臨時連線結構,長期運行累積未釋放 → 內存洩漏

模式二:HTTP CONNECT 隧道(CURLOPT_HTTPPROXYTUNNEL = true)

Client → HTTP Proxy (建立 TCP 隧道) → 目標 HTTPS Server
         ↑ 僅轉發 TCP 流量,不解析應用層協議
         ↓ 端到端 TLS 加密保持完整
  • Client 發送 CONNECT host:443 HTTP/1.1
  • Proxy 回應 200 Connection established
  • 後續資料經隧道直達目標,Proxy 僅作 TCP 轉發
  • libcurl 復用連線結構,避免重複分配/釋放

解決方案:關鍵 cURL 選項組合

$ch = curl_init();

curl_setopt_array($ch, [
    CURLOPT_URL => 'https://www.google.com/search?q=xxx',
    CURLOPT_PROXY => '127.0.0.1:8118',           // Privoxy 預設端口
    CURLOPT_PROXYTYPE => CURLPROXY_HTTP,         // 明確指定 HTTP 代理
    
    // 關鍵:啟用 HTTP CONNECT 隧道
    CURLOPT_HTTPPROXYTUNNEL => true,
    
    // SSL 配置(視目標站點證書情況調整)
    CURLOPT_SSL_VERIFYPEER => false,             // 開發/測試關閉,生產必須開啟並配置 CA
    CURLOPT_SSL_VERIFYHOST => false,             // 2=嚴格驗證 CN/SAN,0=不驗證
    
    // 基礎配置
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_FOLLOWLOCATION => true,
    CURLOPT_TIMEOUT => 30,
    CURLOPT_CONNECTTIMEOUT => 10,
    CURLOPT_USERAGENT => 'Mozilla/5.0 (compatible; PHP Bot)',
    
    // 可選:代理認證
    // CURLOPT_PROXYUSERPWD => 'user:pass',
]);

$response = curl_exec($ch);
if ($response === false) {
    throw new Exception(curl_error($ch), curl_errno($ch));
}
curl_close($ch);

驗證內存洩漏修復

// 長時間運行測試腳本
for ($i = 0; $i < 1000; $i++) {
    $memBefore = memory_get_usage(true);
    $response = curl_exec($ch);
    $memAfter = memory_get_usage(true);
    
    // 系統級記憶體(需配合 /proc/self/status 或 top 觀察)
    // PHP 級記憶體應穩定
    if ($i % 100 === 0) {
        error_log("Iter $i: PHP Mem " . ($memAfter - $memBefore) . " bytes");
    }
    usleep(100000); // 100ms 間隔
}

啟用 CURLOPT_HTTPPROXYTUNNEL 後,系統級記憶體曲線應趨於平穩,不再線性增長。

StackOverflow 原文說明節錄

Without CURLOPT_HTTPPROXYTUNNEL:代理解析 HTTP Header,轉發請求至目標,再將響應寫回。代理充當 HTTP 中間人。

With CURLOPT_HTTPPROXYTUNNEL:客戶端要求代理建立 TCP 隧道(CONNECT),隧道建立後雙端直接通訊,代理不再解析應用層協議,僅轉發 TCP 數據流。這才是真正的「隧道」。

來源:StackOverflow #12288956

補充:非代理直連 HTTPS 內存洩漏

若不走代理,直接訪問 HTTPS 也可能洩漏(libcurl 某版本 Bug),建議:

  • 升級 libcurl ≥ 7.60.0、OpenSSL ≥ 1.1.1
  • 啟用 CURLOPT_SSL_SESSIONID_CACHE(預設開啟)復用 SSL Session
  • 定期 curl_close() 重建 handle,避免單 handle 超長壽命

總結檢查清單

  1. 透過 HTTP 代理訪問 HTTPS → 必須啟用 CURLOPT_HTTPPROXYTUNNEL
  2. 生產環境 嚴禁關閉 SSL 驗證,配置 CURLOPT_CAINFO 指向有效 CA 憑證包
  3. 長運行進程:定期重建 cURL handle、監控系統級 RSS 記憶體
  4. 使用 CURLOPT_VERBOSE + CURLOPT_STDERR 除錯連線建立過程

一個選項解決困擾多月的隱性內存洩漏,體現了深入理解協議細節的重要性。

copyright © 萬盛學電腦網 all rights reserved