將 cURL 繁瑣設定封裝為單一函數 curl(),預設最佳化 (Keep-Alive、Gzip、瀏覽器 UA、跟隨重導向),支援 Cookie 持久化、自訂 Header、POST 資料,一鍵抓取資料。
function curl($url, $ifpost = 0, $datafields = '', $cookiefile = '', $verbose = false) {
// 預設 Header:模擬真實瀏覽器
$header = [
"Connection: Keep-Alive",
"Accept: text/html, application/xhtml+xml, */*",
"Pragma: no-cache",
"Accept-Language: zh-Hans-CN,zh-Hans;q=0.8,en-US;q=0.5,en;q=0.3",
"User-Agent: Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; WOW64; Trident/6.0)"
];
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HEADER, $verbose); // 是否包含回應 Header
curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
if ($ifpost) {
curl_setopt($ch, CURLOPT_POST, true);
curl_setopt($ch, CURLOPT_POSTFIELDS, $datafields);
}
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // 返回字串
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); // 跟隨 3xx
curl_setopt($ch, CURLOPT_ENCODING, 'gzip,deflate'); // 自動解壓
if ($cookiefile) {
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookiefile); // 讀取 Cookie
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookiefile); // 寫入 Cookie (持久化 Session)
}
$r = curl_exec($ch);
curl_close($ch);
return $r;
}
// 1. 簡單 GET
$html = curl('https://example.com');
// 2. POST 登入並保存 Cookie
$loginData = ['username'=>'user', 'password'=>'pass'];
$cookieFile = 'cookie_jar.txt';
$html = curl('https://example.com/login', 1, http_build_query($loginData), $cookieFile);
// 3. 攜帶 Cookie 存取需登入頁面
$html = curl('https://example.com/dashboard', 0, '', $cookieFile);
// 4. 自訂 Header (需修改函數參數或擴充)
| 參數 | 型別 | 預設 | 說明 |
|---|---|---|---|
$url | string | 必填 | 目標網址 |
$ifpost | int/bool | 0 | 1=POST, 0=GET |
$datafields | string/array | '' | POST 欄位 (字串或陣列,陣列自動 http_build_query) |
$cookiefile | string | '' | Cookie 檔案路徑 (啟用 Cookie 持久化) |
$verbose | bool | false | true 回應包含 Header (方便除錯) |
$timeout 參數設定 CURLOPT_TIMEOUT/CURLOPT_CONNECTTIMEOUT。CURLOPT_PROXY, CURLOPT_PROXYPORT, CURLOPT_PROXYUSERPWD。CURLOPT_SSLCERT, CURLOPT_SSLKEY, CURLOPT_KEYPASSWD。curl_multi_* 系列或改用 GuzzleHttp、Swoole 協程客戶端。json_decode、字元編碼偵測 (mb_detect_encoding)。偽造
X-FORWARDED-FOR/CLIENT-IP、Referer、User-Agent等 Header 可能違反目標網站服務條款,甚至構成繞過存取控制。爬蟲請遵守robots.txt、限制頻率、申請官方 API。本函數僅供技術學習與授權測試使用。
這個 curl() 封裝函數涵蓋 90% 爬蟲/整合場景:GET/POST、Cookie 會話、Gzip 解壓、瀏覽器偽裝、重導向跟隨。理解其內部 curl_setopt 組合邏輯,能快速擴充應對更複雜需求 (OAuth、GraphQL、檔案上傳等)。