網頁爬蟲是常見需求,PHP 提供多種抓取遠端網頁內容與解析 HTML/XML 的方法。本文整理主流方案優劣,供開發者根據專案需求選型。
| 方法 | 優點 | 缺點 | 適用場景 |
|---|---|---|---|
file() | 簡單、自動處理換行 | 無法設定 Header、逾時、Cookie、POST 資料 | 簡單 GET 請求、小檔案 |
file_get_contents() | 一次讀取整個檔案/回應、支援 stream context | 大檔案記憶體壓力大、錯誤處理較弱 | 中小型 GET/POST 請求、配合 context 設定 Header |
fopen() → fread() → fclose() | 串流讀取、記憶體友善、可逐行處理 | 程式碼較繁瑣、需手動管理資源 | 大檔案下載、長連線處理 |
| cURL | 功能最完整(SSL、Proxy、Cookie、多執行緒、斷點續傳、HTTP/2)、效能最佳 | API 較複雜、需安裝擴充套件 | 生產級爬蟲、API 串接、複雜認證流程 |
fsockopen() (Socket) | 底層控制、可實作自訂協定 | 需手工組裝 HTTP 協定、易出錯 | 特殊協定、教學研究、極致效能調校 |
| 開源庫(Snoopy、Goutte、Guzzle、Symfony HttpClient) | 封裝良好、支援 Cookie Jar、表單送出、CSS 選擇器、非同步 | 引入依賴、學習曲線 | 現代專案、複雜爬蟲、需維護性 |
| 方法 | 優點 | 缺點 | 適用場景 |
|---|---|---|---|
| 正則表達式 | 無依賴、靈活 | HTML 非正則語言、極易出錯、維護困難 | 極簡單、結構固定的片段提取(不推薦完整解析) |
DOMDocument (內建) | 標準 DOM API、支援 XPath、無額外依賴 | 對不合法 HTML 容錯差、效能一般、API 冗長 | 標準 XML、結構良好 HTML、無法安裝擴充套件環境 |
| PHP Simple HTML DOM Parser | jQuery 風格選擇器、容錯性佳、易上手 | 純 PHP 實作效能較低、大檔案記憶體佔用高 | 快速原型、中小型 HTML 解析、團隊熟悉 jQuery 語法 |
DOMXPath + libxml | XPath 1.0 標準、效能優於 Simple HTML DOM | XPath 語法學習門檻 | 結構化資料提取、大型專案 |
| Masterminds/HTML5-PHP | 符合 HTML5 解析規範、容錯極佳 | Composer 依賴、相對較新 | 現代專案、需精準解析 HTML5 |
file_get_contents() + 正則或 DOMDocumentDOMXPath 或 Masterminds/HTML5-PHP工具選擇無絕對標準,關鍵在於專案規模、維護性需求、團隊熟悉度與目標網站複雜度的平衡。