萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> ASP.NET 程式設計

ASP.NET 抓取網頁內容:HttpWebRequest 與 WebResponse 兩大實作

方法一:HttpWebRequest (推薦)

支援自動處理重導向、Cookie、自動偵測編碼 (含 BOM),健壯度較高。

public static string GetHtmlSource(string url)
{
    string html = "";
    var request = (HttpWebRequest)WebRequest.Create(url);
    request.Accept = "*/*";
    request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.1.4322)";
    request.AllowAutoRedirect = true;
    request.Referer = url;

    using (var response = (HttpWebResponse)request.GetResponse())
    using (var stream = response.GetResponseStream())
    using (var reader = new StreamReader(stream, Encoding.Default)) // 或 Encoding.GetEncoding("utf-8")
    {
        html = reader.ReadToEnd();
    }
    return html;
}

方法二:WebRequest / WebResponse (基礎版)

手動處理例外、編碼指定、資源釋放。

public static string GetHttpData(string url)
{
    string result = null;
    WebResponse resp = null;
    try
    {
        var req = WebRequest.Create(url);
        req.Timeout = 50000;
        resp = req.GetResponse();
        using (var reader = new StreamReader(resp.GetResponseStream(), Encoding.GetEncoding("utf-8")))
        {
            result = reader.ReadToEnd();
        }
    }
    catch (WebException ex)
    {
        // 記錄 ex.Message / ex.Status
    }
    catch (Exception ex)
    {
        // 記錄 ex.ToString()
    }
    finally
    {
        resp?.Close();
    }
    return result;
}

關鍵差異比較

特性HttpWebRequestWebRequest
繼承關係衍生自 WebRequest基底抽象類別
HTTP 專屬屬性UserAgent、Referer、CookieContainer、AllowAutoRedirect、KeepAlive無
回應型別HttpWebResponse (可取得 StatusCode、Headers、Cookies)WebResponse (較少屬性)
編碼自動偵測配合 StreamReader.CurrentEncoding 可偵測 BOM需手動指定 Encoding

進階技巧

  • Cookie 容器:`request.CookieContainer = new CookieContainer();` 維持跨請求 Session。
  • POST 資料:`request.Method = "POST"; request.ContentType = "application/x-www-form-urlencoded";` 寫入 `request.GetRequestStream()`。
  • Proxy 設定:`request.Proxy = new WebProxy("https://proxy:8080", true);`
  • SSL 憑證忽略 (測試用):`ServicePointManager.ServerCertificateValidationCallback += (s, c, ch, e) => true;`

現代替代方案

.NET Core / .NET 5+ 建議使用 HttpClient (單例模式) + `HttpClientFactory`,支援非同步、自動解壓縮、中介軟體管線,效能與維護性大幅優於 `HttpWebRequest`。

copyright © 萬盛學電腦網 all rights reserved