萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> ASP 程式設計

ASP採集網頁自動偵測編碼並轉換:XMLHTTP + ADODB.Stream 實作

採集亂碼根因

目標網頁編碼多樣(UTF-8、GB2312、Big5 等),若不正確解碼即會產生亂碼。核心解法:抓取原始位元組流 → 偵測編碼 → 指定編碼轉字串。

完整實作代碼 (JScript)

<%@LANGUAGE="JAVASCRIPT" CODEPAGE="65001"%>
<%
Server.ScriptTimeout = 9999999;

function send_request(url) {
    var http = Server.CreateObject("Microsoft.XMLHTTP");
    http.Open("GET", url, false);
    http.Send(null);
    
    if (http.ReadyState == 4) {
        // 1. 從 HTTP 標頭或 Meta 標籤偵測編碼
        var charResult = http.ResponseText.match(/charset=["']?([\w-]+)/i);
        var charset = (charResult != null) ? charResult[1] : "gb2312";
        
        // 2. 以 ADODB.Stream 正確解碼位元組流
        return bytesToBSTR(http.ResponseBody, charset);
    }
    return "Error";
}

function bytesToBSTR(body, charset) {
    var stream = Server.CreateObject("ADODB.Stream");
    stream.Type = 1; // adTypeBinary
    stream.Mode = 3; // adModeReadWrite
    stream.Open();
    stream.Write(body);
    stream.Position = 0;
    stream.Type = 2; // adTypeText
    stream.Charset = charset;
    var text = stream.ReadText;
    stream.Close();
    return text;
}

// 使用範例
Response.Write(send_request("https://example.com/"));
%>

關鍵技術點解析

1. ResponseBody vs ResponseText

  • ResponseBody:回傳未解碼的原始位元組陣列(安全)
  • ResponseText:嘗試用預設編碼解碼(易產生亂碼)

2. 編碼偵測策略

  1. 優先解析 HTTP Header:Content-Type: text/html; charset=utf-8
  2. 次解析 HTML Meta:<meta charset="utf-8"> 或 <meta http-equiv="Content-Type" content="text/html; charset=gb2312">
  3. 預設回落 GB2312(中文站常見)

3. ADODB.Stream 解碼流程

Type=1 (Binary) → Write(bytes) → Position=0 → Type=2 (Text) → Charset=編碼 → ReadText()

進階強化方向

  • 加入 try-catch 捕捉連線失敗、編碼不支援等異常
  • 支援 GZIP/Deflate 壓縮回應(檢查 Content-Encoding 標頭)
  • 整合正則提取目標內容(標題、正文、圖片等)
  • 建立編碼快取機制,避免重複偵測同域名網站

此方案以 XMLHTTP 取得二進位流 + ADODB.Stream 指定編碼解碼 為核心,解決 90% 以上採集亂碼問題,是 ASP 採集器的標準作法。

copyright © 萬盛學電腦網 all rights reserved