萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> ASP.NET 程式設計

ASP.NET 資料遷移實作:DBF 檔案上傳匯入 SQL Server

專案背景

高校就業管理系統舊版使用 FoxPro (DBF),新版為 ASP.NET + SQL Server。需將歷史 DBF 檔案遷移至新系統,支援初次遷移、追加、覆蓋模式。

關鍵技術點

  1. SQL Server 透過 `Microsoft.Jet.OLEDB.4.0` / `Microsoft.ACE.OLEDB.12.0` 將 **資料夾視為資料庫、DBF 檔視為資料表**。
  2. 客戶端上傳 DBF → 伺服器暫存 → 伺服器端 `OPENROWSET` / `Linked Server` / `BULK INSERT` 匯入。
  3. 編碼轉換:DBF 通常為系統預設代碼頁 (中文環境 CP936/GB2312),SQL Server 需正確解碼。

上傳與匯入核心程式碼

<%@ Page Language="C#" %>
<%@ Import Namespace="System.IO" %>
<%@ Import Namespace="System.Data" %>
<%@ Import Namespace="System.Data.OleDb" %>

<script runat="server">
protected void btnUpload_Click(object sender, EventArgs e)
{
    if (!FileUpload1.HasFile) { lblMsg.Text = "請選擇檔案"; return; }
    string ext = Path.GetExtension(FileUpload1.FileName).ToLower();
    if (ext != ".dbf") { lblMsg.Text = "僅限 .dbf 檔案"; return; }

    string saveDir = Server.MapPath("~/App_Data/DBF_Import/");
    if (!Directory.Exists(saveDir)) Directory.CreateDirectory(saveDir);
    string savePath = Path.Combine(saveDir, "student.dbf"); // 固定檔名覆蓋
    FileUpload1.SaveAs(savePath);

    // 匯入邏輯
    ImportDbfToSql(saveDir, "student", "dbo.Students");
    lblMsg.Text = "匯入完成";
}

private void ImportDbfToSql(string folder, string dbfTable, string sqlTable)
{
    // 連線字串:資料夾即資料庫
    string connStr = $@"Provider=Microsoft.ACE.OLEDB.12.0;Data Source={folder};Extended Properties=dBASE IV;";
    string sqlConnStr = ConfigurationManager.ConnectionStrings["MainDB"].ConnectionString;

    using (var oleConn = new OleDbConnection(connStr))
    using (var sqlConn = new SqlConnection(sqlConnStr))
    {
        oleConn.Open();
        sqlConn.Open();

        // 讀取 DBF 結構與資料
        var cmd = new OleDbCommand($"SELECT * FROM [{dbfTable}]", oleConn);
        using (var reader = cmd.ExecuteReader())
        {
            // 建立 SqlBulkCopy 高效寫入
            using (var bulk = new SqlBulkCopy(sqlConn))
            {
                bulk.DestinationTableName = sqlTable;
                bulk.BatchSize = 1000;
                bulk.BulkCopyTimeout = 300;
                // 欄位對應 (DBF 欄位名 -> SQL 欄位名)
                bulk.ColumnMappings.Add("STU_ID", "StudentID");
                bulk.ColumnMappings.Add("STU_NAME", "StudentName");
                bulk.ColumnMappings.Add("STU_SEX", "Gender");
                // ... 其他欄位
                bulk.WriteToServer(reader);
            }
        }
    }
}
</script>

<asp:FileUpload ID="FileUpload1" runat="server" />
<asp:Button ID="btnUpload" runat="server" Text="上傳並匯入" OnClick="btnUpload_Click" />
<asp:Label ID="lblMsg" runat="server" ForeColor="Red" />

三種遷移模式實作

模式SQL 策略
初次遷移`TRUNCATE TABLE dbo.Students` → `BULK INSERT`
追加資料直接 `BULK INSERT` (假設主鍵不衝突)
覆蓋更新`MERGE` (UPSERT) 或 刪除後重新匯入

常見問題與解決

  • 找不到 Provider:安裝 Microsoft Access Database Engine 2010 Redistributable (x64 版對應 64 位元 IIS)。
  • 中文亂碼:在連線字串加 `Extended Properties="dBASE IV;CodePage=936"` 或匯入後用 `Encoding.GetEncoding(936).GetString(...)` 修正。
  • 欄位型別不符:DBF `Numeric(10,2)` → SQL `decimal(10,2)`,`Logical` → `bit`,`Date` → `date`,預先建立目標表結構。
  • 大檔案記憶體:`SqlBulkCopy` 串流式寫入,不載入全量至記憶體,支援 GB 級遷移。

進階:自動化排程遷移

將上傳/匯入邏輯封裝為 Console App 或 WebJob,配合排程器 (Windows Task Scheduler / Azure WebJobs / Hangfire) 定時輪詢 FTP/共享資料夾自動處理。

copyright © 萬盛學電腦網 all rights reserved