萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> ASP.NET 程式設計

C# DataTable 行轉列 (Transpose) 完整實作與效能優化

行轉列應用場景

資料分析、報表產生、交叉分析表 (Pivot Table) 常需將「長表格」 (Long Format) 轉為「寬表格」 (Wide Format):

// 原始資料 (長表格)
| Category | Year | Value |
|----------|------|-------|
| A        | 2020 | 100   |
| A        | 2021 | 150   |
| B        | 2020 | 200   |
| B        | 2021 | 250   |

// 轉換後 (寬表格)
| Category | 2020 | 2021 |
|----------|------|------|
| A        | 100  | 150  |
| B        | 200  | 250  |

通用行轉列方法實作


/// 
/// DataTable 行轉列 (Transpose)
/// 
/// 來源 DataTable
/// 作為新資料行標題的來源欄位名稱 (不區分大小寫)
/// 作為新資料列識別鍵的來源欄位名稱 (預設第一欄非 headerColumn)
/// 轉換後的 DataTable
public static DataTable Transpose(DataTable source, string headerColumn, string keyColumn = null)
{
    if (source == null || source.Rows.Count == 0)
        return new DataTable();

    // 1. 確定鍵值欄位 (若未指定,取第一個非 headerColumn 的欄位)
    if (string.IsNullOrEmpty(keyColumn))
    {
        keyColumn = source.Columns.Cast()
            .FirstOrDefault(c => !c.ColumnName.Equals(headerColumn, StringComparison.OrdinalIgnoreCase))
            ?.ColumnName ?? source.Columns[0].ColumnName;
    }

    // 2. 建立目標 DataTable
    var result = new DataTable();
    result.Columns.Add(keyColumn); // 第一欄為鍵值

    // 3. 收集所有唯一的 header 值作為新欄位
    var headerValues = source.Rows.Cast()
        .Select(r => r[headerColumn]?.ToString() ?? "")
        .Where(h => !string.IsNullOrEmpty(h))
        .Distinct()
        .ToList();

    foreach (var h in headerValues)
        result.Columns.Add(h);

    // 4. 依鍵值分組填充資料
    var grouped = source.Rows.Cast()
        .GroupBy(r => r[keyColumn]?.ToString() ?? "");

    foreach (var group in grouped)
    {
        var newRow = result.NewRow();
        newRow[keyColumn] = group.Key;

        foreach (var row in group)
        {
            string header = row[headerColumn]?.ToString() ?? "";
            if (!string.IsNullOrEmpty(header) && result.Columns.Contains(header))
            {
                newRow[header] = row.Cast()
                    .FirstOrDefault(c => !c.ColumnName.Equals(keyColumn, StringComparison.OrdinalIgnoreCase) 
                                      && !c.ColumnName.Equals(headerColumn, StringComparison.OrdinalIgnoreCase))
                    ?.ColumnName is string valCol ? row[valCol] : row[2]; // 簡化:取第 3 欄
            }
        }
        result.Rows.Add(newRow);
    }

    return result;
}

簡化版:固定結構轉換 (原文邏輯重構)

原文程式碼假設:來源表第一欄為屬性名,其餘欄為不同時期/類別,需轉為「屬性為列,時期為行」:


/// 
/// 簡化版行轉列:第一欄為屬性名,其餘欄位轉為列標題
/// 
public static DataTable SimpleTranspose(DataTable source, string headerColumnName)
{
    var result = new DataTable();
    result.Columns.Add("屬性名稱"); // 新表第一欄

    // 1. 建立新欄位:以指定欄位的值作為標題
    foreach (DataRow row in source.Rows)
    {
        string header = row[headerColumnName]?.ToString() ?? "";
        if (!string.IsNullOrEmpty(header) && !result.Columns.Contains(header))
            result.Columns.Add(header);
    }

    // 2. 遍歷來源欄位 (排除 headerColumn),每欄位產生一列
    for (int colIdx = 0; colIdx < source.Columns.Count; colIdx++)
    {
        string colName = source.Columns[colIdx].ColumnName;
        if (colName.Equals(headerColumnName, StringComparison.OrdinalIgnoreCase))
            continue; // 跳過作為標題來源的欄位

        var newRow = result.NewRow();
        newRow[0] = colName; // 第一欄填原欄位名

        // 填入各行對應的值
        for (int rowIdx = 0; rowIdx < source.Rows.Count; rowIdx++)
        {
            newRow[rowIdx + 1] = source.Rows[rowIdx][colIdx];
        }
        result.Rows.Add(newRow);
    }
    return result;
}

效能優化版本 (大量資料適用)


public static DataTable TransposeOptimized(DataTable source, string headerColumn, string valueColumn, string keyColumn)
{
    var result = new DataTable();
    result.Columns.Add(keyColumn);

    // 1. 先收集所有 header 值 (Distinct)
    var headers = source.AsEnumerable()
        .Select(r => r[headerColumn]?.ToString() ?? "")
        .Where(h => !string.IsNullOrEmpty(h))
        .Distinct()
        .ToArray();

    foreach (var h in headers) result.Columns.Add(h);

    // 2. 使用 Dictionary 分組索引 (O(n) 建立, O(1) 查詢)
    var dict = source.AsEnumerable()
        .GroupBy(r => r[keyColumn]?.ToString() ?? "")
        .ToDictionary(g => g.Key, g => g.ToList());

    // 3. 逐鍵值填充
    foreach (var kvp in dict)
    {
        var row = result.NewRow();
        row[keyColumn] = kvp.Key;

        foreach (var srcRow in kvp.Value)
        {
            string h = srcRow[headerColumn]?.ToString() ?? "";
            if (!string.IsNullOrEmpty(h))
                row[h] = srcRow[valueColumn];
        }
        result.Rows.Add(row);
    }
    return result;
}

LINQ 表達式版本 (可讀性優先)


var result = source.AsEnumerable()
    .GroupBy(r => r[keyColumn].ToString())
    .Select(g => {
        var row = result.NewRow();
        row[keyColumn] = g.Key;
        foreach (var r in g)
            row[r[headerColumn].ToString()] = r[valueColumn];
        return row;
    })
    .CopyToDataTable(); // 需引用 System.Data.DataSetExtensions

反向操作:列轉行 (Unpivot / Melt)


public static DataTable Unpivot(DataTable wideTable, string keyColumn, string variableColumn, string valueColumn)
{
    var result = new DataTable();
    result.Columns.Add(keyColumn);
    result.Columns.Add(variableColumn);
    result.Columns.Add(valueColumn);

    var valueColumns = wideTable.Columns.Cast()
        .Where(c => c.ColumnName != keyColumn)
        .ToList();

    foreach (DataRow row in wideTable.Rows)
    {
        string key = row[keyColumn].ToString();
        foreach (var vc in valueColumns)
        {
            var newRow = result.NewRow();
            newRow[keyColumn] = key;
            newRow[variableColumn] = vc.ColumnName;
            newRow[valueColumn] = row[vc.ColumnName];
            result.Rows.Add(newRow);
        }
    }
    return result;
}

效能比較與選擇建議

方法時間複雜度記憶體可讀性適用場景
雙重迴圈 (原文)O(rows × cols)低中小資料量 (<1萬列)、固定結構
Dictionary 分組索引O(rows + cols)中中高大量資料、需高效能
LINQ GroupByO(rows log rows)高高中等資料、重視可維護性
SQL PIVOT/UNPIVOT資料庫端最佳化最低高資料量大、已在資料庫層

實務建議

  1. 優先在 SQL 層完成:使用 `PIVOT`/`UNPIVOT` (SQL Server) 或 `CROSSTAB` (PostgreSQL) / `CASE WHEN` 聚合,減少網路傳輸與記憶體壓力
  2. 資料型別保持:轉換時保留原始 `DataColumn.DataType`,避免數值變字串
  3. 處理 Null 值:轉換前決定 Null 顯示為空白、0、或保持 DBNull
  4. 欄位名稱合法性:DataColumn 不允許重複名稱,header 值重複時需加後綴 (如 `2020_1`, `2020_2`)
  5. 大資料集改用 `IDataReader` 串流處理:避免完整載入 DataTable

總結

DataTable 行轉列是報表開發常見需求。本文提供從簡單雙重迴圈到 Dictionary 索引優化、LINQ 表達式、反向 Unpivot 等多種實作,並分析效能特性。實務上建議:能在 SQL 層解決就不拉到應用層;應用層處理時,小資料用 LINQ 可讀性佳,大資料用 Dictionary 分組索引效能最優。

copyright © 萬盛學電腦網 all rights reserved