萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> ASP.NET 程式設計

C# 使用 LINQ 讀取分隔符號文字檔完整教學:從基本查詢到條件篩選

應用場景

處理 CSV、TSV 或自訂分隔符號的文字檔案是常見需求:匯入客戶資料、解析日誌、轉換舊系統匯出檔等。LINQ 提供聲明式、可組合的查詢語法,讓檔案解析程式碼簡潔易讀。

範例資料結構

來源檔案 `customers.txt` (逗號分隔):


First Name,Last Name,Job Title,City,Country
John,Doe,Sales Manager,New York,USA
Jane,Smith,Software Engineer,London,UK
Bob,Johnson,Sales Representative,Tokyo,Japan
Alice,Williams,Marketing Specialist,Paris,France
Charlie,Brown,Sales Director,Sydney,Australia

實體類別定義


public class Customer
{
    public string FirstName { get; set; }
    public string LastName { get; set; }
    public string JobTitle { get; set; }
    public string City { get; set; }
    public string Country { get; set; }

    public override string ToString() 
        => $"{FirstName}, {LastName}, {JobTitle}, {City}, {Country}";
}

基本 LINQ 查詢:讀取並轉換


string filePath = @"C:\Data\customers.txt";

var query = from line in File.ReadAllLines(filePath)
            let fields = line.Split(',')
            select new Customer
            {
                FirstName = fields[0],
                LastName = fields[1],
                JobTitle = fields[2],
                City = fields[3],
                Country = fields[4]
            };

// 跳過標題列 (第 1 行)
var customers = query.Skip(1).ToList();

foreach (var c in customers)
    Console.WriteLine(c);

進階查詢:條件篩選

篩選國家為 UK 的客戶


var ukCustomers = from line in File.ReadAllLines(filePath).Skip(1)
                  let fields = line.Split(',')
                  where fields[4].Trim() == "UK"
                  select new Customer
                  {
                      FirstName = fields[0],
                      LastName = fields[1],
                      JobTitle = fields[2],
                      City = fields[3],
                      Country = fields[4]
                  };

篩選職稱包含 "Sales" 的客戶


var salesStaff = from line in File.ReadAllLines(filePath).Skip(1)
                 let fields = line.Split(',')
                 where fields[2].Contains("Sales", StringComparison.OrdinalIgnoreCase)
                 select new Customer
                 {
                     FirstName = fields[0],
                     LastName = fields[1],
                     JobTitle = fields[2],
                     City = fields[3],
                     Country = fields[4]
                 };

多條件組合:UK 且職稱含 Sales


var ukSales = from c in (
                  from line in File.ReadAllLines(filePath).Skip(1)
                  let fields = line.Split(',')
                  select new Customer
                  {
                      FirstName = fields[0],
                      LastName = fields[1],
                      JobTitle = fields[2],
                      City = fields[3],
                      Country = fields[4]
                  })
              where c.Country == "UK" && c.JobTitle.Contains("Sales")
              select c;

健壯性增強:處理真實世界的 CSV 複雜性

真實 CSV 可能包含:引號包裹、欄位內含逗號/換行、編碼問題。建議使用成熟解析器:

使用 CsvHelper (推薦,NuGet: CsvHelper)


using CsvHelper;
using CsvHelper.Configuration;
using System.Globalization;

var config = new CsvConfiguration(CultureInfo.InvariantCulture)
{
    HasHeaderRecord = true,
    MissingFieldFound = null // 忽略缺漏欄位
};

using (var reader = new StreamReader(filePath, Encoding.UTF8))
using (var csv = new CsvReader(reader, config))
{
    var records = csv.GetRecords().ToList();
    // 自動處理引號、逗號、換行、型別轉換
}

手工處理引號欄位的簡易邏輯 (無第三方套件)


public static IEnumerable ParseCsvLines(string filePath, Encoding encoding = null)
{
    encoding ??= Encoding.UTF8;
    foreach (var line in File.ReadLines(filePath, encoding))
    {
        var fields = new List();
        bool inQuotes = false;
        var field = new StringBuilder();
        
        for (int i = 0; i < line.Length; i++)
        {
            char c = line[i];
            if (c == '"')
            {
                if (inQuotes && i + 1 < line.Length && line[i + 1] == '"')
                {
                    field.Append('"'); // 雙引號轉義
                    i++;
                }
                else
                {
                    inQuotes = !inQuotes;
                }
            }
            else if (c == ',' && !inQuotes)
            {
                fields.Add(field.ToString());
                field.Clear();
            }
            else
            {
                field.Append(c);
            }
        }
        fields.Add(field.ToString()); // 最後一欄
        yield return fields.ToArray();
    }
}

// 使用
var customers = ParseCsvLines(filePath)
    .Skip(1)
    .Select(f => new Customer { FirstName = f[0], LastName = f[1], ... });

大檔案處理:串流式讀取避免記憶體溢位


// File.ReadAllLines 會一次載入全部到記憶體
// 改用 File.ReadLines (串流,延遲執行)
var query = from line in File.ReadLines(filePath, Encoding.UTF8).Skip(1)
            let fields = line.Split(',')
            select new Customer { ... };

// 這時尚未讀取檔案
// 只有當呼叫 ToList()、foreach、Count() 等終端操作時才真逐行讀取
foreach (var c in query.Take(100)) // 只處理前 100 筆
{
    Console.WriteLine(c);
}

效能比較

方法記憶體速度功能完整度適用場景
File.ReadAllLines + LINQ高 (全載入)快簡單分隔小檔案 (<50MB)、簡單格式
File.ReadLines + LINQ低 (串流)快簡單分隔大檔案、只需部分資料
CsvHelper低 (串流)中完整 RFC 4180生產環境、複雜 CSV
手工解析低慢可控特殊格式、無法引用套件

編碼偵測與處理


// 簡易編碼偵測 (BOM)
public static Encoding DetectEncoding(string filePath)
{
    using (var fs = new FileStream(filePath, FileMode.Open, FileAccess.Read))
    {
        var bom = new byte[4];
        fs.Read(bom, 0, 4);
        
        if (bom[0] == 0xEF && bom[1] == 0xBB && bom[2] == 0xBF) return Encoding.UTF8;
        if (bom[0] == 0xFF && bom[1] == 0xFE) return Encoding.Unicode; // UTF-16LE
        if (bom[0] == 0xFE && bom[1] == 0xFF) return Encoding.BigEndianUnicode; // UTF-16BE
        // 繁體中文常見
        return Encoding.GetEncoding("Big5"); // 或 UTF-8
    }
}

總結

LINQ 讀取分隔符號文字檔案程式碼簡潔、可組合、支援豐富篩選條件。關鍵技巧:

  1. 使用 `File.ReadLines` 而非 `ReadAllLines` 處理大檔案
  2. `let` 子句快取 `Split` 結果避免重複計算
  3. 生產環境優先使用 CsvHelper 處理引號、逗號、換行等邊界情況
  4. 注意編碼問題:繁體中文環境常見 Big5/UTF-8,建議明確指定或偵測 BOM
  5. 結合 `Skip(1)` 跳過標題列,`Where` 篩選,`Select` 投影建立強型別物件

掌握這些模式,能以極少程式碼完成複雜的文字檔案資料擷取與轉換任務。

copyright © 萬盛學電腦網 all rights reserved