萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Shell 腳本實現同時讀取多個文件的高級技巧

在 Shell 腳本中逐行讀取單一檔案很常見,但若需「同步讀取多個檔案」(例如逐行對比兩份日誌),則需運用文件描述符與 exec 重定向技術。本文由淺入深,展示完整可用的多檔並行讀取範例。

一、單檔讀取回顧

# 方式 1:for 迴圈(不推薦大文件)
for line in `cat ${input_filename}`; do
    echo $line
done

# 方式 2:while read + 重定向(標準做法)
while read line; do
    echo $line
done < ${input_filename}

二、多檔同步讀取核心原理

Bash 允許將檔案重定向到自訂文件描述符(FD,預設 0=stdin, 1=stdout, 2=stderr)。語法:

n<file     # 以唯讀方式開啟 file,指派 FD=n
n>file     # 以寫入方式開啟 file,指派 FD=n
n>>file    # 以追加方式開啟 file,指派 FD=n
n<>file    # 以讀寫方式開啟 file,指派 FD=n

三、實戰範例:雙檔同步逐行讀取

readfiles() {
    local FD1=7
    local FD2=8
    local file1=$1
    local file2=$2
    local count1=0 count2=0
    local eof1=0 eof2=0
    local data1 data2

    # 開啟檔案並綁定 FD
    exec 7<$file1
    exec 8<$file2

    # 迴圈直到兩檔都讀完
    while [[ $eof1 -eq 0 || $eof2 -eq 0 ]]; do
        # 讀取檔案 1
        if read data1 <&$FD1; then
            let count1++
            printf "%s, line %d: %s\n" "$file1" $count1 "$data1"
        else
            eof1=1
        fi

        # 讀取檔案 2
        if read data2 <&$FD2; then
            let count2++
            printf "%s, line %d: %s\n" "$file2" $count2 "$data2"
        else
            eof2=1
        fi
    done

    # 關閉 FD
    exec 7<&-
    exec 8<&-
}

# 調用範例
readfiles file1.txt file2.txt

四、關鍵點解析

  • read data <&7:<& 告訴 Shell 後面跟的是 FD 而非檔名
  • exec 7<&-:關閉 FD 7,釋放資源
  • 迴圈條件 [[ $eof1 -eq 0 || $eof2 -eq 0 ]] 確保長檔案讀完後,短檔案的剩餘行仍被處理
  • 可擴展至 3 個以上檔案,只需分配更多 FD(如 9, 10…)並複製邏輯

五、應用場景

  • 雙日誌對比分析
  • CSV 多欄位合併處理
  • 配置文件差異檢測
  • 並行數據流處理

掌握 FD 操作,能讓 Shell 腳本突破單一輸入流限制,處理更複雜的文本任務。

copyright © 萬盛學電腦網 all rights reserved