萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Linux 文件比較工具全攻略:comm、grep、awk 與 diff 實戰指南

前言

在 Linux 系統管理與開發工作中,比較兩個文件的差異是極為常見的需求。無論是排查配置文件變更、分析日誌差異,還是代碼審查,掌握高效的文件比較工具都能事半功倍。本文將系統介紹四大核心工具——comm、grep、awk 與 diff 的使用場景、參數詳解與實戰技巧,助你輕鬆應對各類文本比對需求。

一、comm:已排序文件的專業比較利器

基本語法

comm [-123] file1 file2 [> output_file]

核心前提

輸入文件必須預先排序(可用 sort file1 > file1.sorted 處理)。否則輸出結果將不可預期。

三欄輸出機制

comm 預設產生三欄輸出:

  • 第 1 欄:僅在 file1 出現的行
  • 第 2 欄:僅在 file2 出現的行
  • 第 3 欄:兩文件共同擁有的行

常用抑制選項

選項作用典型用例
-1隱藏第 1 欄(file1 獨有)找出 file2 獨有內容
-2隱藏第 2 欄(file2 獨有)找出 file1 獨有內容
-3隱藏第 3 欄(共同內容)僅顯示差異行
-12只顯示共同行求交集
-23只顯示 file1 獨有行求差集 (file1 - file2)
-13只顯示 file2 獨有行求差集 (file2 - file1)

實戰範例

# 比較兩個已排序的用戶列表,找出僅在新名單出現的用戶
comm -13 users_old.sorted users_new.sorted

二、grep -f:快速過濾差異(適合數值/單詞比對)

grep -v -f file1 file2

原理:以 file1 內容作為模式,反向匹配 file2 中不包含這些模式的行。

適用場景:行內容為獨立單詞、數值、IP 等無特殊正則字元的場景。

避坑指南:文本包含正則元字元(如 . * [ ])時極易誤判,建議改用 grep -F -v -f file1 file2(固定字串模式)或直接轉用 comm/diff。

三、awk + sort + uniq:無需排序的通用差異提取

方案 A:保留行號的完整版

awk '{print NR, $0}' file1 file2 | sort -k2 | uniq -u -f 1 | sort -k1 | awk '{print $2}'

流程解析:

  1. awk 標記行號與內容
  2. sort -k2 按內容排序,相同內容聚合
  3. uniq -u -f 1 忽略第 1 欄(行號),只保留唯一出現的行
  4. sort -k1 恢復原始行號順序
  5. 最後 awk 還原純內容

方案 B:簡潔版(不保留順序)

awk '{print $0}' file1 file2 | sort | uniq -u

優點:無需預排序、邏輯直觀。缺點:輸出順序為字典序,非原文件順序;大文件排序開銷較大。

四、diff:行級差異的標準化呈現

基本語法

diff [選項] file1 file2

核心選項速查

選項說明
-u / -U NUM統一格式(顯示上下文 NUM 行,預設 3 行),Git/补丁標準格式
-c上下文格式(較舊,信息更豐富)
-i忽略大小寫差異
-w / -b忽略所有/連續空白字元差異
-r遞歸比較目錄
--color終端彩色高亮(GNU diff)

輸出格式解讀(以 -u 為例)

--- file1	2024-01-15 10:00:00
+++ file2	2024-01-15 10:05:00
@@ -1,4 +1,4 @@
 line 1
-line 2 removed
+line 2 modified
 line 3
+line 4 added
  • --- 原文件,+++ 新文件
  • @@ -start,count +start,count @@ 區塊位置標記
  • - 刪除行,+ 新增行, (空格)上下文行

進階技巧

  • 生成補丁:diff -u old new > patchfile → patch -p1 < patchfile
  • 目錄同步比較:diff -ruN dir1/ dir2/
  • 忽略特定行:diff -I '^#' file1 file2(忽略以 # 開頭的註釋行變更)

五、工具選型決策樹

  1. 文件已排序 / 需集合運算(交集/差集/並集) → comm(最快、最語義化)
  2. 文件未排序、只需「在 A 不在 B」的行、且內容無正則元字元 → grep -F -v -f A B
  3. 文件未排序、需完整差異、不介意輸出順序 → awk ... | sort | uniq -u
  4. 需查看具體修改上下文、生成補丁、或目錄比較 → diff -u(行業標準)
  5. 二進制文件 / 大文件 / 跨平台 GUI → 推薦 vimdiff、meld、Beyond Compare、vscode diff

六、效能與大文件建議

  • comm 與 diff 為流式處理,記憶體佔用極低,適合 GB 級大文件。
  • sort | uniq 需將所有行載入記憶體(或臨時文件),大文件請加 sort -S 50% --parallel=4 優化。
  • 頻繁比較同一文件時,預先建立排序版本與校驗和(md5sum/sha256sum)可大幅加速。

總結

Linux 文件比較工具鏈豐富且各有所長:comm 專治已排序集合運算,diff 是補丁與上下文差異的黃金標準,grep/awk 組合則提供無需預排序的靈活方案。實際工作中,建議根據文件狀態(是否排序)、輸出需求(集合關係 vs 逐行上下文)與數據規模,組合使用上述工具,並善用 sort -u、md5sum 等輔助命令構建高效工作流。

copyright © 萬盛學電腦網 all rights reserved