萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Linux 批量替換文件內容實戰:sed + grep/xargs/awk 高效模式全解析

核心命令模式對比

模式命令優點缺點適用場景
grep + xargsgrep -rl "old" /path | xargs sed -i 's/old/new/g'標準管道、廣泛兼容文件名含空格需 -print0/-0通用批量替換
反引號/命令替換sed -i 's/old/new/g' \`grep -rl "old" /path\`直觀、無管道開銷參數長度限制 (ARG_MAX)文件數較少
grep + awk + uniqgrep -r "old" /path | awk -F: '{print $1}' | sort -u | xargs sed -i 's/old/new/g'去重、可見文件列表多進程、較慢需審計文件列表
find + xargsfind /path -type f -exec grep -l "old" {} + | xargs sed -i 's/old/new/g'find 功能強大、可過濾類型/大小/時間語法較複雜複雜文件篩選
ripgrep (rg) + sedrg -l "old" /path | xargs sed -i 's/old/new/g'極快、智能忽略 .git/.ignore、支持正則需額外安裝大代碼庫、現代環境

sed 核心語法精講


# 基礎替換
sed -i 's/old/new/g' file           # 全局替換
sed -i 's/old/new/2' file           # 替換第2次出現
sed -i '2,10s/old/new/g' file       # 第2-10行替換
sed -i '/pattern/s/old/new/g' file  # 匹配行替換

# 正則進階
sed -i -E 's/(http:)//g' file       # 捕獲組、擴展正則
sed -i 's/\//\\\//g' file           # 斜杠轉義 (或用其他分隔符: s|/|\\/|g)

# 多條件
sed -i -e 's/old1/new1/g' -e 's/old2/new2/g' file

# 就地編輯備份
sed -i.bak 's/old/new/g' file       # 生成 file.bak

實戰場景與最佳實踐

場景一:項目遷移域名/IP 批量替換


#!/bin/bash
# replace_domain.sh
OLD="api.old-company.com"
NEW="api.new-company.com"
TARGET_DIR="/var/www/html"

# 1. 預覽影響範圍
echo "=== 將被修改的文件 ==="
grep -rl "$OLD" "$TARGET_DIR" --exclude-dir=.git --exclude-dir=node_modules --exclude="*.log"

# 2. 確認後執行
read -p "確認執行替換? (y/N): " confirm
[[ "$confirm" != "y" ]] && exit 1

# 3. 執行替換 (排除二進制文件、版本控制目錄)
grep -rl "$OLD" "$TARGET_DIR" \
  --exclude-dir=.git --exclude-dir=node_modules --exclude-dir=vendor \
  --exclude="*.min.js" --exclude="*.map" --exclude="*.log" \
  --exclude="*.png" --exclude="*.jpg" --exclude="*.woff2" | \
xargs sed -i "s|$OLD|$NEW|g"

echo "替換完成。建議運行測試套件驗證。"

場景二:配置文件參數化模板化


# 模板文件 config.template
DATABASE_URL=postgresql://__DB_USER__:__DB_PASS__@__DB_HOST__:5432/__DB_NAME__
REDIS_URL=redis://__REDIS_HOST__:6379/0

# 渲染腳本
render_config() {
    local template="$1"
    local output="$2"
    shift 2
    cp "$template" "$output"
    for kv in "$@"; do
        key="${kv%%=*}"
        val="${kv#*=}"
        sed -i "s|__${key}__|${val}|g" "$output"
    done
}

render_config config.template config.prod \
  DB_USER=prod_user \
  DB_PASS="$(vault kv get -field=password secret/db)" \
  DB_HOST=db.prod.internal \
  DB_NAME=prod_db \
  REDIS_HOST=redis.prod.internal

場景三:清理敏感信息 (Git 歷史/日志/導出數據)


# 替換密碼/Token/密鑰為佔位符
find . -type f -name "*.log" -o -name "*.json" -o -name "*.yaml" | \
xargs grep -l "password\|token\|secret\|api_key" | \
xargs sed -i -E 's/(password|token|secret|api_key)["\s:=]+[^"\s]+/\1=***REDACTED***/gi'

# 或使用專用工具
# truffleHog, git-secrets, gitleaks, detect-secrets

場景四:編碼轉換與換行符統一


# 批量轉 UTF-8
find . -type f -name "*.java" -o -name "*.xml" -o -name "*.properties" | \
xargs file -i | grep -v utf-8 | cut -d: -f1 | \
xargs -I{} iconv -f GBK -t UTF-8 {} -o {}.utf8 && mv {}.utf8 {}

# 統一 LF (Unix 風格)
find . -type f -name "*.sh" -o -name "*.py" -o -name "*.conf" | \
xargs dos2unix
# 或
sed -i 's/\r$//' file

安全與避坑指南

風險防範措施
誤替換二進制文件導致損壞grep -aIl 僅文本文件、file 命令過濾、排除已知二進制目錄
正則特殊字符未轉義使用固定字符串模式 grep -F、sed 's|literal|replacement|g' 異分隔符
參數列表過長 (ARG_MAX)xargs 自動分批、find -exec +、parallel
文件名含空格/換行符grep -Z / xargs -0、find -print0 / xargs -0
符號鏈接循環/跟蹤問題find -L 謹慎使用、-xtype f 僅普通文件
無備份無法回滾sed -i.bak、Git 提交前狀態、ZFS/Btrfs 快照
並發修改衝突文件鎖 (flock)、單線程串行、版本控制

現代工具鏈推薦

  • ripgrep (rg):比 grep 快 5-10 倍,默認遵循 .gitignore
  • fd:現代 find 替代品,彩色輸出、並行、智能忽略
  • sd:直觀語法的 sed 替代品 sd 'old' 'new' file
  • hyperfine:命令性能基準測試
  • parallel:GNU Parallel 並行處理大批量文件

一鍵式安全替換腳本模板


#!/bin/bash
# safe_replace.sh
set -euo pipefail

usage() { echo "Usage: $0    [--dry-run] [--backup]"; exit 1; }
SEARCH="${1:-}"; REPLACE="${2:-}"; PATH="${3:-}"; DRY_RUN=false; BACKUP=false
shift 3 || usage
while [[ $# -gt 0 ]]; do case $1 in --dry-run) DRY_RUN=true;; --backup) BACKUP=true;; *) usage;; esac; shift; done

[[ -z "$SEARCH" || -z "$REPLACE" || -z "$PATH" ]] && usage
[[ -d "$PATH" ]] || { echo "Path not found: $PATH"; exit 1; }

FILES=$(grep -rlF "$SEARCH" "$PATH" --exclude-dir=.git --exclude-dir=node_modules --exclude="*.log" --exclude="*.bak" 2>/dev/null)
COUNT=$(echo "$FILES" | grep -c '^')
[[ $COUNT -eq 0 ]] && { echo "No files matched."; exit 0; }

echo "Matched $COUNT files:"
echo "$FILES" | head -20
[[ $COUNT -gt 20 ]] && echo "... and $((COUNT-20)) more"

$DRY_RUN && { echo "DRY RUN - no changes made."; exit 0; }

if $BACKUP; then
    cp -r "$PATH" "${PATH}.bak.$(date +%s)"
    echo "Backup created."
fi

echo "$FILES" | xargs -r sed -i "s|$SEARCH|$REPLACE|g"
echo "Replacement completed."
copyright © 萬盛學電腦網 all rights reserved