萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Linux Shell 腳本自動分析 Nginx 日誌並提交百度死鏈(每日定時任務)

利用 Shell 腳本每日自動分析前一天 Nginx 存取日誌,提取百度蜘蛛爬取的 404 路徑,生成 death.txt 供百度站長平台死鏈提交工具抓取,實現死鏈自動收集與提交。

腳本功能

  • 分析前一天 Nginx access log
  • 篩選 User-Agent 含百度蜘蛛特徵(+https://www.baidu.com/search/spider.html)
  • 提取狀態碼 404 的請求路徑
  • 去重後寫入網站根目錄 death.txt(完整 URL 格式)

核心腳本 deathlink.sh

#!/bin/bash
# Desc: Death Chain File Script
# Author: ZhangGe
UA="+https://www.baidu.com/search/spider.html"
DATE=$(date +%Y-%m-%d -d "1 day ago")
logfile="/home/wwwlogs/yourdomain_${DATE}.log"
deathfile="/home/wwwroot/yourdomain/death.txt"
website="https://yourdomain"

for url in $(cat ${logfile} | grep -i "${UA}" | awk '{print $7 " " $9}' | grep " 404" | awk '{print $1}')
do
    grep -q "$url" ${deathfile} || echo "${website}${url}" >> ${deathfile}
done

部署步驟

  1. 將腳本存為 /root/deathlink.sh,賦予執行權限 chmod +x。
  2. 編輯 crontab:crontab -e,加入:
    0 1 * * * /root/deathlink.sh >/dev/null 2>&1 (每天凌晨 1 點執行)
  3. 執行後可瀏覽 https://yourdomain/death.txt 確認內容。
  4. 在百度站長平台提交該死鏈檔案 URL。

進階版:整合 Nginx 日誌切割與死鏈生成

若尚未配置日誌切割,可用單一腳本同時完成:

#!/bin/bash
LOGS_PATH=/home/wwwlogs
UA="+https://www.baidu.com/search/spider.html"
DOMAIN=yourdomain
DATE=$(date +%Y-%m-%d -d "1 day ago")
logfile="${LOGS_PATH}/${DOMAIN}_${DATE}.log"
deathfile="/home/wwwroot/${DOMAIN}/death.txt"
website="https://${DOMAIN}"

# 1. 切割日誌
mv ${LOGS_PATH}/${DOMAIN}.log ${logfile}
kill -USR1 $(ps axu | grep "nginx: master process" | grep -v grep | awk '{print $2}')
# 可選:刪除 30 天前舊日誌
find ${LOGS_PATH} -mtime +30 -name "*20[1-9][3-9]*" | xargs rm -f

# 2. 生成死鏈
for url in $(cat ${logfile} | grep -i "${UA}" | awk '{print $7 " " $9}' | grep " 404" | awk '{print $1}')
do
    grep -q "$url" ${deathfile} || echo "${website}${url}" >> ${deathfile}
done

適用性說明

  • 需 Nginx 配置了 access_log 且每日切割(或用進階版腳本自動切割)。
  • Apache/IIS 同理,修改日誌路徑與欄位位置($7 $9)即可移植。
copyright © 萬盛學電腦網 all rights reserved