萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python 批量下載新浪部落格文章完整實作

專案簡介

本腳本可批量下載新浪部落格文章,支援:

  • 單篇文章下載
  • 整個文章列表分頁下載
  • 自動提取標題、內容、發布時間
  • 以部落格名稱建立資料夾,文章存為文字檔

核心模組

  • urllib2:HTTP 請求(含 Proxy 支援)
  • BeautifulSoup:HTML 解析
  • re:正則提取文章 ID、分頁數
  • os:目錄/檔案操作

關鍵函式說明

函式功能
getHTML(url)取得解析後的 BeautifulSoup 物件
visible(element)過濾不可見元素 (style, script, 註解等)
delReturn(element)移除元素內換行
validFilename(filename)過濾 Windows 非法檔名字元
writeToFile(text, filename, dirname)建立目錄並寫入檔案(避免覆蓋)
formatContent(url, title)解析單篇文章:提取標題、內容、部落格名、文章 ID
articlelist(url)遍歷分頁,回傳 {標題: URL} 字典
blog_dld(articles)批量下載字典內所有文章

執行流程

python sina_blog_downloader.py
# 選擇 1: 全部文章 / 2: 單篇文章
# 輸入對應 URL

注意事項

  • 需安裝 BeautifulSoup (舊版 BeautifulSoup 套件,非 bs4)
  • 新浪部落格結構若變更,選擇器需相應調整
  • 大量請求建議加入延遲,避免被封 IP
  • 編碼處理:內部以 UTF-8 處理,輸出檔案亦為 UTF-8

程式碼結構

完整程式碼約 150 行,採用模組化設計,主程式入口在 if __name__ == '__main__' 區塊,互動式選單引導使用者操作。

copyright © 萬盛學電腦網 all rights reserved