本腳本可批量下載新浪部落格文章,支援:
urllib2:HTTP 請求(含 Proxy 支援)BeautifulSoup:HTML 解析re:正則提取文章 ID、分頁數os:目錄/檔案操作| 函式 | 功能 |
|---|---|
getHTML(url) | 取得解析後的 BeautifulSoup 物件 |
visible(element) | 過濾不可見元素 (style, script, 註解等) |
delReturn(element) | 移除元素內換行 |
validFilename(filename) | 過濾 Windows 非法檔名字元 |
writeToFile(text, filename, dirname) | 建立目錄並寫入檔案(避免覆蓋) |
formatContent(url, title) | 解析單篇文章:提取標題、內容、部落格名、文章 ID |
articlelist(url) | 遍歷分頁,回傳 {標題: URL} 字典 |
blog_dld(articles) | 批量下載字典內所有文章 |
python sina_blog_downloader.py
# 選擇 1: 全部文章 / 2: 單篇文章
# 輸入對應 URL
BeautifulSoup (舊版 BeautifulSoup 套件,非 bs4)完整程式碼約 150 行,採用模組化設計,主程式入口在 if __name__ == '__main__' 區塊,互動式選單引導使用者操作。