萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 腳本程式專題 >> JavaScript

Node.js 批量下載圖片:基於 sitemap.xml 的異步爬蟲實戰

前言

本文介紹如何使用 Node.js 解析網站 sitemap.xml,批量下載文章中的圖片,支持並發控制、按文章分目錄存儲、斷點續傳等工程化功能。適用於合法授權的數據採集場景。

一、項目依賴 (package.json)


{
  "name": "me2sex-images",
  "version": "0.0.1",
  "description": "Batch download images from sitemap",
  "main": "index.js",
  "dependencies": {
    "async": "^0.9.0",        // 流程控制
    "cheerio": "^0.18.0",     // 服務端 jQuery 解析 HTML
    "mkdirp": "^0.5.0",       // 遞歸創建目錄
    "request": "^2.51.0",     // HTTP 客戶端
    "url": "^0.10.2",         // URL 解析
    "xml2js": "^0.4.4"        // XML 轉 JSON
  }
}

二、核心架構設計


var Me2SexImages = {
    options: {
        sitemap: 'https://example.com/sitemap.xml',
        saveTo: '/path/to/save',
        downLimit: 5  // 並發下載上限
    },
    posts: [],
    
    // 入口:瀑布流流程控制
    start: function() {
        async.waterfall([
            this.wrapTask(this.sitemapXML),
            this.wrapTask(this.sitemapJSON),
            this.wrapTask(this.downAllImages)
        ], function(err, result) {
            if (err) console.log('Error:', err.message);
            else console.log('Success: 下載完成');
        });
    },
    
    // 任務包裝器:綁定上下文、傳遞額外參數
    wrapTask: function(task, context, exArgs) {
        return function() {
            var args = [].slice.call(arguments);
            args = exArgs ? exArgs.concat(args) : args;
            task.apply(context || this, args);
        };
    },
    
    // 1. 下載 sitemap.xml
    sitemapXML: function(callback) {
        console.log('下載 sitemap.xml...');
        request(this.options.sitemap, function(err, res, body) {
            if (!err) console.log('下載成功');
            callback(err, body);
        });
    },
    
    // 2. 解析 XML 為 JSON
    sitemapJSON: function(sitemapXML, callback) {
        console.log('解析 XML...');
        xml2js.parseString(sitemapXML, {explicitArray: false}, function(err, json) {
            if (!err) {
                this.posts = json.urlset.url;
                this.posts.shift(); // 移除首頁等非文章鏈接
                console.log('解析完成,共 ' + this.posts.length + ' 頁面');
            }
            callback(err, this.posts);
        }.bind(this));
    },
    
    // 3. 批量下載所有圖片
    downAllImages: function(posts, callback) {
        var self = this;
        async.eachLimit(posts, self.options.downLimit, function(post, cb) {
            self.downloadPostImages(post, cb);
        }, callback);
    },
    
    // 下載單篇文章圖片
    downloadPostImages: function(post, callback) {
        var url = post.loc;
        var dirName = sanitize(url); // 生成安全目錄名
        var saveDir = path.join(this.options.saveTo, dirName);
        
        mkdirp(saveDir, function(err) {
            if (err) return callback(err);
            
            request(url, function(err, res, html) {
                if (err) return callback(err);
                
                var $ = cheerio.load(html);
                var imgUrls = $('img').map(function() { 
                    return $(this).attr('src'); 
                }).get().filter(Boolean);
                
                async.eachLimit(imgUrls, 3, function(imgUrl, cb) {
                    downloadImage(imgUrl, saveDir, cb);
                }, callback);
            });
        });
    }
};

三、關鍵工具函數

1. 圖片下載器 (支持斷點續傳)


function downloadImage(url, dir, callback) {
    var filename = path.basename(url.parse(url).pathname);
    var filepath = path.join(dir, filename);
    
    // 檢查文件是否已存在且完整
    if (fs.existsSync(filepath)) {
        var stats = fs.statSync(filepath);
        // 可選:HEAD 請求對比 Content-Length
        return callback(null, 'skipped');
    }
    
    var stream = request(url).pipe(fs.createWriteStream(filepath));
    stream.on('finish', function() { callback(null, 'downloaded'); });
    stream.on('error', callback);
}

2. 文件名清理


function sanitize(str) {
    return str.replace(/[^a-zA-Z0-9-_]/g, '_').substring(0, 100);
}

四、進階功能擴展

1. 斷點續傳:記錄下載狀態


var stateFile = path.join(options.saveTo, '.download-state.json');

function loadState() {
    if (fs.existsSync(stateFile)) 
        return JSON.parse(fs.readFileSync(stateFile));
    return { completed: [], failed: [] };
}

function saveState(state) {
    fs.writeFileSync(stateFile, JSON.stringify(state));
}

2. 並發控制優化:動態調整


// 根據網絡狀況動態調整 downLimit
// 可集成 bottleneck 或 p-limit 庫實現更精細控制

3. 圖片去重:感知哈希 (pHash)


// 下載後計算 pHash,與已下載圖片比較,相似度>90% 視為重複刪除
// 需引入 image-hash 或 sharp 庫

五、法律與道德邊界 ⚠️

重要提醒:
  • 僅用於合法授權、公開數據、個人學習研究場景
  • 遵守 robots.txt、網站服務條款、著作權法
  • 設置合理 User-Agent、Referer、請求間隔,避免對目標服務器造成壓力
  • 商業用途必須獲得書面授權

六、總結

基於 async.waterfall 流程控制 + cheerio 解析 + request 流式下載,構建了健壯的批量圖片下載器。核心亮點:

  • 模塊化任務設計,易擴展、易測試
  • 並發限制保護目標服務器與本地帶寬
  • 按文章分目錄存儲,便於後續管理
  • 可擴展斷點續傳、去重、增量更新等企業級特性
copyright © 萬盛學電腦網 all rights reserved