本文介紹如何使用 Node.js 解析網站 sitemap.xml,批量下載文章中的圖片,支持並發控制、按文章分目錄存儲、斷點續傳等工程化功能。適用於合法授權的數據採集場景。
{
"name": "me2sex-images",
"version": "0.0.1",
"description": "Batch download images from sitemap",
"main": "index.js",
"dependencies": {
"async": "^0.9.0", // 流程控制
"cheerio": "^0.18.0", // 服務端 jQuery 解析 HTML
"mkdirp": "^0.5.0", // 遞歸創建目錄
"request": "^2.51.0", // HTTP 客戶端
"url": "^0.10.2", // URL 解析
"xml2js": "^0.4.4" // XML 轉 JSON
}
}
var Me2SexImages = {
options: {
sitemap: 'https://example.com/sitemap.xml',
saveTo: '/path/to/save',
downLimit: 5 // 並發下載上限
},
posts: [],
// 入口:瀑布流流程控制
start: function() {
async.waterfall([
this.wrapTask(this.sitemapXML),
this.wrapTask(this.sitemapJSON),
this.wrapTask(this.downAllImages)
], function(err, result) {
if (err) console.log('Error:', err.message);
else console.log('Success: 下載完成');
});
},
// 任務包裝器:綁定上下文、傳遞額外參數
wrapTask: function(task, context, exArgs) {
return function() {
var args = [].slice.call(arguments);
args = exArgs ? exArgs.concat(args) : args;
task.apply(context || this, args);
};
},
// 1. 下載 sitemap.xml
sitemapXML: function(callback) {
console.log('下載 sitemap.xml...');
request(this.options.sitemap, function(err, res, body) {
if (!err) console.log('下載成功');
callback(err, body);
});
},
// 2. 解析 XML 為 JSON
sitemapJSON: function(sitemapXML, callback) {
console.log('解析 XML...');
xml2js.parseString(sitemapXML, {explicitArray: false}, function(err, json) {
if (!err) {
this.posts = json.urlset.url;
this.posts.shift(); // 移除首頁等非文章鏈接
console.log('解析完成,共 ' + this.posts.length + ' 頁面');
}
callback(err, this.posts);
}.bind(this));
},
// 3. 批量下載所有圖片
downAllImages: function(posts, callback) {
var self = this;
async.eachLimit(posts, self.options.downLimit, function(post, cb) {
self.downloadPostImages(post, cb);
}, callback);
},
// 下載單篇文章圖片
downloadPostImages: function(post, callback) {
var url = post.loc;
var dirName = sanitize(url); // 生成安全目錄名
var saveDir = path.join(this.options.saveTo, dirName);
mkdirp(saveDir, function(err) {
if (err) return callback(err);
request(url, function(err, res, html) {
if (err) return callback(err);
var $ = cheerio.load(html);
var imgUrls = $('img').map(function() {
return $(this).attr('src');
}).get().filter(Boolean);
async.eachLimit(imgUrls, 3, function(imgUrl, cb) {
downloadImage(imgUrl, saveDir, cb);
}, callback);
});
});
}
};
function downloadImage(url, dir, callback) {
var filename = path.basename(url.parse(url).pathname);
var filepath = path.join(dir, filename);
// 檢查文件是否已存在且完整
if (fs.existsSync(filepath)) {
var stats = fs.statSync(filepath);
// 可選:HEAD 請求對比 Content-Length
return callback(null, 'skipped');
}
var stream = request(url).pipe(fs.createWriteStream(filepath));
stream.on('finish', function() { callback(null, 'downloaded'); });
stream.on('error', callback);
}
function sanitize(str) {
return str.replace(/[^a-zA-Z0-9-_]/g, '_').substring(0, 100);
}
var stateFile = path.join(options.saveTo, '.download-state.json');
function loadState() {
if (fs.existsSync(stateFile))
return JSON.parse(fs.readFileSync(stateFile));
return { completed: [], failed: [] };
}
function saveState(state) {
fs.writeFileSync(stateFile, JSON.stringify(state));
}
// 根據網絡狀況動態調整 downLimit
// 可集成 bottleneck 或 p-limit 庫實現更精細控制
// 下載後計算 pHash,與已下載圖片比較,相似度>90% 視為重複刪除
// 需引入 image-hash 或 sharp 庫
robots.txt、網站服務條款、著作權法User-Agent、Referer、請求間隔,避免對目標服務器造成壓力基於 async.waterfall 流程控制 + cheerio 解析 + request 流式下載,構建了健壯的批量圖片下載器。核心亮點: