預設情況下,每個 Reducer 產生單一輸出檔 part-r-00000、part-r-00001...。若需自訂檔名、或單一 Reducer 輸出多個檔案 (如按鍵值分類、按日期分區),需使用 org.apache.hadoop.mapreduce.lib.output.MultipleOutputs。
private MultipleOutputs multipleOutputs;
@Override
protected void setup(Context context) throws IOException, InterruptedException {
multipleOutputs = new MultipleOutputs(context);
}
@Override
protected void reduce(Text key, Iterable values, Context context)
throws IOException, InterruptedException {
for (Text value : values) {
// 以 key 為檔名基礎輸出
multipleOutputs.write(NullWritable.get(), value, key.toString());
}
}
@Override
protected void cleanup(Context context) throws IOException, InterruptedException {
multipleOutputs.close();
}
name-r-nnnnn (name 為第三參數指定字串,nnnnn 為分區編號)baseOutputPath **不含** /:輸出 name-r-00000、name-r-00001...baseOutputPath **含** / (如 029070-99999/1901/part):輸出至對應子目錄 029070-99999/1901/part-r-00000MultipleOutputs 實例或重複呼叫 write() 指定不同 baseOutputPathPartitioner 控制鍵值分發至特定 Reducer,再由 MultipleOutputs 寫入對應檔案cleanup() 呼叫 close(),否則資料遺失mapreduce.output.fileoutputformat.outputdir掌握 MultipleOutputs,讓 MapReduce 輸出結構完全由業務邏輯掌控,支援多表寫入、分區存儲、條件分流等進階場景。