萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Hadoop MapReduce 輸出檔案命名控制:MultipleOutputs 實現自訂檔名與多分區輸出

預設情況下,每個 Reducer 產生單一輸出檔 part-r-00000、part-r-00001...。若需自訂檔名、或單一 Reducer 輸出多個檔案 (如按鍵值分類、按日期分區),需使用 org.apache.hadoop.mapreduce.lib.output.MultipleOutputs。

MultipleOutputs 使用四步驟

1. Reducer 宣告成員變數

private MultipleOutputs multipleOutputs;

2. setup() 初始化

@Override
protected void setup(Context context) throws IOException, InterruptedException {
    multipleOutputs = new MultipleOutputs(context);
}

3. reduce() 邏輯中寫入指定檔案

@Override
protected void reduce(Text key, Iterable values, Context context)
        throws IOException, InterruptedException {
    for (Text value : values) {
        // 以 key 為檔名基礎輸出
        multipleOutputs.write(NullWritable.get(), value, key.toString());
    }
}

4. cleanup() 關閉資源

@Override
protected void cleanup(Context context) throws IOException, InterruptedException {
    multipleOutputs.close();
}

輸出檔名規則

  • 基礎格式:name-r-nnnnn (name 為第三參數指定字串,nnnnn 為分區編號)
  • 若 baseOutputPath **不含** /:輸出 name-r-00000、name-r-00001...
  • 若 baseOutputPath **含** / (如 029070-99999/1901/part):輸出至對應子目錄 029070-99999/1901/part-r-00000

進階用法

  • 多輸出流:建立多個 MultipleOutputs 實例或重複呼叫 write() 指定不同 baseOutputPath
  • 搭配 Partitioner:自訂 Partitioner 控制鍵值分發至特定 Reducer,再由 MultipleOutputs 寫入對應檔案
  • 計數器統計:各輸出檔案記錄數可透過 Counter 監控

注意事項

  • 務必在 cleanup() 呼叫 close(),否則資料遺失
  • 輸出路徑為相對於 Job 設定的 mapreduce.output.fileoutputformat.outputdir
  • 大量小檔案會增加 NameNode 壓力,建議合併或使用 SequenceFile/ORC/Parquet

掌握 MultipleOutputs,讓 MapReduce 輸出結構完全由業務邏輯掌控,支援多表寫入、分區存儲、條件分流等進階場景。

copyright © 萬盛學電腦網 all rights reserved