什麼是 Hadoop
Hadoop 是 Apache 開源分布式計算框架,使用 Java 實現,設計用於廉價商用硬件集群上存儲與處理海量數據(PB 級)。核心設計:HDFS (存儲) + MapReduce (計算)。
數據處理流程
- 客戶端將大文件切分為固定大小塊 (默認 128MB/64MB)。
- 塊按副本策略 (默認 3 副本) 分布存儲至多個 DataNode。
- 提交 MapReduce 作業,JobTracker 調度 TaskTracker 執行 Map/Reduce 任務。
- Map 階段:每塊啟動一個 Map Task,輸出 。
- Shuffle:按 Key 分區、排序、分組,傳輸至 Reduce 端。
- Reduce 階段:聚合計算,最終結果寫回 HDFS。
HDFS 架構
- NameNode (NN):元數據管理節點(文件目錄樹、塊映射關係、副本分布),單點故障風險(早期版本)。
- DataNode (DN):存儲實際數據塊,定期向 NN 發送心跳與塊報告。
- Secondary NameNode (2NN):定期合併 NN 的編輯日志與鏡像檔,緩解 NN 內存壓力,**非熱備**。
MapReduce 流程
- InputSplit → Map Task → 輸出 Key-Value → Partition/Sort/Spill → Merge → Reduce Task → 輸出結果。
- Combiner (可選):Map 端局部聚合,減少網絡傳輸。
集群核心角色 (MRv1)
| 角色 | 進程名 | 職責 |
| NameNode | NameNode | 管理文件系統命名空間、塊映射、集群狀態 |
| DataNode | DataNode | 存儲塊數據、讀寫服務、向 NN 匯報 |
| Secondary NN | SecondaryNameNode | 定期 checkpoint,合併 edits 到 fsimage |
| JobTracker | JobTracker | 作業調度、任務分發、監控 TaskTracker |
| TaskTracker | TaskTracker | 運行 Map/Reduce 任務、資源汇報、心跳 |
演進補充:YARN (MRv2)
Hadoop 2.x 引入 YARN (Yet Another Resource Negotiator) 分離資源管理與作業調度:
- ResourceManager (RM):全局資源調度
- NodeManager (NM):節點資源管理、容器啟動
- ApplicationMaster (AM):單個應用協調
MapReduce 成為 YARN 上運行的眾多框架之一 (Spark, Flink, Tez 等)。