萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Hadoop 核心架構解析:HDFS、MapReduce 與集群角色

什麼是 Hadoop

Hadoop 是 Apache 開源分布式計算框架,使用 Java 實現,設計用於廉價商用硬件集群上存儲與處理海量數據(PB 級)。核心設計:HDFS (存儲) + MapReduce (計算)。

數據處理流程

  1. 客戶端將大文件切分為固定大小塊 (默認 128MB/64MB)。
  2. 塊按副本策略 (默認 3 副本) 分布存儲至多個 DataNode。
  3. 提交 MapReduce 作業,JobTracker 調度 TaskTracker 執行 Map/Reduce 任務。
  4. Map 階段:每塊啟動一個 Map Task,輸出 。
  5. Shuffle:按 Key 分區、排序、分組,傳輸至 Reduce 端。
  6. Reduce 階段:聚合計算,最終結果寫回 HDFS。
Hadoop 數據處理流程

HDFS 架構

  • NameNode (NN):元數據管理節點(文件目錄樹、塊映射關係、副本分布),單點故障風險(早期版本)。
  • DataNode (DN):存儲實際數據塊,定期向 NN 發送心跳與塊報告。
  • Secondary NameNode (2NN):定期合併 NN 的編輯日志與鏡像檔,緩解 NN 內存壓力,**非熱備**。
HDFS 文件塊分布

MapReduce 流程

MapReduce 流程
  • InputSplit → Map Task → 輸出 Key-Value → Partition/Sort/Spill → Merge → Reduce Task → 輸出結果。
  • Combiner (可選):Map 端局部聚合,減少網絡傳輸。

集群核心角色 (MRv1)

角色進程名職責
NameNodeNameNode管理文件系統命名空間、塊映射、集群狀態
DataNodeDataNode存儲塊數據、讀寫服務、向 NN 匯報
Secondary NNSecondaryNameNode定期 checkpoint,合併 edits 到 fsimage
JobTrackerJobTracker作業調度、任務分發、監控 TaskTracker
TaskTrackerTaskTracker運行 Map/Reduce 任務、資源汇報、心跳
Hadoop 集群角色

演進補充:YARN (MRv2)

Hadoop 2.x 引入 YARN (Yet Another Resource Negotiator) 分離資源管理與作業調度:

  • ResourceManager (RM):全局資源調度
  • NodeManager (NM):節點資源管理、容器啟動
  • ApplicationMaster (AM):單個應用協調

MapReduce 成為 YARN 上運行的眾多框架之一 (Spark, Flink, Tez 等)。

copyright © 萬盛學電腦網 all rights reserved