DataNode 的 VERSION 檔案中 namespaceID 與 NameNode 的 namespaceID 不一致。
namespaceID 在執行 hdfs namenode -format 時產生,唯一標識 HDFS 命名空間。cd $HADOOP_HOME/sbin
./stop-dfs.sh
./stop-yarn.sh
# NameNode
rm -rf /data/hadoop/dfs/name/current/*
# DataNode (各節點)
rm -rf /data/hadoop/dfs/data/current/*
注意:/data/hadoop/dfs 為 hdfs-site.xml 中 dfs.namenode.name.dir、dfs.datanode.data.dir 指定路徑,請依實際配置調整。
hdfs namenode -format
./start-dfs.sh
./start-yarn.sh
jps # 確認 NameNode, DataNode, ResourceManager, NodeManager 皆在
hdfs dfsadmin -report # 查看 DataNode 狀態為 Live
清除 current 目錄等同於重置節點狀態,NameNode 格式化後產生新 namespaceID,DataNode 啟動時向 NameNode 註冊並拉取最新 ID,雙方一致即可正常心跳與區塊匯報。
dfs.namenode.handler.count、dfs.datanode.handler.count 適當值,減少高負載下心跳超時。