Linux版本的hadoop启动之后不显示Datanode

最新推荐文章于 2026-05-10 05:15:10 发布

原创最新推荐文章于 2026-05-10 05:15:10 发布 · 425 阅读

6 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

标签

#hadoop #linux #大数据

一、直接通过检查和统一集群 ID来解决 DataNode 不启动的问题

# 停止所有进程
stop-all.sh

# 强制杀死残留进程（确保彻底关闭）
kill -9 $(jps | grep -v Jps | awk '{print $1}')

二、查看 NameNode 的 clusterID

# 进入NameNode的VERSION文件目录（根据你的配置）
cat /usr/local/hadoop/tmp/hdfs/name/current/VERSION

输出会类似这样，记住 clusterID 的值（例如CID-xxx）：

#Mon Oct 10 15:30:00 CST 2025
namespaceID=123456
clusterID=CID-e0ad0519-c950-4fb9-b1de-73955bb349b0  # 这行是关键
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1111515888-127.0.1.1-1760073492431
layoutVersion=-64

三、查看 DataNode 的 clusterID（如果文件存在）

# 进入DataNode的VERSION文件目录
cat /usr/local/hadoop/tmp/hdfs/data/current/VERSION

如果文件存在：对比clusterID是否与 NameNode 的一致，不一致则需要修改。
如果文件不存在：说明 DataNode 从未成功启动，直接执行步骤 4

四、统一集群 ID（关键步骤）

情况 A：DataNode 的 VERSION 文件存在

# 编辑DataNode的VERSION文件
sudo vim /usr/local/hadoop/tmp/hdfs/data/current/VERSION

将其中的clusterID值修改为NameNode 的 clusterID（完全复制粘贴），保存退出。

情况 B：DataNode 的 VERSION 文件不存在

直接创建 DataNode 目录并授权（确保目录可写）：

mkdir -p /usr/local/hadoop/tmp/hdfs/data/current
sudo chown -R hadoop:hadoop /usr/local/hadoop/tmp/hdfs

5. 修改clusterID

当 NameNode 和 DataNode 的clusterID不一致时，只需手动修改 DataNode 的配置使其与 NameNode 保持一致即可，步骤如下：

5.1. 复制 NameNode 的 clusterID

先重新查看并复制 NameNode 的clusterID（确保准确）：

# 查看NameNode的VERSION文件，复制clusterID的值
cat /usr/local/hadoop/tmp/hdfs/name/current/VERSION

示例输出（重点复制clusterID=后面的内容）：

clusterID=CID-e0ad0519-c950-4fb9-b1de-73955bb349b0  # 复制这串字符

5.2. 编辑 DataNode 的 VERSION 文件

# 打开DataNode的VERSION文件
sudo vim /usr/local/hadoop/tmp/hdfs/data/current/VERSION

5.3. 修改 clusterID 并保存

在打开的文件中，找到clusterID=这一行，删除原有内容，粘贴刚才复制的 NameNode 的clusterID。

例如：

原内容：clusterID=CID-旧的不一致的值
修改后：clusterID=CID-e0ad0519-c950-4fb9-b1de-73955bb349b0（与 NameNode 完全一致）

保存退出（vim 中按Esc，输入:wq回车）。

5.4. 修复目录权限（重要）

确保修改后的文件仍归hadoop用户所有：

sudo chown -R hadoop:hadoop /usr/local/hadoop/tmp/hdfs/data

6 . 重启集群并验证

# 启动集群
start-all.sh

jps