CentOS7配置Hadoop-3.1.3存在的问题及总结

原创于 2023-03-25 15:56:58 发布 · 717 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#hadoop #hdfs #大数据

大数据同时被 2 个专栏收录

1 篇文章

订阅专栏

运维

1 篇文章

订阅专栏

本文介绍了在CentOS7上配置Hadoop-3.1.3过程中遇到的问题，包括SSH未配置导致节点无法启动、权限问题影响logs文件夹创建、Hadoop文件配置错误及namenode格式化问题。解决方法涉及SSH配置、修改权限、正确配置Hadoop相关文件以及理解namenode格式化的注意事项。在启动前需切换至指定用户，并通过检查进程确保一切正常。

问题一:没有配置SSH导致部分节点不能启动

没有配置SSH导致secondarynamenode节点,datanode节点无法启动
解决方法:

查看主机名
hostnamectl

2.进行ssh配置

ssh localhostname  #这里的localhostname指的是自己的主机名
exit                           # 退出之前的 ssh localhost
cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，一直按回车即可
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权
chmod 600 authorized_keys      # 更改文件权限

问题二因权限问题无法创建logs文件夹

在初始化时报错因权限问题无法创建logs文件夹
解决方法:

sudo chown -R  localhostname /opt/module/hadoop-3.1.3/
#这里的localhostname是主机名

有了logs文件夹，改bug速度得到加快

问题三 Hadoop文件配置出问题

主要配置三个文件
1、配置core-site.xml

<configuration>
     <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhostname:9000</value>
    </property>
 
<!-- hadoop.data.dir是自定义的变量，下面的配置文件会用到 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/tmp</value>
    </property>
</configuration>

注意：这里的localhostname写自己的主机名，文件路径写自己的文件路径
2、配置hadoop-env.sh

# Technically, the only required environment variable is JAVA_HOME.
# All others are optional.  However, the defaults are probably not
# preferred.  Many sites configure these options outside of Hadoop,
# such as in /etc/profile.d

# The java implementation to use. By default, this environment
# variable is REQUIRED on ALL platforms except OS X!
export JAVA_HOME=/opt/module/jdk1.8.0_162

# Location of Hadoop.  By default, Hadoop will attempt to determine
# this location based upon its execution path.
# export HADOOP_HOME=

# Location of Hadoop's configuration information.  i.e., where this
# file is living. If this is not defined, Hadoop will attempt to
# locate it based upon its execution path.

在这里插入图片描述

3、配置hdfs-site.xml

<configuration>
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>file:/opt/module/hadoop-3.1.3/tmp/dfs/name</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>file:/opt/module/hadoop-3.1.3/tmp/dfs/data</value>
</property>
</configuration>

注意：这里的namenode和datanode后面分别是name和data，别写错了

问题四 namenode格式化问题

进行格式化hadoop namenode -format
只是在最初配置的时候进行格式化,如果已经配置好且开始使用了,慎重进行格式化,这会让数据丢失
启动start-all.sh
注意，在启动start-all.sh之前,要切换到hadoop用户,su hadoop
查看各个进程jps
在这里插入图片描述