大数据2_16_Hadoop HA高可用

最新推荐文章于 2023-10-31 11:17:24 发布

原创最新推荐文章于 2023-10-31 11:17:24 发布 · 279 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#hadoop #分布式 #大数据

bigdata_01_Hadoop 专栏收录该内容

18 篇文章

订阅专栏

本文介绍Hadoop HA（高可用）配置方法，包括HDFS和YARN的HA配置流程，以及如何通过ZooKeeper和ZKFailoverController实现自动故障转移机制。

4 Hadoop HA高可用

4.1 HA概述

什么是HA?

HA（High Availablity），高可用性，不中断服务。

怎样实现高可用呢？

最关键的策略是消除单点故障，HA分为：HDFS的HA，YARN的HA

那些方面会影响HDFS集群的可用性？

NameNode机器宕机；NameNode机器需要升级。

zookeeper的节点解析

[zk: localhost:2181(CONNECTED) 8] ls /
[hadoop-ha, rmstore, yarn-leader-election, zookeeper]
# 其中hadoop-ha/mycluster就是HDFS的zookeeper节点
# 其中yarn-leader-election/cluster-yarn1就是YARN的zookeeper节点

其中ActiveBreadCrumb是面包块，存储的是上一次的active的namenode或resourcemanager的信息

其中ActiveStanndbyElectorLock，存储的是active状态的namenode或resourcemanager的信息

查看日志信息

4.2 HDFS-HA工作机制

通过多个NameNode消除单点故障。

自动故障转移机制

是指namenode挂掉了，会自动会有另一个namenode顶上。

实现原理是HDFS增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程。

1 故障检测

集群中每个NameNode在ZooKeeper中都维护了一个会话session，如果NameNode挂掉，ZooKeeper会话将会停止，ZooKeeper通知另一个NameNode需要触发故障转移。

2 active选择

ZooKeeper选择现役的NameNode，将其标记为active状态。

ZKFC是自动故障转移中的另一个新组件，是ZooKeeper的客户端，监听和管理NameNode的状态。每个运行NameNode的主机也运行了一个ZKFC进程，由ZKFC负责：

健康监测，zkfc定期检查与其在相同节点上的NameNode，只要NameNode即使回复则认为其是健康的。
ZooKeeper会话管理，NameNode健康的话，ZKFC保持一个在ZooKeeper中打开的会话。active状态的NameNode，ZKFC会保持一个特殊的znode锁。
ZooKeeper的选择，如果本地NameNode是健康的，且ZKFC发现没有其他节点持有znode锁，它将去争夺该锁。如果抢夺成功则更改状态为Active。

元数据管理方式：

Edits日志只有Active状态的NameNode节点可以做写操作
所有的NameNode节点都可以读取Edits
共享的Edits放在一个共享存储的qjournal中。

状态管理功能模块：

实现了一个zkfailover，对应的线程为zkfc，用来监控NameNode节点，当需要状态切换的时，由zkfailover负责切换，切换时需要防止brain split现象。

NameNode之间ssh免密登录。

Fence隔离机制，防止brain split现象。

4.3 YARN-HA工作机制

为什么HDFS-HA的配置这么复杂？而YARN配置简单？

YARN不需要持久化；
YARN直连zookeeper，而HDFS需要ZKFC监控namenode在zookeeper节点上的状态。
YARN在HA机制之后出现，封装到YARN中了。所以不需要ZKFC来管理。

4.4 HDFS-HA集群配置

步骤1：虚拟机准备，创建ha文件夹，修改文件所有者所属组（前提杀死hdfs集群）

sudo mkdir -p /opt/ha
sudo chown -R atguigu:atguigu /opt/ha

步骤2：准备配置的hadoop集群

cp /opt/module/hadoop-3.1.3 /opt/ha
rm -rf /data /logs

步骤3：修改配置文件

core-siet.xml

<configuration>
	<!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
<!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/ha/hadoop-3.1.3/data</value>
    </property>
	<!-- 配置HDFS网页登录使用的静态用户为atguigu -->
		<property>
			<name>hadoop.http.staticuser.user</name>
			<value>atguigu</value>
	</property>
	<!-- 配置该atguigu(superUser)允许通过代理访问的主机节点 -->
		<property>
			<name>hadoop.proxyuser.atguigu.hosts</name>
			<value>*</value>
	</property>
	<!-- 配置该atguigu(superUser)允许通过代理用户所属组 -->
		<property>
			<name>hadoop.proxyuser.atguigu.groups</name>
			<value>*</value>
	</property>
	<!-- 指定zkfc要连接的zkServer地址 -->
    <property>
	    <name>ha.zookeeper.quorum</name>
	    <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
  <!-- 完全分布式集群名称 -->
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>
  <!-- 集群中NameNode节点都有哪些 -->
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2,nn3</value>
  </property>
  <!-- NameNode的RPC通信地址 -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>hadoop102:9820</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>hadoop103:9820</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn3</name>
    <value>hadoop104:9820</value>
  </property>
  <!-- NameNode的http通信地址 -->
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>hadoop102:9870</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>hadoop103:9870</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn3</name>
    <value>hadoop104:9870</value>
  </property>
  <!-- JournalNode数据存储目录 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>${hadoop.tmp.dir}/jn</value>
  </property>
  <!-- 指定NameNode元数据在JournalNode上的存放位置 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
  </property>
  <!-- 访问代理类：client用于确定哪个NameNode为Active -->
  <property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
  <!-- 使用隔离机制时需要ssh秘钥登录-->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/atguigu/.ssh/id_rsa</value>
  </property>
  <!-- 启动自动故障转移机制zkfc -->
  <property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
  </property>
</configuration>

步骤4：同步分发hadoop-3.1.3到其他NameNode

sudo xsync /opt/ha

步骤5：修改环境变量

sudo vim /etc/profile.d/my_env.sh
# 修改为：
# HADOOP_HOME # HA
export HADOOP_HOME=/opt/ha/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

步骤6：分发环境变量到其他NameNode

sudo xsync /etc/profile.d/my_env.sh

# 让环境变量生效(所有节点)
source /etc/profile.d/my_env.sh

步骤7：启动journalNode（群起）

hdfs --workers --daemon start journalnode

启动后等10秒左右，创建logs…

步骤8：在一台节点上，namenode -format格式化，然后开启namenode

# 在hadoop102上操作
hdfs namenode -format
hdfs --daemon start namenode

为什么要格式化一台namenode呢？

format一次就会生成一个集群id，多次生成会导致集群id不一致。

解决方法呢？–> 步骤9

步骤9：在其他NamoNode节点，拉取hadoop102的format信息

# 在hadoop103和hadoop104上分别拉取和启动
hdfs namenode -bootstrapStandby
hdfs --daemon start namenode

步骤10：开启zookeeper集群，在任意一台节点格式化zkfc

# 开启zookeeper集群
zkS.sh start
# 任意一台节点格式化zkfc
hdfs zkfc -formatZK

步骤11：启动zkfc（群起）

hdfs --workers --daemon start zkfc

步骤12：启动datanode（群起）

hdfs --workers --daemon start datanode

此后启动ha，就先启动zookeeper，然后启动start-dfs.sh就可以启动了。

如果不先启动zookeeper会导致：三台节点全是standby状态。

步骤13：验证ha高可用

# 杀死一台namenode节点
kill -9 namenode(进程号)
# 查看web端会有另外一台namenode成为active状态

4.5 YARN-HA集群配置

步骤1：修改配置文件

yarn-site.xml

<configuration>
	<!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
	</property>
    <!-- 启用resourcemanager ha -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!-- 声明两台resourcemanager的地址 -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn1</value>
    </property>
    <!--指定resourcemanager的逻辑列表-->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
	</property>
	<!-- ========== rm1的配置 ========== -->
	<!-- 指定rm1的主机名 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop102</value>
	</property>
	<!-- 指定rm1的web端地址 -->
	<property>
    	 <name>yarn.resourcemanager.webapp.address.rm1</name>
    	 <value>hadoop102:8088</value>
	</property>
	<!-- 指定rm1的内部通信地址 -->
	<property>
    	 <name>yarn.resourcemanager.address.rm1</name>
    	 <value>hadoop102:8032</value>
	</property>
	<!-- 指定AM向rm1申请资源的地址 -->
	<property>
    	 <name>yarn.resourcemanager.scheduler.address.rm1</name>  
    	 <value>hadoop102:8030</value>
	</property>
	<!-- 指定供NM连接的地址 -->  
	<property>
     	<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
     	<value>hadoop102:8031</value>
	</property>
	<!-- ========== rm2的配置 ========== -->
    <!-- 指定rm2的主机名 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop103</value>
	</property>
	<property>
    	 <name>yarn.resourcemanager.webapp.address.rm2</name>
    	 <value>hadoop103:8088</value>
	</property>
	<property>
    	 <name>yarn.resourcemanager.address.rm2</name>
    	 <value>hadoop103:8032</value>
	</property>
	<property>
     	<name>yarn.resourcemanager.scheduler.address.rm2</name>
     	<value>hadoop103:8030</value>
	</property>
	<property>
    	 <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
    	 <value>hadoop103:8031</value>
    </property>
    <!-- 指定zookeeper集群的地址 --> 
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>
    <!-- 启用自动恢复 --> 
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!-- 指定resourcemanager的状态信息存储在zookeeper集群 --> 
    <property>
        <name>yarn.resourcemanager.store.class</name>     		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
	</property>
	<!-- 环境变量的继承 -->
 	<property>
        <name>yarn.nodemanager.env-whitelist</name>		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
	<!-- yarn容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
	</property>
	<!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
	</property>
	<!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
	<!-- 开启日志聚集功能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<!-- 设置日志聚集服务器地址 -->
	<property>  
		<name>yarn.log.server.url</name>  
		<value>http://hadoop102:19888/jobhistory/logs</value>
	</property>
	<!-- 设置日志保留时间为7天 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>

步骤2：分发配置文件到其他节点

xsync /opt/ha/hadoop-3.1.3/etc/hadoop

步骤3：重启hdfs

stop-dfs.sh
start-dfs.sh

步骤4：在hadoop102或hadoop103启动YARN

start-yarn.sh

步骤5：查看服务状态

yarn rmadmin -getServiceState rm1
yarn rmadmin -getServiceState rm2

在web端hadoop102:8088和hadoop103:8088查看，都会跳转到当前为active状态的resourcemanager的界面。