使用hadoop2.6.5版本配置Hadoop集群,配置NameNode+HA、ResourceManager+HA,并使用zookeeper来管理Hadoop集群。
一、主机规划
hadoop001 192.168.159.129 | hadoop002 192.168.159.130 | hadoop003 192..168.159.131 | hadoop004 192..168.159.133 | hadoop005 192..168.159.132 | |
| namenode | 是 | 是 | 否 | 否 | 否 |
| datanode | 否 | 否 | 是 | 是 | 是 |
| resourcemanager | 是 | 是 | 否 | 否 | 否 |
| journalnode | 是 | 是 | 是 | 是 | 是 |
| zookeeper | 是 | 是 | 是 | 是 | 是 |
二、集群主机用户、用户组、密码规划
| 主机 | 用户组 | 用户名 | 密码 |
| hadoop001 | hadoop | hadoop | 123456 |
| hadoop002 | hadoop | hadoop | 123456 |
| hadoop003 | hadoop | hadoop | 123456 |
| hadoop004 | hadoop | hadoop | 123456 |
| hadoop005 | hadoop | hadoop | 123456 |
CentOS6.5 64位;JDK1.8.0_45;zookeeper3.4.10;Hadoop2.6.5。
四、目录规划
1、软件目录:/usr/hadoop/app/ ;
2、数据与日志目录:/usr/hadoop/data 。
五、环境检查及配置
1、修改主机名
vi /etc/sysconfig/network 修改network内容为:

按照此方法修改其它服务器(hadoop002,hadoop003,hadoop004,hadoop004)。
2、修改IP地址
cat /etc/udev/rules.d/70-persistent-net.rules 查看MAC地址

vi /etc/sysconfig/network-scripts/ifcfg-eth0 修改IP地址如下:

按照此方法修改其它服务器hadoop002,hadoop003,hadoop004,hadoop004的IP地址。
3、 修改hosts文件
vi /etc/hosts 修改hosts文件如下:

4、禁用防火墙
关闭命令: service iptables stop
永久关闭防火墙:chkconfig iptables off
两个命令同时运行,运行完成后 service iptables status 查看防火墙关闭状态

本文介绍如何使用Hadoop2.6.5版本配置包含NameNode与ResourceManager高可用性的Hadoop集群,并利用Zookeeper进行集群管理。文中详细规划了主机分布、用户权限设置、软件版本需求及目录结构。
795

被折叠的 条评论
为什么被折叠?



