基于hadoop2.6.5搭建5个节点的分布式集群—(一)基础环境配置

本文介绍如何使用Hadoop2.6.5版本配置包含NameNode与ResourceManager高可用性的Hadoop集群,并利用Zookeeper进行集群管理。文中详细规划了主机分布、用户权限设置、软件版本需求及目录结构。

 使用hadoop2.6.5版本配置Hadoop集群,配置NameNode+HA、ResourceManager+HA,并使用zookeeper来管理Hadoop集群。

一、主机规划


hadoop001

192.168.159.129

hadoop002

192.168.159.130

hadoop003

192..168.159.131

hadoop004

192..168.159.133

hadoop005

192..168.159.132

namenode
datanode
resourcemanager
journalnode
zookeeper

二、集群主机用户、用户组、密码规划

主机用户组用户名密码
hadoop001hadoophadoop123456
hadoop002hadoophadoop123456
hadoop003hadoophadoop123456
hadoop004hadoophadoop123456
hadoop005hadoophadoop123456
三、部署所需软件及版本

    CentOS6.5 64位;JDK1.8.0_45;zookeeper3.4.10;Hadoop2.6.5。

四、目录规划

    1、软件目录:/usr/hadoop/app/ ;

    2、数据与日志目录:/usr/hadoop/data 。

五、环境检查及配置

    1、修改主机名

         vi /etc/sysconfig/network 修改network内容为:


          按照此方法修改其它服务器(hadoop002,hadoop003,hadoop004,hadoop004)。

    2、修改IP地址

      cat /etc/udev/rules.d/70-persistent-net.rules 查看MAC地址

    

    vi /etc/sysconfig/network-scripts/ifcfg-eth0 修改IP地址如下:

   

   按照此方法修改其它服务器hadoop002,hadoop003,hadoop004,hadoop004的IP地址。

   3、 修改hosts文件

   vi  /etc/hosts 修改hosts文件如下:


   4、禁用防火墙

    关闭命令:  service iptables stop
    永久关闭防火墙:chkconfig iptables off

    两个命令同时运行,运行完成后 service iptables status  查看防火墙关闭状态

  



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值