阿里云主机hadoop2.6.0-cdh5.15.1-HA环境搭建

最新推荐文章于 2026-03-09 00:01:34 发布
原创 最新推荐文章于 2026-03-09 00:01:34 发布 · 787 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

1.版本

组件版本备注
centoscentos7.2
JREjdk-8u45-linux-x64.gz-
hadoophadoop-2.6.0-cdh5.15.1.tar.gz自己通过源码编译的，具有压缩工具
zookeeperzookeeper-3.4.6.tar.gz热切，yarn存储数据使用的协调服务

2.阿里云环境搭建

具体步骤在这不详述，最后搭建的结果如下图：
在这里插入图片描述

3.主机规划

内网iphost安装软件进程
172.24.51.192hadoop001hadoop zookeeperNameNode、DataNode、DFSZKFailoverController、QuorumPeerMain、JournalNode、ResourceManager和NodeManager
172.24.51.191hadoop002hadoop zookeeperNameNode、DataNode、DFSZKFailoverController、QuorumPeerMain、JournalNode、ResourceManager和NodeManager
172.24.51.190hadoop003hadoop zookeeperQuorumPeerMain、JournalNode、DataNode和NodeManager
4.HA搭建
4.1环境准备
先在三台机器上分别创建一个hadoop用户，并切换至hadoop用户
[root@hadoop001 ~]# useradd hadoop
[root@hadoop002 ~]# useradd hadoop
[root@hadoop003 ~]# useradd hadoop
创建我们的目录结构
[hadoop@hadoop001 ~]# mkdir app software source data lib script tmp maven_repos
[hadoop@hadoop003 ~]# mkdir app software source data lib script tmp maven_repos
[hadoop@hadoop002 ~]# mkdir app software source data lib script tmp maven_repos
在三台机器上上传hadoop，zookeeper，jdk到software目录 下

如果不是阿里主机，而是自己的虚拟机还需要提前做一下操作：

1）关闭三台机器的防火墙
执行命令： systemctl  stop firewalld
					systemctl  enable firewalld
2)设置主机名：
三台主机分别执行命令：
hostnamectl set-hostname hadoop001
hostnamectl set-hostname hadoop002
hostnamectl set-hostname hadoop003
3）关闭掉selinux
4.2ip和hostname绑定（3台）
[root@hadoop001 ~]# vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.24.51.192  hadoop001
172.24.51.191  hadoop002
172.24.51.190  hadoop003

其它两台同样是这样的配置
4.3配置3台主机ssh互信
  • 先每台都执行ssh-keygen 命令，然后按3下回车。此时会在家目录生成一个隐藏的目录.ssh，该目录包含了他的公钥和私钥
  • 然后每台机器在分别执行
    ssh-copy-id -i id_rsa.pub hadoop001（这里都会叫输入hadoop的密码）

将自己的公钥全部给hadoop001的主机

  • 然后hadoop001主机在把他的.ssh目录下的authorized_keys文件分别考到hadoop002和hadoop003的.ssh目录下
    scp authorized_keys hadoop002:/home/hadoop/.ssh/authorized_keys
    scp authorized_keys hadoop003:/home/hadoop/.ssh/authorized_keys

  • 最后测试是否三台主机ssh都已互信

    [hadoop@hadoop001 ~]$ ssh hadoop001 date
    Thu Aug 22 23:25:31 CST 2019
    [hadoop@hadoop001 ~]$ ssh hadoop002 date
    Thu Aug 22 23:25:34 CST 2019
    [hadoop@hadoop001 ~]$ ssh hadoop003 date
    Thu Aug 22 23:25:38 CST 2019
    三台主机都执行该操作，这样说明配置互信成功

    注意authorized_keys必须是600权限

4.4 jdk环境搭建（三台）
因为jdk是所有用户都需要使用的，所有使用root用户创建jdk目录，对于cdh来说，jdk的目录是死的，必须在这个位置
[root@hadoop001 ~]# mkdir /usr/java
[root@hadoop002 ~]# mkdir /usr/java
[root@hadoop003 ~]# mkdir /usr/java
然后使用root用户解压jdk到/usr/java目录下，然后配置环境变量
[root@hadoop001 ~]# tar -zxcf /home/hadoop/software/jdk-8u45-linux-x64.gz -C /usr/java/
[root@hadoop002 ~]# tar -zxcf /home/hadoop/software/jdk-8u45-linux-x64.gz -C /usr/java/
[root@hadoop003 ~]# tar -zxcf /home/hadoop/software/jdk-8u45-linux-x64.gz -C /usr/java/
[root@hadoop001 jdk1.8.0_45]# vi /etc/profile
....在最后添加....
export JAVA_HOME=/usr/java/jdk1.8.0_45
export PATH=$JAVA_HOME/bin:$PATH
source  /etc/profile  使其配置文件生效
其它两台同理，然后一定要修改jdk的权限为root用户root组，还有该目录最好给777的权限
4.5 安装zookeeper(三台)
 tar -zxvf  software/zookeeper-3.4.6.tar.gz  -C app/
 ln -s  zookeeper-3.4.6  zookeeper  （做一个软连接，这里最好都用绝对路径做软连接）
然后进入conf目录修改zookeeper配置文件
[hadoop@hadoop001 conf]$ cp zoo_sample.cfg zoo.cfg
修改zoo.cfg 文件中的dataDir目录位置，增加server
dataDir=/home/hadoop/data/zookeeper
server.1=hadoop001:2888:3888
server.2=hadoop002:2888:3888
server.3=hadoop003:2888:3888
然后手动创建dataDir的目录
[hadoop@hadoop001 conf]$ mkdir ~/data/zookeeper
以上三台都要做上面所有操作
然后在刚创建的zookeeper目录下创建myid文件，并对应写入1，2，3
[hadoop@hadoop001 zookeeper]$ echo 1 > ~/data/zookeeper/myid
[hadoop@hadoop002 zookeeper]$ echo 2 > ~/data/zookeeper/myid
[hadoop@hadoop003 zookeeper]$ echo 3 > ~/data/zookeeper/myid
切记：执行 echo 1 > ~/data/zookeeper/myid时，>前后必须都要有空格，否则无法将1写入到myid文件中。
然后在hadoop个人环境变量文件.bash_profile中配置zookeeper的环境变量
[hadoop@hadoop001 ~]$ vi .bash_profile 
......
export ZOOKEEPER_HOME=/home/hadoop/app/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH
然后source一下.bash_profile文件生效，使用which命令检查是否生效
[hadoop@hadoop001 ~]$ which zkServer.sh
~/app/zookeeper/bin/zkServer.sh
其它两台同理
4.6 安装hadoop（三台）
1.在hadoop001上，先将hadoop软件包，解压到app目录下，然后再做一个软连接，然后再配置环境变量
 tar -zxvf  software/hadoop-2.6.0-cdh5.15.1.tar.gz  -C app/
 ln -s  /home/hadoop/app/hadoop-2.6.0-cdh5.15.1   /home/hadoop/app/hadoop
 [hadoop@hadoop001 ~]$ vim  .bash_profile 
 添加
 export HADOOP_HOME=/home/hadoop/app/hadoop
 export  PATH=${HADOOP_HOME}/bin:$PATH
2. 配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh
	修改配置文件中的下面两行
	export JAVA_HOME="/usr/java/jdk1.8.0_45/"
	export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"
3. 配置$HADOOP_HOME/etc/hadoop/yarn-env.sh 
	修改 
	export YARN_LOG_DIR="/home/hadoop/logs/yarn"  //把yarn的日志全部放到/home/hadoop/logs/yarn目录下
4. 配置$HADOOP_HOME/etc/hadoop/core-site.xml   
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--Yarn 需要使用 fs.defaultFS 指定NameNode URI -->
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://ruozeclusterg7</value>
    </property>
    <!--==============================Trash机制======================================= -->
    <property>
            <!--多长时间创建CheckPoint NameNode截点上运行的CheckPointer 从Current文件夹创建CheckPoint;默认：0 由fs.trash.interval项指定 -->
            <name>fs.trash.checkpoint.interval</name>
            <value>0</value>
    </property>
    <property>
            <!--多少分钟.Trash下的CheckPoint目录会被删除,该配置服务器设置优先级大于客户端，默认：0 不删除 -->
            <name>fs.trash.interval</name>
            <value>1440</value>
    </property>

     <!--指定hadoop临时目录, hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配 置namenode和datanode的存放位置，默认就放在这>个路径中 -->
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/tmp/hadoop</value>
    </property>

     <!-- 指定zookeeper地址 -->
    <property>
            <name>ha.zookeeper.quorum</name>
            <value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>
    </property>
     <!--指定ZooKeeper超时间隔，单位毫秒 -->
    <property>
            <name>ha.zookeeper.session-timeout.ms</name>
            <value>2000</value>
    </property>

    <property>
       <name>hadoop.proxyuser.hadoop.hosts</name>
       <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
   </property>


  <property>
              <name>io.compression.codecs</name>
              <value>org.apache.hadoop.io.compress.GzipCodec,
                    org.apache.hadoop.io.compress.DefaultCodec,
                    org.apache.hadoop.io.compress.BZip2Codec,
                    org.apache.hadoop.io.compress.SnappyCodec
              </value>
  </property>

5. 配置$HADOOP_HOME/etc/hadoop/hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <!--HDFS超级用户 -->
    <property>
            <name>dfs.permissions.superusergroup</name>
            <value>hadoop</value>
    </property>

    <!--开启web hdfs -->
    <property>
            <name>dfs.webhdfs.enabled</name>
            <value>true</value>
    </property>
    <property>
            <name>dfs.namenode.name.dir</name>
            <value>/home/hadoop/data/dfs/name</value>
            <description> namenode 存放name table(fsimage)本地目录（需要修改）</description>
    </property>
    <property>
            <name>dfs.namenode.edits.dir</name>
            <value>${dfs.namenode.name.dir}</value>
            <description>namenode粗放 transaction file(edits)本地目录（需要修改）</description>
    </property>
    <property>
            <name>dfs.datanode.data.dir</name>
            <value>/home/hadoop/data/dfs/data</value>
            <description>datanode存放block本地目录（需要修改）</description>
    </property>
    <property>
            <name>dfs.replication</name>
            <value>3</value>
    </property>
    <!-- 块大小128M （默认128M） -->
    <property>
            <name>dfs.blocksize</name>
            <value>134217728</value>
    </property>
    <!--======================================================================= -->
    <!--HDFS高可用配置 -->
    <!--指定hdfs的nameservice为ruozeclusterg7,需要和core-site.xml中的保持一致 -->
    <property>
            <name>dfs.nameservices</name>
            <value>ruozeclusterg7</value>
    </property>
    <property>
            <!--设置NameNode IDs 此版本最大只支持两个NameNode -->
            <name>dfs.ha.namenodes.ruozeclusterg7</name>
            <value>nn1,nn2</value>
    </property>

    <!-- Hdfs HA: dfs.namenode.rpc-address.[nameservice ID] rpc 通信地址 -->
    <property>
            <name>dfs.namenode.rpc-address.ruozeclusterg7.nn1</name>
            <value>hadoop001:8020</value>
    </property>
    <property>
            <name>dfs.namenode.rpc-address.ruozeclusterg7.nn2</name>
            <value>hadoop002:8020</value>
    </property>

    <!-- Hdfs HA: dfs.namenode.http-address.[nameservice ID] http 通信地址 -->
    <property>
            <name>dfs.namenode.http-address.ruozeclusterg7.nn1</name>
            <value>hadoop001:50070</value>
    </property>
    <property>
            <name>dfs.namenode.http-address.ruozeclusterg7.nn2</name>
            <value>hadoop002:50070</value>
    </property>

    <!--==================Namenode editlog同步 ============================================ -->
    <!--保证数据恢复 -->
    <property>
            <name>dfs.journalnode.http-address</name>
            <value>0.0.0.0:8480</value>
    </property>
    <property>
            <name>dfs.journalnode.rpc-address</name>
            <value>0.0.0.0:8485</value>
    </property>
    <property>
            <!--设置JournalNode服务器地址，QuorumJournalManager 用于存储editlog -->
            <!--格式：qjournal://<host1:port1>;<host2:port2>;<host3:port3>/<journalId> 端口同journalnode.rpc-address -->
            <name>dfs.namenode.shared.edits.dir</name>
            <value>qjournal://hadoop001:8485;hadoop002:8485;hadoop003:8485/ruozeclusterg7</value>
    </property>

    <property>
            <!--JournalNode存放数据地址 -->
            <name>dfs.journalnode.edits.dir</name>
            <value>/home/hadoop/data/dfs/jn</value>
    </property>
    <!--==================DataNode editlog同步 ============================================ -->
    <property>
            <!--DataNode,Client连接Namenode识别选择Active NameNode策略 -->
                         <!-- 配置失败自动切换实现方式 -->
            <name>dfs.client.failover.proxy.provider.ruozeclusterg7</name>
            <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!--==================Namenode fencing：=============================================== -->
    <!--Failover后防止停掉的Namenode启动，造成两个服务 -->
    <property>
            <name>dfs.ha.fencing.methods</name>
            <value>sshfence</value>
    </property>
    <property>
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>/home/hadoop/.ssh/id_rsa</value>
    </property>
    <property>
            <!--多少milliseconds 认为fencing失败 -->
            <name>dfs.ha.fencing.ssh.connect-timeout</name>
            <value>30000</value>
    </property>

    <!--==================NameNode auto failover base ZKFC and Zookeeper====================== -->
    <!--开启基于Zookeeper  -->
    <property>
            <name>dfs.ha.automatic-failover.enabled</name>
            <value>true</value>
    </property>
    <!--动态许可datanode连接namenode列表 -->
     <property>
       <name>dfs.hosts</name>
       <value>/home/hadoop/app/hadoop/etc/hadoop/slaves</value>
     </property>

6.配置$HADOOP_HOME/etc/hadoop/mapred-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <!-- 配置 MapReduce Applications -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <!-- JobHistory Server ============================================================== -->
        <!-- 配置 MapReduce JobHistory Server 地址 ，默认端口10020 -->
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>hadoop001:10020</value>
        </property>
        <!-- 配置 MapReduce JobHistory Server web ui 地址， 默认端口19888 -->
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>hadoop001:19888</value>
        </property>

<!-- 配置 Map段输出的压缩,snappy-->
  <property>
      <name>mapreduce.map.output.compress</name>
      <value>true</value>
  </property>

  <property>
      <name>mapreduce.map.output.compress.codec</name>
      <value>org.apache.hadoop.io.compress.SnappyCodec</value>
   </property>

</configuration>


  7.配置$HADOOP_HOME/etc/hadoop/mapred-site.xml
     <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <!-- nodemanager 配置 ================================================= -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.nodemanager.localizer.address</name>
                <value>0.0.0.0:23344</value>
                <description>Address where the localizer IPC is.</description>
        </property>
        <property>
                <name>yarn.nodemanager.webapp.address</name>
                <value>0.0.0.0:23999</value>
                <description>NM Webapp address.</description>
        </property>
    <!-- HA 配置 =============================================================== -->
    <!-- Resource Manager Configs -->
    <property>
            <name>yarn.resourcemanager.connect.retry-interval.ms</name>
            <value>2000</value>
    </property>
    <property>
            <name>yarn.resourcemanager.ha.enabled</name>
            <value>true</value>
    </property>
    <property>
            <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
            <value>true</value>
    </property>
    <!-- 使嵌入式自动故障转移。HA环境启动，与 ZKRMStateStore 配合 处理fencing -->
    <property>
            <name>yarn.resourcemanager.ha.automatic-failover.embedded</name>
            <value>true</value>
    </property>
    <!-- 集群名称，确保HA选举时对应的集群 -->
    <property>
            <name>yarn.resourcemanager.cluster-id</name>
            <value>yarn-cluster</value>
    </property>
    <property>
            <name>yarn.resourcemanager.ha.rm-ids</name>
            <value>rm1,rm2</value>
    </property>


<!--这里RM主备结点需要单独指定,（可选）
    <property>
             <name>yarn.resourcemanager.ha.id</name>
             <value>rm2</value>
     </property>
     -->

    <property>
            <name>yarn.resourcemanager.scheduler.class</name>
            <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>
    <property>
            <name>yarn.resourcemanager.recovery.enabled</name>
            <value>true</value>
    </property>
    <property>
            <name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>
            <value>5000</value>
    </property>
    <!-- ZKRMStateStore 配置 -->
    <property>
            <name>yarn.resourcemanager.store.class</name>
            <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <property>
            <name>yarn.resourcemanager.zk-address</name>
            <value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>
    </property>
    <property>
            <name>yarn.resourcemanager.zk.state-store.address</name>
            <value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>
    </property>
    <!-- Client访问RM的RPC地址 (applications manager interface) -->
    <property>
            <name>yarn.resourcemanager.address.rm1</name>
            <value>hadoop001:23140</value>
    </property>
    <property>
            <name>yarn.resourcemanager.address.rm2</name>
            <value>hadoop002:23140</value>
    </property>
    <!-- AM访问RM的RPC地址(scheduler interface) -->
    <property>
            <name>yarn.resourcemanager.scheduler.address.rm1</name>
            <value>hadoop001:23130</value>
    </property>
    <property>
            <name>yarn.resourcemanager.scheduler.address.rm2</name>
            <value>hadooop002:23130</value>
    </property>
    <!-- RM admin interface -->
    <property>
            <name>yarn.resourcemanager.admin.address.rm1</name>
            <value>hadoop001:23141</value>
    </property>
    <property>
            <name>yarn.resourcemanager.admin.address.rm2</name>
            <value>hadoop002:23141</value>
    </property>
    <!--NM访问RM的RPC端口 -->
    <property>
            <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
            <value>hadoop001:23125</value>
    </property>
    <property>
            <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
            <value>hadoop002:23125</value>
    </property>
    <!-- RM web application 地址 -->
    <property>
            <name>yarn.resourcemanager.webapp.address.rm1</name>
            <value>hadoop001:8088</value>
    </property>
    <property>
            <name>yarn.resourcemanager.webapp.address.rm2</name>
            <value>hadoop002:8088</value>
    </property>
    <property>
            <name>yarn.resourcemanager.webapp.https.address.rm1</name>
            <value>hadoop001:23189</value>
    </property>
    <property>
            <name>yarn.resourcemanager.webapp.https.address.rm2</name>
            <value>hadoop002:23189</value>
    </property>



    <property>
       <name>yarn.log-aggregation-enable</name>
       <value>true</value>
    </property>
    <property>
             <name>yarn.log.server.url</name>
             <value>http://hadoop001:19888/jobhistory/logs</value>
    </property>


    <property>
            <name>yarn.nodemanager.resource.memory-mb</name>
            <value>2048</value>
    </property>
    <property>
            <name>yarn.scheduler.minimum-allocation-mb</name>
            <value>1024</value>
            <discription>单个任务可申请最少内存，默认1024MB</discription>
     </property>


  <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>2048</value>
        <discription>单个任务可申请最大内存，默认8192MB</discription>
  </property>

   <property>
       <name>yarn.nodemanager.resource.cpu-vcores</name>
       <value>2</value>
    </property>

</configuration>
8.配置$HADOOP_HOME/etc/hadoop/slaves
添加dataNode节点的hostname
hadoop001
hadoop002
hadoop003

9.创建临时文件夹和分发文件夹
-指定hadoop临时目录, hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它
mkidr  -p  /home/hadoop/tmp/hadoop
[hadoop@hadoop001 app]$ scp -r hadoop-2.6.0-cdh5.15.1  hadoop002:~/app/
 [hadoop@hadoop001 app]$ scp -r hadoop-2.6.0-cdh5.15.1  hadoop003:~/app/
 [hadoop@hadoop001 ~]$ scp .bash_profile  hadoop002:$PWD
 [hadoop@hadoop001 ~]$ scp .bash_profile  hadoop003:$PWD
 然后分别在hadoop002和hadoop003执行下面操作
 [hadoop@hadoop002 ~]$ ln -s  /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/     /home/hadoop/app/hadoop
 [hadoop@hadoop002 ~]$ source  .bash_profile 
  [hadoop@hadoop003~]$ ln -s  /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/     /home/hadoop/app/hadoop
 [hadoop@hadoop003 ~]$ source  .bash_profile

5.启动集群

5.1启动zookeeper（三台都启动）
  zkServer.sh  start
   zkServer.sh  status
三台都分别执行
检查 QuorumPeerMain这个进程是否起来
[hadoop@hadoop001 hadoop]$ jps
19125 QuorumPeerMain
19182 Jps
[hadoop@hadoop002 tmp]$ jps
19174 QuorumPeerMain
19231 Jps
[hadoop@hadoop003 ~]$ jps
19235 Jps
19171 QuorumPeerMain

####  5.2 启动hadoop (hdfs +yarn)
启动hadoop，第一次启动hdfs需要先进行格式化：
格式化前,需先在 journalnode 节点机器上先启动 JournalNode 进程
[hadoop@hadoop001 hadoop]$ hadoop-daemon.sh start journalnode
[hadoop@hadoop002 hadoop]$ hadoop-daemon.sh start journalnode
[hadoop@hadoop003 hadoop]$ hadoop-daemon.sh start journalnode
[hadoop@hadoop001 hadoop]$ jps
19125 QuorumPeerMain
19207 JournalNode
19256 Jps
[hadoop@hadoop002 tmp]$ jps
19174 QuorumPeerMain
19256 JournalNode
19305 Jps
[hadoop@hadoop003 ~]$ jps
19171 QuorumPeerMain
19260 JournalNode
19309 Jps

格式化namenode：
在hadoop001上进行格式化namenode
[hadoop@hadoop001 hadoop]$ hadoop namenode -format
......日志中出现name has been successfully formatted表示格式化成功.....

同步元数据到第二台namenode上，以达到元数据同步：(为什么要将nn1的name文件scp到nn2的dfs目录下呢，因为两台nn的目录结构是一样的，数据存放的位置也是一样的，这在hdfs-site.xml配置文件中是有指定的，换句话说就是 dfs.namenode.name.dir，dfs.namenode.edits.dir 还应该确保共享存储目录下
(dfs.namenode.shared.edits.dir ) 包含 NameNode 所有的元数据。)
[hadoop@hadoop001 dfs]$ scp -r name/   hadoop002:/home/hadoop/data/dfs/
fsimage_0000000000000000000.md5               100%   62     0.1KB/s   00:00    
VERSION                                       100%  203     0.2KB/s   00:00    
fsimage_0000000000000000000                   100%  308     0.3KB/s   00:00    
seen_txid           

初始化 ZFCK：因为zk是一个集群，所以只需要在一台
[hadoop@hadoop001 ~]$  hdfs zkfc -formatZK
.....日志....
19/08/21 01:17:00 INFO ha.ActiveStandbyElector: Session connected.
19/08/21 01:17:00 INFO ha.ActiveStandbyElector: Successfully created /hadoop-ha/yoohhwz in ZK.
19/08/21 01:17:00 INFO zookeeper.ZooKeeper: Session: 0x16caff2e2f00000 closed
19/08/21 01:17:00 INFO zookeeper.ClientCnxn: EventThread shut down
19/08/21 01:17:00 INFO tools.DFSZKFailoverController: SHUTDOWN_MSG: 
启动集群所有服务
[hadoop@hadoop001 hadoop]$ sbin/start-all.sh  
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [hadoop001 hadoop002]
hadoop001: starting namenode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoop-namenode-hadoop001.out
hadoop002: starting namenode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoop-namenode-hadoop002.out
hadoop003: starting datanode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoop-datanode-hadoop003.out
hadoop002: starting datanode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoop-datanode-hadoop002.out
hadoop001: starting datanode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoop-datanode-hadoop001.out
Starting journal nodes [hadoop001 hadoop002 hadoop003]
hadoop003: starting journalnode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoop-journalnode-hadoop003.out
hadoop001: starting journalnode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoop-journalnode-hadoop001.out
hadoop002: starting journalnode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoop-journalnode-hadoop002.out
Starting ZK Failover Controllers on NN hosts [hadoop001 hadoop002]
hadoop002: starting zkfc, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoop-zkfc-hadoop002.out
hadoop001: starting zkfc, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoop-zkfc-hadoop001.out
starting yarn daemons
starting resourcemanager, logging to /home/hadoop/logs/yarn/yarn-hadoop-resourcemanager-hadoop001.out
hadoop002: starting nodemanager, logging to /home/hadoop/logs/yarn/yarn-hadoop-nodemanager-hadoop002.out
hadoop003: starting nodemanager, logging to /home/hadoop/logs/yarn/yarn-hadoop-nodemanager-hadoop003.out
hadoop001: starting nodemanager, logging to /home/hadoop/logs/yarn/yarn-hadoop-nodemanager-hadoop001.out
通过启动日志，可以看到hadoop002的resourcemanager没有启动起来，因此必须手动在hadoop002上启动该服务
[hadoop@hadoop002 hadoop]$ sbin/yarn-daemon.sh  start  resourcemanager
然后jps分别查看3台启动的服务
[hadoop@hadoop001 hadoop]$ jps
12944 ResourceManager
9809 QuorumPeerMain
12833 DFSZKFailoverController
12455 DataNode
12648 JournalNode
13050 NodeManager
12347 NameNode
13100 Jps
[hadoop@hadoop002 hadoop]$ jps
18752 Jps
18531 NodeManager
15828 QuorumPeerMain
18228 DataNode
18325 JournalNode
18150 NameNode
18697 ResourceManager
18447 DFSZKFailoverController
[hadoop@hadoop002 hadoop]$ 
[hadoop@hadoop003 hadoop]$ jps
5184 QuorumPeerMain
7110 NodeManager
5719 JournalNode
7240 Jps
6926 DataNode
说明该集群已经成功启动
web也没测试：
hdfs页面：
第一台：47.108.89.167:50070
第二台：47.108.93.226:50070

yarn页面：第二台standby状态的要加cluster/cluster才可以访问
第一台：47.108.89.167:8088
第二台：47.108.93.226:8088/cluster/cluster

6.关闭集群：

关闭hadoop
[hadoop@hadoop001 hadoop]$ sbin/stop-all.sh
[hadoop@hadoop002 hadoop]$ sbin/yarn-daemon.sh stop resourcemanager

关闭Zookeeper
[hadoop@hadoop001 hadoop]$ zkServer.sh stop
[hadoop@hadoop002 hadoop]$ zkServer.sh stop
[hadoop@hadoop003 hadoop]$ zkServer.sh stop

7.再次开启集群

开启Zookeeper
[hadoop@hadoop001 hadoop]$ zkServer.sh start
[hadoop@hadoop002 hadoop]$ zkServer.sh start
[hadoop@hadoop003 hadoop]$ zkServer.sh start
开启hadoop
[hadoop@hadoop001 hadoop]$ sbin/start-all.sh
[hadoop@hadoop002 hadoop]$ sbin/yarn-daemon.sh start resourcemanager

监控集群

hdfs页面：
HDFS：47.108.89.167:50070
HDFS ：47.108.93.226:50070

yarn页面：第二台standby状态的要加cluster/cluster才可以访问
resourcemanager(activity)：47.108.89.167:8088

resourcemanager(standby)：47.108.93.226:8088/cluster/cluster
[hadoop@hadoop002 ~]$ hdfs dfsadmin -report

JobHistory:http://hadoop001:19888/jobhistory

参考博客：https://blog.csdn.net/yoohhwz/article/details/99880323

hadoop-2.6.0-cdh5.15.1.zip
07-27
Hadoop的CDH版本是什么？ 基于Apache协议，100%开源。 版本管理清晰 提供了部署、安装、配置工具，大大提高了集群部署的效率 运维简单。提供了管理、监控、诊断、配置修改的工具，管理配置方便，定位问题快速、准确，使运维工作简单，有效。
CDH最新版本5.15.1下载
11-19
CDH最新版本的安装包下载，CDH5.15.1下载，直接下载安装
hadoop 编译 版本(hadoop-2.6.0-cdh5.15.1)
cnheasy
08-04 3970
编译前准备工作 系统环境配置 操作系统版本：CentOS Linux release 7.5.1804 需要提前支持的类库： # 安装 gcc、gcc-c++ yum install gcc yum install glibc-headers yum install gcc-c++ # 安装 cmake yum install cmake # 安装 openssl-devel yum ins...
hadoop-2.6.0-cdh5.15.1完全分布式集群部署
xinji
08-21 1029
本次使用3台阿里云主机进行集群部署: ** 1. 版本 ** 组件 版本 备注及下载地址 Centos 7.2 64-bit lsb_release -a 命令查看操作系统版本file /bin/ls 命令查看操作系统位数 Hadoop hadoop-2.6.0-cdh5.15.1.tar 下载源码自行编译好的版本 jdk java version “1.8.0_45" h...
hadoop-2.6.0-cdh5.15.1源码编译添加压缩支持
SUDDEV的博客
08-05 1470
文章目录1.前言2.环境准备 直接从 Cloudera官网下载的hadoop-2.6.0-cdh5.15.1是不支持压缩的，而生产上往往需要这方面的支持，所以需要自行下载源码并编译，这里记录一下自己编译的过程。 1.前言 首先我们使用命令hadoop checknative查看官方下载的hadoop-2.6.0-cdh5.15.1对压缩支持的情况 [root@suddev bin]# hado...
hadoop-2.6.0-cdh-5.15.1 使用lzo压缩 安装及测试
xinji
10-08 481
Hadoop经常用于处理大量的数据，如果期间的输出数据、中间数据能压缩存储，对系统的I/O性能会有提升。综合考虑压缩、解压速度、是否支持split，目前lzo是最好的选择。LZO（LZO是Lempel-Ziv-Oberhumer的缩写）是一种高压缩比和解压速度极快的编码，它的特点是解压缩速度非常快，无损压缩，压缩后的数据能准确还原，lzo是基于block分块的，允许数据被分解成chunk，能够被并...
阿里云主机Hadoop-HA集群搭建步骤(详细)
yoohhwz的博客
08-21 966
环境： 阿里云三台：centos7.2 hadoop-2.6.0-cdh5.15.1.tar.gz jdk-8u45-linux-x64.gz zookeeper-3.4.6.tar.gz 先在三台机器上分别创建一个hadoop用户，并切换至hadoop用户 [root@hadoop001 ~]# useradd hadoop [root@hadoop002 ~]# useradd hadoop...
告别龟速下载！阿里云盘分享Cloudera CDH 6.3.2完整安装包（附CM工具）
最新发布
weixin_29061465的博客
03-09 257
本文针对Cloudera CDH 6.3.2官方下载渠道关闭的痛点，提供了通过阿里云盘获取完整安装包及CM工具的可靠方案。文章不仅分享了不限速的下载途径和提取码，还详细阐述了下载后的文件完整性校验方法，并总结了部署初期的常见问题与解决方案，旨在帮助用户快速搭建稳定的大数据测试与学习环境。
CENTOS 7.4 64Bit下 使用Cloudera Manager 安装 CDH 5.14.3
worldchinalee的博客
07-20 4248
1. 概述 本文根据官方安装文档的PathB 整理 CDH的搭建有多种方法，一般来说，都是先搭建Cloudera Manager, 然后利用Cloudera Manager搭建CDH，如果是测试环境，可以直接利用Cloudera Manager自动化安装，这种方式使用内嵌的PostgreSQL作为metadata等数据的存储，不适于生产环境。生产环境中一般会使用MariaDB, MySQL...
Hadoop2.6.0（cloudera CDH）安装教程
书忆江南的IT博客
07-19 5404
第一步是安装JDK，我用的方法比较简单不需要麻烦的配置环境变量等步骤，直接通过第三方的JDK安装包自动装好，命令如下： sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java8-installer 第一条命令是添加PPA软件源，第二条命令是更新软件源信息...
Hadoop环境搭建
vincent_duan的专栏
10-12 229
Hadoop版本 虽然CDH与社区版没有什么区别，但是推荐使用CDH版本，如果使用社区版，以后在生产环境中与其他框架整合时会有jar包冲突的问题。 CDH相关软件包下载地址:http://archive.cloudera.com/cdh5/cdh/5/ Hadoop使用版本：hadoop-2.6.0-cdh5.15.1 这里hadoop版本与社区版的hadoop2.6.0并不是同一个版本，而是cd...
hadoop-2.6.0-cdh5.15.2编译版本(CentOS 7.3)
04-27
带编译所需的maven库，hadoop-2.6.0-cdh5.15.2在CentOS Linux release 7.3.1611重新编译的版本
hadoop-2.6.0-cdh5.15.1.tar.gz
04-24
大数据/Linux安装包-hadoop-2.6.0-cdh5.15.1.tar.gz 大数据/Linux安装包-hadoop-2.6.0-cdh5.15.1.tar.gz 大数据/Linux安装包-hadoop-2.6.0-cdh5.15.1.tar.gz
hadoop-2.6.0-cdh5.10.0.tar.gz
03-15
Apache Hadoop 2.6.0-cdh5.10.1是2.x.y发行版中的次要发行版，它建立在先前的稳定版本2.4.1的基础上。
hadoop-2.6.0.tar.gz
04-24
hadoop-2.6.0.tar.gz
hadoop-2.6.0-cdh5.15.1源码编译--支持压缩
qq_40727267的博客
08-16 483
参考博文 https://blog.csdn.net/SUDDEV/article/details/98223999 https://blog.csdn.net/yz972641975/article/details/98405720 环境要求 CentOs 7.x 下载地址 JDK 7 下载地址 protobuf 2.5.0 下载地址 maven 3.x 下...
hadoop2.6.0-cdh5.15.1编译源码支持压缩
阿顾的博客
08-17 896
文章目录一 为什么要编译二 环境条件三 安装依赖四 安装软件4.1 jdk1.74.2 maven4.3 protobuf五 编译hadoop六 伪分布式部署 一 为什么要编译 直接从官网上下载的hadoop-2.6.0-cdh5.15.1.tar.gz部署后，不支持压缩，生产上是不可接受的，我们可以用下面命令查看： hadoop checknative 所以我们要进行编译，让他支持压缩 二 ...
hadoop-2.6.0-cdh5.15.1源码编译安装遇到的问题
whiteblacksheep的博客
08-01 1462
编译安装步骤还是安装之前的hadoop-2.6.0-cdh5.7.0,这里就不说了 遇到的问题： [FATAL] Non-resolvable parent POM for org.apache.hadoop:hadoop-main:2.6.0-cdh5.15.1: Could not transfer artifact com.cloudera.cdh:cdh-root:pom:5.15....
Spark 2.3.2源码编译，支持hadoop-2.6.0-cdh5.15.0
kaku812814843的博客
10-30 971
前置准备&amp;软件安装 spark2.3.2源码官方Apache下载地址： http://spark.apache.org/downloads.html 编译spark源码的官方Apache参考文档 http://spark.apache.org/docs/2.3.2/building-spark.html 编译Spark源码的前置要求（官方Apache编译要求说明）：  Mave...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值