Hadoop + Zookeeper + HBase 配置错误攻略集

以下不包括详细部署步骤，只有部分关键步骤作为检查错误的点

仅供参考：

1. Hadoop和 HBase的版本兼容问题:

    官网地址：http://hbase.apache.org/book.html#java

如果版本不一致  哈哈哈......  后面你会自闭的！

2. 配置环境变量:    执行，命令：

vi /etc/profile

#zookeeper
export ZOOKEEPER_INSTALL=/root/zookeeper/            -- 安装目录
export PATH=$PATH:$ZOOKEEPER_INSTALL/bin

#Hbase
export HBASE_HOME=/root/hbase                                  -- 安装目录
export PATH=$PATH:$HBASE_HOME/bin

#hadoop
export HADOOP_HOME=/root/hadoop                             -- 安装目录
export PATH=$PATH:$HADOOP_HOME/bin:/$HADOOP_HOME/sbin
[root@dyhadoop]# 

2. Hadoop的核心集群配置:   

执行 vi hdfs-site.xml

上图涉及到了几个关键的配置项:

namenode 和 datanode 的文件存放路径:

(namenode 和 datanode 的执行文件  - 我是在  cd  /opt  文件夹下面

创建的 hadoop 文件  mkdir hadoop 

cd /hadoop

mkdir data  从节点文件  - -  启动hadoop后 - 生成 current文件夹内 VESION 信息  

mkdir name  主节点文件  )

!  ! !  ！！！  hadoop  namenode  -format 每次重启 Hadoop集群 

 都会初始化一次   /opt/hadoop/name/current/   中的VERSION 文件

此时需要 将子节点的（其他从节点 的服务器 中的   /opt/hadoop/data/current/ 中的 VERSION文件中的

clustomerID 改为 namenode中  /opt/hadoop/name/current/  的 VERSION文件的 clustomerID 值，

保证datanode的 clustomerID 一直等于 namenode的 clustomerID 值 ）

不然你就会发现  你的  datanode 可能一直启动不起来，，，，，，，，，，，，，，，

异常: 

1. 只启动了 Master 服务  zookeeper logs 文件报异常

    java.lang.IllegalArgumentException: myid file is missing    （未找到 myid 文件）

解决: 

       zookeeper的 data 文件夹下 创建 myid 文件   (此处的 data 文件 在 conf文件夹下 zoo.cfg文件中 指定 dataDir 路径 - 需要自己创建该文件夹)

         cd  /root/zookeeper/data 

          echo 1 > myid   

2.    zoo.cfg中的server需要写成以下形式的：

    假如有两台机器，192.168.1.1和192.168.1.2，它们的myid分别是1和2；

    192.168.1.1的zoo.cfg(其它属性的配置还按照原有的配置)：

    server.1=0.0.0.0:2888:3888

    server.2=192.168.1.2:2888:3888

    192.168.1.2的zoo.cfg(其它属性的配置还按照原有的配置)：

    server.1=192.168.1.1:2888:3888

    server.2=0.0.0.0:2888:3888

详细参考: https://blog.csdn.net/zzf1510711060/article/details/82952156

3. 关于Hadoop集群后不能通过master:50030访问web界面

   浏览器界面使用节点名称+端口访问  如：   master:50030   node1:8042   等等  

  需要修改本地文件的 hosts文件 

4. HBase集群 服务器时间不同步:

     执行：矫正时间

sudo yum install -y ntpdate

sudo ntpdate -u ntp.api.bz

5. SSH的连接问题 （这个是真烦人的那种）

   写个生成一个公钥吧 - 这样连接其他服务器时就不用再多次登录密码了！！！

   https://blog.csdn.net/wz_TXWY/article/details/89678017

（比如 在 208 的服务器上 -  连接子节点 210 /207  时 老是要输入密码，

   把208生成的公钥 pub 文件 放到 208 / 210 服务器的   .ssh  路径下  授权一下  600 权限等   就可以免密码连接登录了 ）

6. 在配置集群的时候，你会用到以下常见指令;

01. Zookeeper的启动:
   zkServer.sh start    启动
   zkServer.sh stop    停止服务
   zkServer.sh status  启动状态

02.Hadoop服务启动： 
    hadoop  namenode  -format
    start-dfs.sh start        - 重启 datanode namenode
    start-yarn.sh start
   ./mr-jobhistory-daemon.sh   start historyserver 启动历史记录服务

    start-all.sh  启动 Hadoop

    stop-all.sh   关闭 hadoop

03.HBase服务启动:      
   start-hbase.sh start    启动
   stop-hbase.sh

更新集群时间戳 
   sudo ntpdate pool.ntp.org  

1. 安装防火墙关闭服务插件: 
        yum install iptables-services

2. 暂时关闭防火墙
       systemctl stop firewalld
       service  iptables stop