CDH 6.2.1安装(yum安装)

cloudera manager产生背景

Apache开源大数据产品组件部署复杂，没有统一管理界面于是cloudera manger应运而生，它是管理cloudera hadoop大数据组件端到端的应用程序。
CM包括cm server和cm agent两个部分，它具有统一管理的可视化界面、多租户管理（支持ldap）、稳定性高的优点。
这个系统包括以下几个部分：

• cm server：统一管理界面、监控报警服务
• cm agent：安装每台机器上、启动停止进程
• Database：一般mysql 存储元数据信息
• Repository：分发大数据组件等软件的存储库

cdh安装包地址

https://archive.cloudera.com/cdh6/6.2.1/parcels/

https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/RPMS/x86_64/
本地地址

安装依赖包

yum install -y bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb libxml2-python

yum install -y /lib/lsb/init-functions createrepo deltarpm python-deltarpm

yum install -y mod_ssl openssl-devel python-psycopg2 MYSQL-python

将其中一台机器作为私有yum源服务（我这里是hadoop02）

yum install http

yum install createrepo

启动http： systemctl start httpd.service

cd /var/www/html/
mkdir -p cm6/6.2.1/redhat7/yum/RPMS/x86_64/
mkdir -p cdh6/6.2.1/parcels/ #用于存放分发CDH大数据组件

上传allkeys.asc文件到 /var/www/html/cm6/6.2.1

访问测试：http://hadoop02/cm6/6.2.1/redhat7/yum/RPMS/x86_64/

配置parcels
mv /var/www/html/cdh6/6.2.1/parcels/* /opt/cloudera/parcel-repo
mv CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha

制作私有yum源需生成repodata

生成repodata：
cd /var/www/html/cm6/6.2.1/redhat7/yum
createrepo .

每台机器配置本地yum源

cd /etc/yum.repos.d/
vim cloudera-manager.repo
内容：
[cloudera-manager]
name=Cloudera_Manager
baseurl=http://hadoop02/cm6/6.2.1/redhat7/yum/
gpgcheck=0
enabled=1

执行命令：

yum clean all
yum list|grep cloudera

添加域名解析、关闭防火墙、创建用户

vim /etc/hosts
192.168.2.2 hadoop01
192.168.2.3 hadoop02
192.168.2.43 hadoop03

systemctl status firewalld.service

systemctl stop firewalld.service

useradd cloudera-scm
passwd cloudera-scm

安装mysql，因为cloudera 也需要元数据存储

wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server
systemctl start mysqld.service
systemctl status mysqld.service

• 查看root密码,登陆mysql,修改密码
  （1）grep “password” /var/log/mysqld.log
  （2）mysql -uroot -p
  （3）set global validate_password_policy=0;
  （4）set global validate_password_length=1;
  alter user ‘root’@‘localhost’ identified by ‘123456’;
  flush privileges;

• 卸载repo包，防止自动更新
  yum -y remove mysql57-community-release-el7-10.noarch

• 创建数据库
  create database scm DEFAULT CHARACTER SET utf8;
  GRANT ALL PRIVILEGES ON . TO root@"%" IDENTIFIED BY “123456” WITH GRANT OPTION;
  GRANT ALL PRIVILEGES ON . TO root@“localhost” IDENTIFIED BY “123456” WITH GRANT OPTION;
  GRANT ALL PRIVILEGES ON . TO root@“hadoop02” IDENTIFIED BY “123456” WITH GRANT OPTION;
  flush privileges;

安装cloudera-manager

首先需要在服务器安装cloudera-manager，agent可以在web 界面上添加。

yum install -y enterprise-debuginfo.x86_64
yum install -y cloudera-manager-server.x86_64
yum install -y cloudera-manager-server-db-2.x86_64

设置元数据库mysql

cd /opt/cloudera/cm/lib/
上传 mysql-connector-java-5.1.45-bin.jar 到 /opt/cloudera/cm/lib
/opt/cloudera/cm/schema/scm_prepare_database.sh -h localhost mysql scm root 123456
cat /etc/cloudera-scm-server/db.properties

启动cloudera并查看日志

systemctl start cloudera-scm-server
systemctl status cloudera-scm-server
tailf /var/log/cloudera-scm-server/cloudera-scm-server.log

• 查看端口号7180
  netstat -anp|grep 7180

web界面完成集群创建和agent添加

• 访问cm地址, 选择版本
  http://hadoop02:7180/cmf/login

• 如果界面未显示我们当前离线的版本：
  先进入主界面
  
  

• 修改parcel更新频率为1min，这时候我们就能看到种子文件了
  

• 重新进入添加集群的界面进行安装，过程可能失败通过查看日志均可解决
  我这边出现的问题是
  查看日志： tail -50f /var/log/cloudera-scm-agent/cloudera-scm-agent.log
  

通过修改 vi /etc/cloudera-scm-agent/config.ini 中的hostname为hadoop02解决。
显示：

• 设置swappiness 和透明化

临时设置：
sysctl -w vm.swappiness=10
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
永久设置：
echo “vm.swappiness=10” >>/etc/sysctl.conf
echo “echo never > /sys/kernel/mm/transparent_hugepage/defrag” >>/etc/rc.local
echo “echo never > /sys/kernel/mm/transparent_hugepage/enabled” >>/etc/rc.local

添加cm service（添加activity monitor、host monitor、）

http://hadoop02:7180/cmf/home 在这个界面中添加

• 最好是创建目录并设置权限：
  

安装HDFS服务

• 在主页面点击添加服务
  
• 选择HDFS组件
• 问题与解决
  问题1:直接上链接https://blog.csdn.net/u011926899/article/details/51202783
  问题2:上传文件失败以及web界面HDFS警报：

The health test result for HDFS_CANARY_HEALTH has become bad: Canary test failed to create file in directory /tmp/.cloudera_health_monitoring_canary_files.

1. 确认hdfs是否处于safemode状态
   hdfs dfsadmin -safemode get
2. 如果hdfs安全模式是关闭的，查看hdfs上目录 /tmp/.cloudera_health_monitoring_canary_files 的权限
   sudo -u hdfs hadoop dfs -ls /tmp/.cloudera_health_monitoring_canary_files
3. sudo -u hdfs hadoop dfs -ls /tmp
   可以看到/tmp/.cloudera_health_monitoring_canary_files 目录的权限是有问题的，更改该目录的权限即可

4.sudo -u hdfs hadoop dfs -chmod 777 /tmp/.cloudera_health_monitoring_canary_files

安装Yarn服务

步骤同HDFS
安装完后测试可用性：

• 首先，上传文件到hdfs：

• 在web页面：http://hadoop02:9870/explorer.html#/ 查看文件
  

• 执行demo MR任务：
  yarn jar /opt/cloudera/parcels/CDH/jars/hadoop-mapreduce-examples-3.0.0-cdh6.2.1.jar wordcount /input /output

  • 查看结果
    

安装zookeeper

安装Hive服务

需要创建mysql hive数据库

• 问题

解决

添加OOzie服务

添加sqoop服务

添加Hbase服务

添加新主机

如果集群需要扩展，则可以按照以下步骤：

• 在cloudera web界面点击add host进入下一步
• 选择现有的集群
• 选择新主机的hostname进行安装