hadoop集群建设03用户入住

1、关闭防火墙

新机器接口机分配下来后需要关闭防火墙

[root@whx-1 ~]# systemctl stop firewalld.service && systemctl disable firewalld.service Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service. Removed symlink /etc/systemd/system/basic.target.wants/firewalld.service.

2、添加集群hosts

[root@whx-9 ~]# cat /etc/hosts

127.0.0.1 localhost

192.168.1.1 whx-1

192.168.1.2 whx-2

192.168.1.3 whx-3

192.168.1.4 whx-4

192.168.1.5 whx-5

192.168.1.6 whx-6

192.168.1.7 whx-7

192.168.1.8 whx-8

192.168.1.9 whx-9

将集群中所有机器hosts写入，同时只放入一台接口机的hosts，如上192.168.1.9为一台接口机，

3、新建用户

创建hadoop用户指定家目录，主要用于主机维护工作。

useradd -d /home/hadoop hadoop

修改hadoop用户密码

echo 'jd_902XFPz' |passwd --stdin hadoop

优化机器相关性能

echo 'hadoop soft nofile 131072' >> /etc/security/limits.conf

echo 'hadoop hard nofile 131072' >> /etc/security/limits.conf

echo 'hadoop soft nproc unlimited' >>/etc/security/limits.d/20-nproc.conf

echo 'hadoop hard nproc unlimited' >>/etc/security/limits.d/20-nproc.conf

chage -M 99999 hadoop

创建租户用户，指定家目录

useradd -d /home/user01 user01

修改租户密码

echo 'jd_902XFPz' |passwd --stdin user01

进入用户家目录，配置租户变量，beh_env为已配置好的变量模板。

vi .bashrc

source /opt/app/hadoop.env   

hadoop.env内容为集群的环境变量

如果组件有hive

租户家目录下创建.hiverc

set mapreduce.job.queuename=user01;

cat .hiverc

set mapreduce.job.queuename=user01;

优化机器相关性能

echo 'user01 soft nofile 131072' >> /etc/security/limits.conf

echo 'user01 hard nofile 131072' >> /etc/security/limits.conf

echo 'user01 soft nproc unlimited' >>/etc/security/limits.d/20-nproc.conf

echo 'user01 hard nproc unlimited' >>/etc/security/limits.d/20-nproc.conf

chage -M 99999 opdw4_jdxf

4、租户接口机上操作

创建/opt/beh/core/文件夹，从其他租户的/opt/beh/core下scp过来hadoop文件夹，spark文件夹，jdk文件夹

[root@host01 core]# ll drwxr-xr-x 14 root root 4096 Jul 6 15:45 hadoop drwxr-xr-x 8 root root 4096 Jul 6 15:46 jdk1.8.0_131 drwxr-xr-x 12 root root 4096 Jul 6 15:46 spark

创建spark.log文件同时注意属组最好弄成777权限

进入到beh文件夹创建conf从其他节点拷贝beh_env文件，注意属组

[root@host01 conf]# cd /opt/beh/ [root@host01 conf]# mkdir conf [root@host01 conf]# ll total 4 -rw-r--r-- 1 hadoop hadoop 1041 Jul 6 15:57 beh_env

5、集群添加用户，并配置权限(这个要在集群相关机器操作)

hadoop fs -mkdir /user/user01 hadoop fs -chown root:supergroup /user/user01

hadoop fs -chmod 770 /user/user01

hadoop fs -setfacl -R -m user:user01:rwx /user/user01

hadoop fs -setfacl -R -m default:user:user01:rwx /user/user01

hadoop fs -getfacl /user/user01

HDFS存储资源配额

hdfs dfsadmin -setSpaceQuota 1T /user/user01

6、ftp配置

选填内容,主要涉及含有hdfs-over-ftp的集群

在ftp集群192.168.1.1 192.168.1.2

添加用户，修改配置文件users.properties

userpassword密码为 md5加密写法（3个大写3个小写3个数字）

echo -n "7UNN_28ikm"|md5sum

/******新增用户配置********/

ftpserver.user.user01.userpassword=48364249744f61a2dafd6e8010e232c3

ftpserver.user.user01.homedirectory=/ftp/user01 ftpserver.user.user01.enableflag=true

ftpserver.user.user01.writepermission=true ftpserver.user.user01.readpermission=true

ftpserver.user.user01.maxloginnumber=3000 ftpserver.user.user01.maxloginperip=3000

ftpserver.user.user01.idletime=0 ftpserver.user.user01.uploadrate=0

ftpserver.user.user01.downloadrate=1

ftpserver.user.user01.groups=supergroup

分发配置文件

在集群相关机器操作

hadoop fs -mkdir /files/ftp_cluster_222/user01

hadoop fs -chown root:supergroup /files/ftp_cluster_222/user01

hadoop fs -chmod 770 /files/ftp_cluster_222/user01

hadoop fs -setfacl -R -m user:user01:rwx /files/ftp_cluster_222/user01

hadoop fs -setfacl -R -m default:user:user01:rwx /files/ftp_cluster_222/user01

hadoop fs -getfacl /files/ftp_cluster_222/user01

资源配额

hdfs dfsadmin -setSpaceQuota 1T /files/ftp_cluster_222/user01

7、cm页面修改yarn

yarn容量调度器配置为增加一个用户配置，此处略

但需要注意的是百分比配置总体100%

刷新动态资源池

8、测试spark

租户的家目录下执行如下命令2.2spark

spark-submit --master yarn-cluster --queue user01 --class org.apache.spark.examples.SparkPi /opt/cloudera/spark/examples/jars/spark-examples_2.11-2.2.1.jar;

1.5spark

spark-submit --master yarn-cluster --queue user01 --class org.apache.spark.examples.SparkPi /opt/cloudera/spark/lib/spark-examples-1.5.0-hadoop2.6.0.jar

注意客户端安装路径即可