安装:
1.安装linux系统
2.关闭系统防火墙(root)
3.安装jdk,并配置相应的环境变量(root)
4.规划集群的网络,并配置/etc/hosts文件来建立主机名和ip的映射(root)
5.创建用户及用户组,比如用户名和用户组均为hadoop(root)
6.配置ssh无密码登录(hadoop),并配置/etc/ssh/sshd_config(root)
7.在etc/sudoers中为hadoop用户配置相应权限方便日后操作
8.解压hadoop2.6.0并改名为hadoop2(hadoop),配置/etc/profile并使之生效(root)
9.更改hadoop2的配置文件(包括yarn-env.sh)(hadoop)
10.创建配置文件中用到的本地目录(包括/tmp/logs),权限为755,mkdir -m 755 xxx (hadoop)
(11.把所有主机之间的ssh登录调通)
(若要实现automatic-failover以及resourcemanager的HA特性还需要在其中3台主机安装Zookeeper)
--------------------------------------------------------------------------------
启动:
1.启动Zookeeper:在3台主机上分别执行zkServer.sh start
2.初始化zkfc:在其中一台namenode上执行hdfs zkfc -formatZK ##This will create a znode in ZooKeeper inside of which the automatic failover system stores its data.
3.启动dfs:执行start-dfs.sh,由于设置了automatic failover,所以无需手动启动zkfc,否则在每台namenode上执行hadoop-daemon.sh start zkfc ##Since automatic failover has be
1.安装linux系统
2.关闭系统防火墙(root)
3.安装jdk,并配置相应的环境变量(root)
4.规划集群的网络,并配置/etc/hosts文件来建立主机名和ip的映射(root)
5.创建用户及用户组,比如用户名和用户组均为hadoop(root)
6.配置ssh无密码登录(hadoop),并配置/etc/ssh/sshd_config(root)
7.在etc/sudoers中为hadoop用户配置相应权限方便日后操作
8.解压hadoop2.6.0并改名为hadoop2(hadoop),配置/etc/profile并使之生效(root)
9.更改hadoop2的配置文件(包括yarn-env.sh)(hadoop)
10.创建配置文件中用到的本地目录(包括/tmp/logs),权限为755,mkdir -m 755 xxx (hadoop)
(11.把所有主机之间的ssh登录调通)
(若要实现automatic-failover以及resourcemanager的HA特性还需要在其中3台主机安装Zookeeper)
--------------------------------------------------------------------------------
启动:
1.启动Zookeeper:在3台主机上分别执行zkServer.sh start
2.初始化zkfc:在其中一台namenode上执行hdfs zkfc -formatZK ##This will create a znode in ZooKeeper inside of which the automatic failover system stores its data.
3.启动dfs:执行start-dfs.sh,由于设置了automatic failover,所以无需手动启动zkfc,否则在每台namenode上执行hadoop-daemon.sh start zkfc ##Since automatic failover has be

本文详细记录了在虚拟机上安装Hadoop2.6.0的过程,包括配置HDFS高可用(HA)和ResourceManager HA,涉及关闭防火墙、安装JDK、配置SSH无密码登录、安装Zookeeper等多个步骤。启动时,首先启动Zookeeper,接着初始化ZKFC,启动DFS和YARN。停止时,按照JobHistory Server、YARN、DFS及Zookeeper的顺序依次进行。
步骤小记&spm=1001.2101.3001.5002&articleId=46716683&d=1&t=3&u=5c7d4a05252b4d7a90f293c07e39a5dc)
1336

被折叠的 条评论
为什么被折叠?



