Hadoop的安装和启动

本文档详细介绍了在Linux环境下安装和启动Hadoop的步骤,包括解压Hadoop压缩包,配置Hadoop环境变量,修改相关配置文件如core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml,初始化HDFS,启动Hadoop服务,以及验证Hadoop是否成功启动的方法。

1. 在lunix系统下解压hadoop压缩包到指定文件夹:

#tar -zxvf hadoop-2.6.5.tar.gz -C /usr/Hadoop/

2. 配置hadoop的配置文件:

(1) 配置Hadoop的环境变量

#vim hadoop-env.sh

将修改
在这里插入图片描述
修改为JDK的路径
在这里插入图片描述

(2) 修改#vim core-site.xml

<configuration>
<!—用来指定HDFS中主节点的地址-->
          <property>
                 <name>fs.defaultFS</name>
                 <value>hdfs://172.19.156.58:9000</value>
          </property>
<!—用来指定hadoop运行时产生文件的存放目录-->
          <property>
                 <name>hadoop.tmp.dir </name>
                 <value>/usr/Hadoop/hadoop-2.6.5/tmp</value>
          </property>
</configuration>

(3)配置hdfs-site.xml

<!—用来指定HDFS保存数据副本的数量,有几个节点就保存几份数据-->
      <configuration>
        <property> 
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

(4)重命名mapred-site.xml.template

#mv mapred-site.xml.template mapred-site.xml

(5)编辑该文件# vim mapred-site.xml

<!—告知Hadoop,mapreduce将运行在YARN上-->
	<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

(6)编辑该文件# vim yarn-site.xml

<configuration>
		<!—使得NodeManager获取数据的方式是shuffle 的方式-->
		<property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
		</property>
		<!—这个是用来指定YARN中最主要文件resourcemanager 的地址,value值是主机名-->
		<property>
              	  <name>yarn.resourcemanager.hostname</name>
              	  <value>izuf6hjthe58i89mrrz8vnz</value>
       	 </property>
</configuration>
  1. 将hadoop添加到环境变量,使得任何目录下都可以运行hadoop
    (1) 进入lunix系统的配置路径的文件中# vim /etc/profile
    (2) 修改路径:
    在这里插入图片描述
    (3) 保存修改并重置刷新配置# source /etc/profile

4. 初始化HDFS(格式化hadoop的文件系统)

(1)先格式化HDFS

#hdfs namenode -format
当看到
在这里插入图片描述
表示格式化成功

5. 启动所有的:在Hadoop的安装包里的sbin文件夹中启动:

#./start-all.sh

或者可以用以下两个脚本分别启动hdfs和yarn:
#./start-dfs.sh

#./start-yarn.sh

6. 查看hadoop是否成功

#jps  

表示已经成功
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值