目录

一.安装jdk，配置环境变量

二.安装hadoop

三.启动hadoop

四.停止hadoop

五.错误解决

---

一.安装jdk，配置环境变量

• 安装步骤省略，配置如下。（以我自己安装的jdk1.8为例）

       配置JAVA_HOME=D:\software\java\jdk1.8.0_161，将 %JAVA_HOME%\bin; 添加到PATH中。

• 查看jdk是否配置成功。打开cmd，输入 java -version,如下图所示，表示成功。

​​

二.安装hadoop

• hadoop原生安装包下载地址：http://hadoop.apache.org/releases.html，我选的是如图所示2.8.4版本的，点击对应版本的 binary,即可下载。

​​

 

• 将hadoop-2.8.4.tar.gz解压，得到hadoop-2.8.4文件夹
• 配置hadoop环境变量

       HADOOP_HOME=D:\software\hadoop-2.8.4，将%HADOOP_HOME%\bin; %HADOOP_HOME%\sbin; 添加到PATH中。

• 打开cmd，输入hadoop version， 如果出现下图内容，说明配置成功。

​​

 

• 进入%HADOOP_HOME%\etc\hadoop目录中，找到hadoop-env.cmd文件，将文件中的 set JAVA_HOME=%JAVA_HOME% 替换成 set JAVA_HOME=D:\software\java\jdk1.8.0_161（即换成自己安装jdk的路径）
• 进入D:\software\hadoop-2.8.4\etc\hadoop目录中，找到core-site.xml，添加相应的配置信息。

<configuration>
	 <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000/</value>
    </property>
    <!-- 配置Hadoop临时目录文件 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:///D:/software/hadoop-2.8.4/data/tmp</value>
    </property>
</configuration>

 

• 进入D:\software\hadoop-2.8.4\etc\hadoop目录中，找到hdfs-site.xml，添加相应的配置信息。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
  <!-- 配置Secondary NameNode的IP地址及端口（HTTP） -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>localhost:50090</value>
    </property>

    <!-- 配置Secondary NameNode的IP地址及端口（HTTPS） -->
    <property>
        <name>dfs.namenode.secondary.https-address</name>
        <value>localhost:50091</value>
    </property>
	<property>
	    <name>dfs.namenode.name.dir</name>
		<value>file:///D:/software/hadoop-2.8.4/data/dfs/namenode</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///D:/software/hadoop-2.8.4/data/dfs/datanode</value>
	</property>
</configuration>

 

• 进入D:\software\hadoop-2.8.4\etc\hadoop目录中，找到yarn-site.xml，添加相应的配置信息

<configuration>
      <property>
	    <name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
    </property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<property>
	    <name>yarn.application.classpath</name>
		<value>
		    %HADOOP_HOME%\etc\hadoop,
		    %HADOOP_HOME%\share\hadoop\common\*,
		    %HADOOP_HOME%\share\hadoop\common\lib\*,
		    %HADOOP_HOME%\share\hadoop\mapreduce\*,
		    %HADOOP_HOME%\share\hadoop\mapreduce\lib\*,
		    %HADOOP_HOME%\share\hadoop\hdfs\*,
		    %HADOOP_HOME%\share\hadoop\hdfs\lib\*,          
		    %HADOOP_HOME%\share\hadoop\yarn\*,
		    %HADOOP_HOME%\share\hadoop\yarn\lib\*
		</value>
    </property>
</configuration>

• 进入D:\software\hadoop-2.8.4\etc\hadoop目录中，复制mapred-site.xml.template，并将复制出的文件命名为mapred-site.xml，添加相应的配置信息。

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

• 在windows下启动需要依赖winutils.exe和一些.dll文件，可从下面的链接获取 （https://download.csdn.net/download/a781136776/10438710 ），将压缩文件bin目录下的所有文件复制到%HADOOP_HOME%\bin目录，不要覆盖%HADOOP_HOME%\bin原有文件。

三.启动hadoop

• 打开cmd，输入 hdfs namenode -format 并回车（配置的环境变量变了，需要实现对HDFS的初始化，只在第一次启动前执行此命令。以后使用时在没有修改配置的情况下不用执行此命令）

• 打开cmd，输入 start-all.cmd 并回车（启动hadoop相关服务）

四.停止hadoop

• 打开cmd，输入stop-all.cmd 并回车（关闭hadoop相关服务）
• 查看可视化界面（用浏览器打开）

       管理界面：http://localhost:8088/cluster

​​

         NameNode界面：http://localhost:50070

​​

         HDFS NameNode界面：http://localhost:8042

​​

五.错误解决

• It looks like you are making an HTTP request to a Hadoop IPC port.参考博客 (https://blog.csdn.net/znb769525443/article/details/49765201)