Hadoop——实验三：Hadoop集群安装部署

一. 实验目的

  掌握Hadoop集群集群安装部署技术。

二. 实验内容

  安装Hadoop集群并完成分布式实例。
  参考：http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/

三. 实验步骤及结果分析

 1. 安装Hadoop集群

  说明：将实验二中创建的K1.ubuntukylin14.04（简称K1）系统完全克隆，生成独立的K2.ubuntukylin14.04（简称K2）系统，本实验在这两个系统上完成，其中K1为Master主节点，K2为Slave副节点。

 1.1 网络配置

  修改主机名。启动K1和K2虚拟机系统，在K2中打开终端，输入sudo vim /etc/hostname命令打开存放主机名的hostname文件，修改主机名为K2，重启后生效。


  修改IP映射。分别在K1和K2输入ifconfig命令查看各自的IP地址，分别输入sudo vim /etc/hosts命令打开存放IP和主机名映射关系的hosts文件，删除其中除了127.0.0.1 localhost之外的映射关系，并将K1和K2的IP和主机名映射关系填上，如下所示：




  测试连通性。分别在K1和K2输入ping K1 -c 3命令和ping K2 -c 3命令查看是否能够连通，正确的话会显示以下内容：

 1.2 SSH无密码登录配置

  在K1终端输入cd ~/.ssh命令和rm ./id_rsa*命令删除之前的公匙，输入ssh-keygen -t rsa命令并回车生成新的公匙，输入cat ./id_rsa.pub >> ./authorized_keys命令将公匙加入系统授权，输入scp ~/.ssh/id_rsa.pub mcf14@K2:/home/mcf14/命令将公匙从K1传输到K2上，需要输入yes和K2的密码admin。