Hadoop学习

Hadoop及相关概念

环境搭建

Hadoop安装

1. 安装参考文档：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
   注：namenode管理端口50070在3.0.0以后改为了9870；如果管理页面访问不了，请顺序执行如下命令：sbin/stop-all.sh -> bin/hadoop namenode -format ->sbin/start-all.sh，然后访问http://ip:9870，即可打开namenode管理页面。
2. 安装说明
   版本及环境：Hadoop版本3.1.1，Java版本8，操作系统Centos 6.5 64位。
   安装目录：/usr/local/hadoop
   • singleton 模式：单机模式，主要用于开发环境调试。
   • 伪分布模式：需要修改sbin/start-dfs.sh和sbin/stop-dfs.sh，添加如下内容：
     HDFS_DATANODE_USER=root
     HADOOP_DATANODE_SECURE_USER=hdfs
     HDFS_NAMENODE_USER=root
     HDFS_SECONDARYNAMENODE_USER=root
     修改sbin/start-yarn.sh和sbin/stop-yarn.sh，添加如下内容：
     YARN_RESOURCEMANAGER_USER=root
     HADOOP_DATANODE_SECURE_USER=yarn
     YARN_NODEMANAGER_USER=root
   • 分布模式：需要3台以上机器，暂未配置

HBase安装

1. 安装参考文档：http://hbase.apache.org/book.html#quickstart
2. 安装说明
   版本及环境：HBase版本2.1.3，Java版本8，操作系统Centos 6.5 64位。
   安装目录：/usr/local/hbase
   • singleton 模式：单机模式，主要用于开发环境调试。
   • 伪分布模式：hbase-site.xml中属性（property）hbase.rootdir配置的时候，其值应为：hdfs://localhost:9000/hbase
   • 分布模式：暂无

其它