23年hadoop单机版+hive

原创

已于 2024-03-13 16:24:37 修改 · 1.4k 阅读

标签

#hadoop #hive #硬件架构

于 2023-07-02 16:45:13 首次发布

本文详细介绍了如何在CentOS7系统上搭建Hadoop3.3.6和Hive3.1.3的单机测试环境，包括Java、Hadoop、MySQL的安装配置，以及Hive的元数据存储在MySQL中的相关配置。此外，还提到了Hive的启动验证，包括使用beeline连接Hiveserver2的方式。

文章目录

说明
分享
环境信息
安装
总结

说明

工作需要研究hive功能，线上环境不能动，搭建单机版hadoop+hive测试环境，使用当前最新hadoop 3.3.6+ hive 3.1.3。

大数据博客列表
开发记录汇总
个人java工具库项目https://gitee.com/wangzonghui/object-tool
- 包含json、string、集合、excel、zip压缩、pdf、bytes、http等多种工具，欢迎使用。

环境信息

系统环境 centos7
安装目录：
- java: /usr/java/
- hadoop: /opt/module/
- hive: /opt/module/

安装

jdk

准备java8安装包：jdk-8u201-linux-x64.tar.gz
解压安装：mkdir -p /usr/java && tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/java/

配置环境变量，编辑文件：vi /etc/profile.d/my_env.sh 增加jdk环境变量


#JAVA_HOME export是全局变量
export JAVA_HOME=/usr/java/jdk1.8.0_201
export PATH=$PATH:$JAVA_HOME/bin

刷新配置 source /etc/profile
验证 java -version

hadoop

下载hadoop 3.3.6 下载地址，解压安装包: mkdir -p /opt/module/ && tar -zxvf hadoop-3.3.4.tar.gz -C /opt/module/
hadoop不添加到环境变量，hive配置文件指定物理路径

配置core-site.xml

修改文件：vi /opt/module/hadoop-3.3.6/etc/hadoop/core-site.xml，configuration 节点间增加主机和用户组权限配置，完整内容如下：

<configuration>
    <property>
            <name>hadoop.proxyuser.root.hosts</name>
            <value>*</value>
    </property>
    <property>
            <name>hadoop.proxyuser.root.groups</name>
            <value>*</value>
    </property>
</configuration>

mysql

hive运行需要mysql存储元数据，mysql8版本 8.0.33 下载地址
安装过程

# 解压安装包
tar -xvf mysql-*-1.el7.x86_64.rpm-bundle.tar

# 安装 
rpm -ivh mysql-community-common-*-1.el7.x86_64.rpm --nodeps --force && rpm

最低0.47元/天解锁文章