Hive安装第二步：CentOS7安装jdk1.8.0，MySQL5.7，Hadoop2.10.1，Hive2.3.7，sqoop1.4.7，Navicat连接hive，MySQL驱动jar包

最新推荐文章于 2026-05-18 09:47:39 发布

原创最新推荐文章于 2026-05-18 09:47:39 发布 · 2k 阅读

21 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#hive #hadoop #sqoop #linux #大数据

大数据专栏收录该内容

2 篇文章

订阅专栏

本文档详述了在CentOS7上安装Hadoop2.10.1，Hive2.3.7，sqoop1.4.7，MySQL5.7的过程，包括环境配置、依赖安装、数据库连接和测试。同时，介绍了如何使用Navicat远程连接Hive服务器。整个安装涉及jdk1.8.0的安装、MySQL的远程访问配置以及Hadoop的伪分布式设置和WordCount Demo运行。

CentOS7安装jdk1.8.0，MySQL5.7，Hadoop2.10.1，Hive2.3.7

承接上篇文章Hive安装第一步：使用VMware Workstation创建虚拟机，搭建CentOS7系统环境，Linux下网络配置，Xshell连接虚拟机。
本篇文章主要介绍在CentOS7安装jdk1.8.0，MySQL5.7，Hadoop2.10.1，Hive2.3.7，sqoop1.4.7，Navicat连接hive，有蛮多配置需要修改的，安装的是伪分布式的Hadoop。
重要：都是在root下进行操作的，root权限！！

1.CentOS7中安装jdk1.8.0

jdk下载地址(百度云)：https://pan.baidu.com/s/1UGS_VYi6heW-pl4c7pr0DQ
提取码：shyj
在Windows下载好之后通过xftp传输到linux系统中，linux直接下载会很慢。我放在了Download目录下
在这里插入图片描述
接下来把jdk安装包解压到/usr/local，需要管理员权限，su root后进入root下解压，下面默认都是在root权限下进行操作。
tar -zxvf jdk-8u11-linux-x64.tar.gz -C /usr/local
解压后在/usr/local文件夹下可以看到解压的jdk包，然后配置环境变量
vim /etc/profile
在文档后面添加下面几行

export JAVA_HOME=/usr/local/jdk1.8.0_11
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

在这里插入图片描述
保存后，更新环境配置
source /etc/profile
验证一下Java是否安装成功

2.CentOS7安装MySQL5.7

mysql下载先配置yum源，配置yum源步骤如下:
wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
然后yum -y install mysql
在这里插入图片描述
然后yum -y install mysql-community-server.x86_64

MySQL直接在linux中直接下载的，速度有点慢，200多MB大概20-30分钟。
安装完成后首先启动MySQL
systemctl start mysqld.service
查看MySQL运行状态，运行状态如图：
systemctl status mysqld.service
此时MySQL已经开始正常运行，不过要想进入MySQL还得先找出此时root用户的密码，通过如下命令可以在日志文件中找出密码：
grep "password" /var/log/mysqld.log
如下命令登录数据库：
mysql -uroot -p
此时不能做任何事情，因为MySQL默认必须修改密码之后才能操作数据库，如下命令修改密码：
ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';
然后系统会提示你修改不成功，密码的复杂度不符合默认规定，下面修改密码复杂度：
set global validate_password_policy=LOW; #密码等级设置为低
set global validate_password_length=6; #长度设置为6
再运行上面一条语句就成功了。
下面的命令可以查看mysql默认密码复杂度：
SHOW VARIABLES LIKE 'validate_password%';
接下来开启mysql的远程访问，将云服务器上的3306端口开放；
grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
然后再输入下面的命令使配置立即生效
flush privileges;
重新使用新密码登录数据库mysql -uroot -p，再修改一些简单的配置
修改mysql的字符集：
登录mysql，然后输入status，查看mysql字符集信息,编辑MySQL配置文件对默认字符集编码进行修改
vim /etc/my.cnf
进入文件后，新增四行代码：

[client]
default-character-set=utf8
character-set-server=utf8
collation-server=utf8_general_ci

如下图修改成功后，保存并退出
在这里插入图片描述
使用service mysqld restart重启mysql

输入statu查看字符集，已经修改成功了
图片: https://uploader.shimo.im/f/bGkSssLiUcHmpUyB.png
至此，MySQL配置完毕，可以通过which mysql查看到mysql的安装位置

3. MySQL连接java，MySQL的驱动jar包下载

MySQL的驱动包mysql-connector-java-5.1.48-bin.jar官网下载地址：
https://dev.mysql.com/downloads/connector/j/5.1.html
下载有点慢，在linux中Download文件夹下使用下面的语句下载jar包
wget http://mirrors.ustc.edu.cn/mysql-ftp/Downloads/Connector-J/mysql-connector-java-5.1.48.tar.gz
解压到Download目录下
tar -zxvf mysql-connector-java-5.1.48.tar.gz
cd到解压目录下cd mysql-connector-java-5.1.48/
在这里插入图片描述
将该jar包后面复制到hive安装目录的lib子目录下和Sqoop安装目录的lib子目录下

4.CentOS7安装Hadoop2.10.1

hadoop下载地址
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
国内镜像下载地址，下面的地址下载较快
http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.1/
下载好hadoop安装包后，通过xftp传输到linux中，解压到/usr/local目录下(安装到哪里好像可以自行设定，我只是看大家都安装到这里。。。)
tar hadoop-2.10.1.tar.gz -C /usr/local/ #解压到/usr/local/
mv hadoop-2.10.1 hadoop #改文件夹名字，简单一些，可选操作
解压后需要对Hadoop的一些文件进行配置，需要配置的文件如下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml，所有的文件均位于hadoop/etc/hadoop下面，具体需要的配置如下：
注意！！！在修改配置之前先复制一份Hadoop的配置文件，以防改错。

4.1 hadoop-env.sh配置

主要修改java的安装路径

vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_11

在这里插入图片描述
:wq保存并退出

4.2 core-site.xml配置

vi core-site.xml
添加下面的代码，file:/home/***/hadoop/tmp 路径改成自己的

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/***/hadoop/tmp</value>
        <descripition>Abase for other temporary directories.</descripition>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

在这里插入图片描述
:wq保存并退出

4.3 mapred-site.xml.template配置

vim mapred-site.xml.template
添加下面的代码

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

在这里插入图片描述
:wq保存并退出

4.4 hdfs-site.xml配置

vim hdfs-site.xml
添加下面的代码，file:/home/***/hadoop/tmp 路径改成自己的

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/***/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/***/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

在这里插入图片描述
:wq保存并退出

4.5 修改环境配置

vi /etc/profile
在配置文件中添加Hadoop的相关配置

#hadoop
export HADOOP_HOME=/usr/local/hadoop
#export HADOOP_CONF_DIR=${HADOOP_NAME}/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

在这里插入图片描述
:wq保存并退出，source /etc/profile，使环境变量生效

修改完上面4个文件后，还要修改环境变量配置才能正确启动datanode

4.6 初始化和启动dfs

回到hadoop的安装目录
在这里插入图片描述
初始化dfs:hadoop namenode -format或者bin/hdfs namenode -format

启动dfs: sbin/start-dfs.sh,需要输入root密码

jps查看是否正常启动

linux浏览器中输入localhost:50070，显示如下界面，成功啦！

4.7运行WordCount Demo

1.在本地新建一个文件，在home/***目录下新建了一个words文档，
vi words
里面的内容可以随便填写，我在里面写了

hello tom
hello jerry
hello kitty
hello world
hello tom

:wq保存并退出，就建立了一个words文档
在这里插入图片描述
2. 在HDFS中新建一个文件夹，用于上传本地的words文档，在hadoop目录下输入如下命令：
bin/hdfs dfs -mkdir /test,表示在hdfs的根目录下建立了一个test目录,使用如下命令可以查看HDFS根目录下的目录结构
bin/hdfs dfs -ls /
具体截图如下：
在这里插入图片描述
表示在HDFS的根目录下已经建立了一个test目录
3. 将本地words文档上传到test目录中
使用如下命令进行上传操作：
bin/hdfs dfs -put /home/leesf/words /test/
使用如下命令进行查看
bin/hdfs dfs -ls /test/
结果截图如下：
在这里插入图片描述
表示已经将本地的words文档上传到了test目录下了。
4. 运行wordcount
使用如下命令运行wordcount：
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar wordcount /test/words /test/out
截图如下：

运行完成后，在/test目录下生成名为out的文件，使用如下命令查看/test目录下的文件
bin/hdfs dfs -ls /test
截图如下：
在这里插入图片描述
表示在test目录下已经有了一个名为Out的文件目录
输入如下命令查看out目录下的文件：
bin/hdfs dfs -ls /test/out
结果截图如下：

表示已经成功运行了，结果保存在part-r-00000中。
5. 查看运行结果
使用如下命令查看运行结果：
bin/hadoop fs -cat /test/out/part-r-00000
结果截图如下：
在这里插入图片描述
至此，运行过程就已经完成了。如果要关闭hadoop服务，在hadoop目录下运行sbin/stop-all.sh

5.CentOS7安装Hive2.3.7

该章节主要是参考大佬的教程：https://blog.csdn.net/pucao_cug/article/details/71773665，写的特别详细，可以直接看大佬的安装教程，强推！下面是我自己的安装过程。

hive下载地址：https://mirrors.cnnic.cn/apache/hive/hive-2.3.7/
下载好hive安装包后，通过xftp传输到linux中，解压到/usr/local目录下(安装到哪里好像可以自行设定，我只是看大家都安装到这里。。。)
tar apache-hive-2.3.7-bin.tar.gz -C /usr/local/ #解压到/usr/local/
mv apache-hive-2.3.7 hive #改文件夹名字，简单一些，可选操作
解压后需要对Hive的一些文件进行配置，需要配置的文件如下:hive-env.sh， hive-site.xml，所有的文件均位于hive/conf下面，具体需要的配置如下：

5.1 hive-env.sh

进入到/usr/local/hiv/conf目录下：
cd /usr/local/hive/conf/
将hive-env.sh.template文件复制一份，并且改名为hive-env.sh，命令是：
cp hive-env.sh.template hive-env.sh
vim hive-env.sh打开hive-env.sh配置并且添加以下内容，根据自己的路径进行修改：

export HADOOP_HOME=/usr/local/hadoop
export HIVE_CONF_DIR=/usr/local/hive/conf
export HIVE_AUX_JARS_PATH=/usr/local/hive/lib

在这里插入图片描述
:wq保存并退出

5.2 hive-site.xml

进入到/usr/local/hiv/conf目录下：
cd /usr/local/hive/conf/
hive-default.xml.template文件复制一份，并且改名为hive-site.xml，命令是：：
cp hive-default.xml.template hive-site.xml
vim hive-site.xml打开hive-site.xml查看配置：

5.2.1.使用hadoop新建hdfs目录

因为在hive-site.xml中有这样的配置：

  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive/warehouse</value>
  <name>hive.exec.scratchdir</name>
  <value>/tmp/hive</value>

所以要让hadoop新建/user/hive/warehouse目录，/tmp/hive/目录,执行命令：
$HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse
$HADOOP_HOME/bin/hadoop fs -mkdir -p /tmp/hive/
给刚才新建的目录赋予读写权限，执行命令：
$HADOOP_HOME/bin/hadoop fs -chmod 777 /user/hive/warehouse
$HADOOP_HOME/bin/hadoop fs -chmod 777 /tmp/hive
检查hdfs目录是否创建成功
检查/user/hive/warehouse，/tmp/hive目录是否创建成功，执行命令：
$HADOOP_HOME/bin/hadoop fs -ls /user/hive/
$HADOOP_HOME/bin/hadoop fs -ls /tmp/
在这里插入图片描述

5.2.2 修改hive-site.xml中的临时目录

将hive-site.xml文件中的${system:java.io.tmpdir}替换为hive的临时目录，例如我替换为/usr/local/hive/tmp，该目录如果不存在则要自己手工创建，并且赋予读写权限。
vi hive-site.xml进入编辑模式，在vi里面可以使用/进行搜索，如搜索system:java.io.tmpdir，回车就能定位到了。
在这里插入图片描述

将hive-site.xml文件中的${system:java.io.tmpdir}替换为/usr/local/hive/tmp
在这里插入图片描述
将${system:user.name}都替换为root

还有几处都要修改，不然后面会有问题的，我这里就不一一放了。

5.2.3 修改hive-site.xml数据库相关的配置

搜索javax.jdo.option.ConnectionURL，将该name对应的value修改为MySQL的地址：

 <name>javax.jdo.option.ConnectionURL</name>  
 <value>jdbc:mysql://192.168.27.138:3306/hive?createDatabaseIfNotExist=true</value>

搜索javax.jdo.option.ConnectionDriverName，将该name对应的value修改为MySQL驱动类路径：

 <property> 
        <name>javax.jdo.option.ConnectionDriverName</name> 
        <value>com.mysql.jdbc.Driver</value> 
 </property>

搜索javax.jdo.option.ConnectionUserName，将对应的value修改为MySQL数据库登录名：

 <name>javax.jdo.option.ConnectionUserName</name>
 <value>root</value>

搜索javax.jdo.option.ConnectionPassword，将对应的value修改为MySQL数据库的登录密码：

 <name>javax.jdo.option.ConnectionPassword</name>
 <value>123456</value>

搜索hive.metastore.schema.verification，将对应的value修改为false：

<name>hive.metastore.schema.verification</name>
<value>false</value>

5.3 修改环境变量配置

vi /etc/profile
在配置文件中添加hive的相关配置

# hive
export HIVE_HOME=/usr/local/hive
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export CLASS_PATH=$:CLASSPATH:$HIVE_HOME/lib
export PATH=$PATH:$HIVE_HOME/bin

在这里插入图片描述
:wq保存并退出，source /etc/profile，使环境变量生效

5.4 将MySQL驱动包上载到hive安装目录的lib子目录下

把前面解压好的jar包上载到Hive的lib目录下，前面写了我的jar包解压到了Download文件夹下面，进入到该文件夹下
cd /home/master/Downloads/mysql-connector-java-5.1.48/
然后复制一份jar包到/usr/local/hive/lib下
mv mysql-connector-java-5.1.48.jar /usr/local/hive/lib

5.5 hive启动和测试

进入到hive的bin目录执行命令：
cd /usr/local/hive/bin
对数据库进行初始化，执行命令：
./schematool -initSchema -dbType mysql 这个时候mysql数据库中就多了一个hive数据库
启动hive前要确保hadoop进程在运行当中，用jps查看，在hive的bin目录下启动hive，
./hive
在这里插入图片描述
测试：show functions;

执行查看sum函数的详细信息的命令：
desc function year;

基本上到这里hive已经安装成功了！
按照大佬的流程走一下

5.6 执行新建表以及导入数据的测试

执行新建数据库的hive命令：
create database db_hive_test;
show databases; 查看一下已经建好了
在这里插入图片描述
创建数据表, 在刚才创建的数据库中创建数据表，执行hive命令：
use db_hive_test;
create table stu(id int,name string) row format delimited fields terminated by '\t';
将文件数据写入表中,在/usr/local/hive/tmp目录内新建一个文件,执行Linux命令(最好是重新打开一个终端来执行)，往文件中添加以下内容：：
在这里插入图片描述
touch /usr/local/hive/tmp/stu.txt
vim stu.txt

ID和name直接是TAB键，不是空格，因为create table的时候fields terminated by ‘\t’;\t代表以tab为分隔符。
文件已经建立好了，下面在hive命令行中执行加载数据的hive命令：
load data local inpath '/usr/local/hive/tmp/stu.txt' into table db_hive_test.stu;
在这里插入图片描述
select * from db_hive_test.stu;

打开localhost:50070，点击图中的Browse the file system

输入/，点击GO，可以看到下面的Name为user的，一层一层点击，就可以看到自己建的表了

可以下载

5.7 在MySQL的hive数据库中查看

mysql -utroot -p进入MySQL环境，show databases;查看一下目前有哪些数据库
在这里插入图片描述
发现已经有了hive数据库，执行
SELECT * FROM hive.TBLS;

成功啦！接下来安装sqoop，实现mysql到hive的传输。

6.CentOS7安装sqoop1.4.7

sqoop官方文档https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_introduction
sqoop下载地址：http://mirror.bit.edu.cn/apache/sqoop/1.4.7/
在Windows下载好之后通过xftp传输到linux系统中，放在Download目录下，在Download下解压到 /usr/local/，改名，跟前面一样的步骤。
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop1.4.7
在这里插入图片描述解压后需要对Sqoop的一些文件进行配置，需要配置的文件如下sqoop-env.sh和环境变量配置，所有的文件均位于sqoop/conf下面，具体需要的配置如下：

6.1 修改环境变量

vi /etc/profile，添加sqoop相关配置

#sqoop
export SQOOP_HOME=/usr/local/sqoop1.4.7
export PATH=$PATH:$SQOOP_HOME/bin

在这里插入图片描述
source /etc/profile 使环境配置生效
将sqoop-env-template.sh复制一份，并取名为sqoop-env.sh，也就是执行命令：
cp sqoop-env-template.sh sqoop-env.sh

6.2 sqoop-env.sh

编辑 sqoop-env.sh，vim sqoop-env.sh在最后面添加

export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive

在这里插入图片描述

6.3 将MySQL的驱动包上载到Sqoop安装目录的lib子目录下

mv mysql-connector-java-5.1.48.jar /usr/local/sqoop1.4.7/lib
试试sqoop能否连接上mysql
bin/sqoop list-tables --connect jdbc:mysql://192.168.193.3:3306/hive --username root --password 123456;
在这里插入图片描述
list-tables表示列出数据库中的表名，从上图可以看到成功

查看一下hive表的内容
sqoop eval --connect jdbc:mysql://localhost:3306/sqoop --username root --password 123456 --query "select * from stu"
在这里插入图片描述
sqoop导出数据到MySQL，MySQL需要先建立一个一摸一样的表结构
将表内容导出到mysql，export-dir改成自己表所在的位置
sqoop export --connect jdbc:mysql://localhost:3306/sqoop --username root --password 123456 --table stu --input-fields-terminated-by '\t' --export-dir /user/hive/warehouse/db_hive_test.db/stu/
在这里插入图片描述
在MySQL中进行查询，数据库里面已经有了sqoop数据库了

use sqoop;
show table;
select * from stu;

可以看到已经正确导出了！sqoop也安装成功啦！还剩最后一点点！

7.Navicate远程连接hive服务器

在CentOS7中开放3306 端口
firewall-cmd --zone=public --add-port=3306/tcp --permanent

#命令含义
--zone #作用域 
--add-port=3306/tcp #添加端口，格式为：端口/通讯协议 
--permanent #永久生效

重启防火墙
systemctl restart firewalld.service
在这里插入图片描述
Navicat新建MySQL连接

改一下Connection Name,Host,User Name和Password

点击Test Connection，连接成功！

结

终于全都弄好了，哎，安装环境弄了一天半的时间，今天又花了一天时间把过程都复盘一遍记下来，参考了好多人的笔记，我累啦~但是终于可以有自己的环境了，可以好好学习hive啦！过程中当然踩过很多坑，但是我忘了截图，对8起。
在这里插入图片描述

参考：
https://blog.csdn.net/qq_21187515/article/details/84850814 jdk下载
https://www.jianshu.com/p/531cc35b15e7 linux下mysql下载安装
https://www.cnblogs.com/hello-/articles/9600269.html Linux中安装hadoop
https://blog.csdn.net/pucao_cug/article/details/71773665 Linux中基于hadoop安装hive
https://blog.csdn.net/pucao_cug/article/details/72083172 Linux安装Sqoop