Sqoop的安装与配置 第1关：Sqoop的安装与配置

相关知识

为了完成本关任务，你需要掌握： 1、Sqoop基本安装。 2、Sqoop配置。 注意：本关实训Sqoop的安装与配置建立在Hadoop、Hive、MySQL已安装配置好的情况下。 可以参考Hive、MySQL安装。

Sqoop基本安装

Index of /dist/sqoop/1.4.7 (apache.org)

你可以在此网址下载最新的 Sqoop ——Sqoop下载,这里已经帮你下载好了，放在/opt目录下。

• 接下来我们进入/opt目录内，解压sqoop的安装包到/app目录下，并将解压好的安装包重命名为sqoop。 依次输入以下命令：

mkdir /app
cd /opt
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /app
cd /app
mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop

• 设置环境变量，输入vi /etc/profile，在末尾添加以下两行代码；

export SQOOP_HOME=/app/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

• 最后输入source /etc/profile使环境生效。

Sqoop配置

将/app/sqoop/conf 下面的sqoop-env-template.sh文件改名为sqoop-env.sh。

cd /app/sqoop/conf

mv sqoop-env-template.sh sqoop-env.sh

vi sqoop-env.sh配置hadoop、hive、hbase环境变量。

export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HIVE_HOME=/hive-2.3.2

查看sqoop版本号——

sqoop version

图片那么多的 Warning 信息是配置 Hbase， Accumulo 的环境变量。对操作没有太多的影响。 查看sqoop帮助——

sqoop help

Sqoop 需要对接 MySQL 数据库，所以需要添加对应的JDBC驱动包（mysql-connector-java-5.1.45.tar.gz），用于数据库连接，这里的驱动包已经放在了/opt中。

cd /opt

tar -zxvf mysql-connector-java-5.1.45.tar.gz

cp mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar /app/sqoop/lib/

至此Sqoop配置完成。 最后我们用安装好的 Sqoop 查看 MySQL 内的数据库。

sqoop list-databases -connect jdbc:mysql://localhost:3306/ --username root --password 123123

编程要求

根据上述步骤安装配置好Sqoop，并连接数据库成功，成功后将信息存入/app/log.txt中。 注意：我们存入信息使用>，表示每次都会新生成一个 > 后面的文件，将之前生成的文件替换掉（文件创建时间也会跟着改变）。

sqoop list-databases -connect jdbc:mysql://localhost:3306/ --username root --password 123123 > /app/log.txt