如何使用sqoop导入导出数据

Sqoop的简介

sqoop，即SQL To Hadoop，目的是完成关系型数据库导入导出到Hadoop

Sqoop的原理是将命令翻译为mapreduce程序执行，MR没有Reduce阶段，只有Map阶段

Sqoop的安装

1. 配置环境
   可以在/etc/profile中配置，导出为全局变量或在sqoop-env.sh文件配置
   注：需提前配置HADOOP_HOME,HIVE_HOME,HBASE_HOME,ZOOKEEPER_HOME

2. 将连接mysql的驱动(参考Hive数据的存储以及在centos7下进行Mysql的安装)，拷贝到sqoop的lib目录

3. 测试，如果没有配置环境变量，则进入sqoop安装目录下

bin/sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password 123456

导入(import)

• import 命令是从 RDMS(关系系数据库) 将数据迁移到 HDFS

导入到HDFS

\代表在shell窗口中换行

• 命令详解：

bin/sqoop import \
// 连接的url
--connect jdbc:mysql://hadoop102:3306/mydb \
// 用户名