Sqoop从MySQL导数据至hive数据表异常(数据量不对,数据值不对)

通过数据比对，发现sqoop导入hive的数据与MySQL原始数据对应不上，表现为两点：

①查数据总数不对，MySQL的count(1) = 108120条数据，但是导入至hive发现只有108112条数据，数据发生了丢失。

②应查数据值不对，查询到某个字段，MySQL值中仅有1,2两种值，但是hive表中包含1,2，以及一串看不懂的数字。

经反复核对数据，发现问题症结，所以就将它记录下来了。

原因是导入的数据里面包含\t,\n等分隔符。

hive 默认的分隔符是\001 (^A),建表的时候用fields-terminated-by "\001"。

如果hive建表使用\t或者\001进行分隔字段，那么mysql数据库中的字段里面就不能包含该字符，否则就会到此分隔，从而导致数据不对。

如果，数据库里面已经存在这种数据，也可以设置参数。

--hive-drop-import-delims 导入hive时删除\n,\r,\001

--hive-delims-replacement ',' 导入到hive时用自定义的字符串进行替换掉 \n,\r,\001

解决。