sqoop功能是非常完善的，兼容性也很好。但是hadoop3版本没有官方的集成jar包版本，所以我通过阅读sqoop的官方文档，解决了如何在配置hadoop3版本的sqoop。核心就两点，从集成包里获取必须的jar包，其余必须的jar包从hadoop和hive中引用即可。

sqoop官方地址：
https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html?spm=
a2c63.p38356.0.0.7ffe76db8MdNDv#_syntax

1.下载sqoop1.4.7两个版本

http://archive.apache.org/dist/sqoop/1.4.7

下载这两个文：

sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz # 只用到里面的jar包

sqoop-1.4.7.tar.gz # 上传到服务器

我这里finalshell为例，服务器环境centos7+hadoop3.2.4+hive3.1.2

将sqoop-1.4.7.tar.gz上传到/home/hadoop/sqoop/目录，并解压

[hadoop@localhost sqoop]$ tar -zxvf sqoop-1.4.7.tar.gz 

2.提取sqoop-1.4.7.bin__hadoop-2.6.0.tar压缩包里的部分jar包

提取sqoop-1.4.7.jar放到sqoop-1.4.7根目录，正常纯净版sqoop是没有这个jar包的

提取lib目录下的这三个必须的jar包放到sqoop-1.4.7/lib/目录下，正常纯净版sqoop的lib目录下是没有文件的。我的是存在了前两个

其余的jar包我们不用导入，其余的从本地环境里的hadoop和hive中引用即可。

3.添加sqoop配置信息，引用hadoop，hive的lib库

打开sqoop-1.4.7/conf 目录下的sqoop-env.sh文件追加如下信息

其中HADOOP_COMMON_HOME HADOOP_MAPRED_HOME 环境变量要写你自己的hadoop目录地址

hive的HIVE_HOME HIVE_CONF_DIR同样要写你自己的hive目录地址

最后一条是引用你hive里的lib库

[hadoop@localhost conf]$ mv sqoop-env-template.sh sqoop-env.sh
[hadoop@localhost conf]$ vim sqoop-env.sh 

export HADOOP_COMMON_HOME=/home/hadoop/hadoop-3.2.4
export HADOOP_MAPRED_HOME=/home/hadoop/hadoop-3.2.4
export HIVE_HOME=/home/hadoop/apache-hive-3.1.2-bin
export HIVE_CONF_DIR=/home/hadoop/apache-hive-3.1.2-bin/conf
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*

4.配置环境变量

[hadoop@localhost conf]$ vim ~/.bashrc 
#sqoop
export HBASE_HOME=/home/hadoop/sqoop/sqoop-1.4.7
export PATH=$PATH:$HBASE_HOME/bin
[hadoop@localhost conf]$ source /etc/profile
[hadoop@localhost conf]$ sqoop version
bash: sqoop: 未找到命令...
[hadoop@localhost conf]$ source ~/.bashrc 

导入数据相关命令

sqoop的 import-all-tables使用要求

要使import-all-tables工具有用，必须满足以下条件：

1.每个表必须具有主键或使用--autoreset-to-one-mapper选项。

2.导入每张表的所有列。

3.使用默认拆分列，不能使用WHERE。

全库导入
sqoop import-all-tables "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
--connect jdbc:mysql://10.22.171.188:3306/AIDM40W \
--username root \
--password 890iop*()IOP \
--hive-import \
--hive-overwrite \
--hive-database dz \
--fields-terminated-by '\t' \
--exclude-tables  'CASE_FUN_TABLE,a1,all_type_label_tables' \
--as-parquetfile 

sqoop import-all-tables --connect "jdbc:mysql://10.22.171.188:3306/AIDM40W" \
--username root \
--password 123456 \
--hive-import \
--hive-overwrite \
--hive-database dz \
--exclude-tables  'user_part_501,user_part_601,user_part_701,user_part_801,CASE_FUN_TABLE,a1,all_type_label_tables,tb_user,test,log,s1,test_t,db_object_constraint_test_01,user_101,user_301,user_302,user_303,user_304,user_part_102,user_part_101,user_part_201,user_part_301,user_part_401,user_part_index_101,user_part_index_102,user_part_index_103,user_part_index_104,user_part_index_201,user_part_index_202,user_part_index_301,user_part_index_302,user_part_index_401,user_part_index_402,user_a3,user_201,user_202,user_203,user_204,user_401,user_402,user_403,user_501,user_502,user_a1,user_a2' \
--create-hive-table

#带主键
aa
all_type_label_tables
db_object_constraint_test_01
tb_user
test
user_201
user_202
user_203
user_204
user_401
user_402
user_403
user_501
user_502
user_a1
user_a2

#--exclude-tables  'drop_table' \        (此参数可以 exclude掉不需要import的表(多个表逗号分隔))
#--create-hive-table \  (不能和as-parquetfile共用)
#--direct \                (只支持文本格式，不能和as-parquetfile共用)
#--as-textfile \

sqoop import  --connect "jdbc:mysql://10.22.171.188:3306/AIDM40W" \
--username root \
--password 123456 \
--table all_type_label_tables \
--delete-target-dir \
--fields-terminated-by '\t' \
--m 1 \
--hive-import \
--hive-overwrite \
--hive-database dz \
--create-hive-table \
--hive-table all_type_label_tables

全量备份(hive表不存在，导入时自动创建hive表)
sqoop import --connect jdbc:mysql://10.22.171.188:3306/AIDM40W \
--username root --password 123456 --table users \
--hive-import \
--hive-database dz \
--create-hive-table \
--fields-terminated-by '\t' \
--null-string '\\N' \
--null-non-string '\\N' \
--split-by id \
-m 1