目录
🍗前言:
🍗 下载地址:
🍗首先需要有Java环境,确定是否安装Java和Hadoop
🍗压缩包解压指令:
#重命名sqoop目录[root@hadoop01 local]#mv sqoop-1.4.7 sqoop 修改文件名称
🍗配置环境变量:
🍗刷新生效文件
🍗配置Sqoop
🍗修改sqoop-env.sh配置文件中的参数：
🍗在命令行中输入Sqoop命令进行测试，如：
🍗 Sqoop命令进行测试
🍗查看Sqoop作业状态
🍗Sqoop相关经常使用到的指令:
🍗前言:
端午节要来了,以文化传递知识
🍗 下载地址:
可以从Apache Sqoop的官方网站（http://sqoop.apache.org/）下载最新版本的Sqoop。
🍗首先需要有Java环境,确定是否安装Java和Hadoop
java -version
hadoop version
🍗压缩包解压指令:
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/
#重命名sqoop目录
[root@hadoop01 local]#mv sqoop-1.4.7 sqoop 修改文件名称
🍗配置环境变量:
将Sqoop的bin目录添加到系统的PATH环境变量中，以便在命令行中可以直接使用Sqoop命令。在/etc/profile文件中添加以下命令：
export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
🍗刷新生效文件
source /etc/profile
🍗配置Sqoop
#将用于连接mysql的JDBC驱动包添加到sqoop目录下的lib目录中,以下命令从hive中复制而来
[root@hadoop01 local]#cp hive/lib/mysql-connector-java-5.1.49-bin.jar sqoop/lib/
Sqoop的配置文件为conf/sqoop-env.sh，需要修改其中的相关参数，以便Sqoop能够正常连接到Hadoop集群和数据库。可以使用以下命令备份一份配置文件：
在 Sqoop 安装目录的 conf 子目录下，系统已经提供了一个环境变量文件模板sqoop-env-template.sh，使用 cp 操作复制一个副本，并改名为 sqoop-env.sh，修改sqoop-env.sh (可选，一般安装了Hadoop、HBase、Hive后可不配置此文件）
cp /usr/local/sqoop/conf/sqoop-env-template.sh /usr/local/sqoop/conf/sqoop-env.sh
🍗修改sqoop-env.sh配置文件中的参数：
其中，HADOOP_COMMON_HOME、HADOOP_MAPRED_HOME和HIVE_HOME需要设置为Hadoop和Hive的安装目录，以便Sqoop能够连接到它们。
export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true
export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
🍗在命令行中输入Sqoop命令进行测试，如：
- 启动的时候，有相关的警告信息，我们可以配置bin/configure-sqoop 文件，先注销对应的相关语句.
- 建议：使用notpad++进行编辑，使用其列模式：按住Alt键，垂直拖动鼠标即可以列模式编辑。
- 命令将查询连接到MySQL数据库，并列出其中的所有数据库。
#注释掉对应行号 75~107 行的内容
#注释掉对应行号 129~147 行的内容
#注释掉对应行号 227~228 行的内容
#注释掉对应行号 230~231 行的内容
🍗 Sqoop命令进行测试
sqoop list-databases --connect jdbc:mysql://localhost/test --username root --password 123456
命令将导入MySQL数据库中的users表到Hadoop中的/tmp/users目录中。
sqoop import --connect jdbc:mysql://localhost/test --username root --password 123456 --table users --target-dir /tmp/users
🍗查看Sqoop作业状态
sqoop job --list
🍗Sqoop相关经常使用到的指令:
- 下载并解压缩sqoop安装包：tar -xzvf sqoop-x.x.x.bin__hadoop-x.x.x.tar.gz
- 配置环境变量：export SQOOP_HOME=/path/to/sqoop
- 配置sqoop的配置文件：cp $SQOOP_HOME/conf/sqoop-env-template.sh $SQOOP_HOME/conf/sqoop-env.sh
- 修改sqoop-env.sh文件中的配置参数，如HADOOP_COMMON_HOME、HADOOP_MAPRED_HOME、HIVE_HOME等
- 配置MySQL的JDBC驱动：将mysql-connector-java-x.x.x.jar复制到$SQOOP_HOME/lib目录下
- 启动sqoop服务：$SQOOP_HOME/bin/sqoop server start
- 停止sqoop服务：$SQOOP_HOME/bin/sqoop server stop
- 导入数据到HDFS：$SQOOP_HOME/bin/sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password password --table table_name --target-dir /path/to/hdfs/directory
- 导出数据到MySQL：$SQOOP_HOME/bin/sqoop export --connect jdbc:mysql://localhost:3306/test --username root --password password --table table_name --export-dir /path/to/hdfs/directory
