本地Apache Hive的Linux服务器集群复制数据到SQL Server数据库的分步流程

我们已经有安装Apache Hive的Linux服务器集群，它可以连接到一个SQL Server RDS数据库，需要在该Linux服务器上安装配置sqoop，然后将Hive中所有的表数据复制到SQL Server RDS数据库。

以下是分步指南，用于在Linux服务器上安装配置Sqoop并将Hive表数据迁移至SQL Server RDS：

1. 安装Sqoop

步骤：

下载Sqoop
前往Apache Sqoop下载页面，选择稳定版本（如1.4.7）：

wget https://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
tar -xzvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
mv sqoop-1.4.7.bin__hadoop-2.6.0 /opt/sqoop

配置环境变量
编辑~/.bashrc或/etc/profile：

export SQOOP_HOME=/opt/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

应用配置：

source ~/.bashrc

验证安装
```
sqoop version
```

2. 配置SQL Server JDBC驱动

步骤：

下载驱动
从Microsoft下载JDBC驱动，选择最新版本（如mssql-jdbc-12.2.0.jre8.jar）。

复制驱动到Sqoop的lib目录

cp mssql-jdbc-12.2.0.jre8.jar $SQOOP_HOME/lib/

测试连接

sqoop list-databases \
--connect "jdbc:sqlserver://<RDS_HOST>:<PORT>;databaseName=<DATABASE>" \
--username <USER> \
--password <PASSWORD>

替换<RDS_HOST>, <PORT>, <DATABASE>, <USER>, <PASSWORD>为实际值。

3. 生成SQL Server表结构

步骤：

获取Hive表列表

hive -e 'SHOW TABLES;' > hive_tables.txt

生成SQL Server DDL
编写脚本generate_ddl.sh：

#!/bin/bash
while read table; do# 获取Hive表结构hive -e "DESCRIBE FORMATTED $table" > describe_$table.txt# 转换为SQL Server DDL（示例，需根据实际类型调整）awk '/^col_name/{getline; while($0 !~ /^#/) {print $0; getline}}' describe_$table.txt | awk '{printf "%s %s,\n", $1, ($2 == "string") ? "VARCHAR(255)" : ($2 == "int") ? "INT" : ($2 == "timestamp") ? "DATETIME" : "VARCHAR(255)"}' | sed '$s/,$//' > $table.sqlecho "CREATE TABLE $table (" > ddl_$table.sqlcat $table.sql >> ddl_$table.sqlecho ");" >> ddl_$table.sql
done < hive_tables.txt

运行脚本：

chmod +x generate_ddl.sh
./generate_ddl.sh

在SQL Server中创建表
使用sqlcmd或客户端工具执行生成的DDL。

4. 使用Sqoop导出数据

步骤：

获取Hive表HDFS路径
通常路径为：/user/hive/warehouse/<database>.db/<table>。确认路径：
```
hdfs dfs -ls /user/hive/warehouse/
```

导出命令示例
编写脚本export_all.sh：

#!/bin/bash
while read table; dosqoop export \--connect "jdbc:sqlserver://<RDS_HOST>:<PORT>;databaseName=<DATABASE>" \--username <USER> \--password <PASSWORD> \--table $table \--export-dir /user/hive/warehouse/<database>.db/$table \--input-fields-terminated-by '\001' \--input-lines-terminated-by '\n' \-m 4
done < hive_tables.txt

替换占位符并运行：

chmod +x export_all.sh
./export_all.sh

5. 验证数据

在SQL Server中查询记录数：
```
SELECT COUNT(*) FROM <table>;
```
检查数据一致性，对比Hive和SQL Server的数据样本。

常见问题处理

数据类型不匹配：调整DDL中的类型映射。
分隔符错误：使用--input-fields-terminated-by指定正确的分隔符（Hive默认\001）。
连接超时：增加--connection-param-file中的超时设置。
权限问题：确保Hadoop用户有权访问HDFS路径，SQL Server用户有写入权限。

完整流程图

安装Sqoop → 配置JDBC驱动 → 生成Hive表列表 → 转换DDL → 创建SQL表 → Sqoop导出数据 → 验证

通过以上步骤，您可以将Hive中的所有表数据迁移到SQL Server RDS。根据数据量和网络情况，可能需要调整并行度（-m参数）和内存设置。