WinScp的软件获取:
链接:https://pan.baidu.com/s/1kEJajIVdLth-U8Q3VJjQbw?pwd=jyko
提取码:jyko
sqoop的tar包:
链接:https://pan.baidu.com/s/1BG91_LHwnQJI0EWMOgStQQ?pwd=v78g
提取码:v78g
在安装sqoop的环境之前需要有hadoop集群的环境基础,如果小伙伴还没有完成hadoop的环境,请查看我主页,有详细的hadoop集群的环境搭建。出次之外还需要有mysql的环境条件或者其他的关系型数据库。有以上条件的伙伴,接下来安装sqoop将会非常的简单。
我使用的镜像文件是CentOS6.5,如果小伙伴的版本不一致,只是执行的命令不一致,其他的步骤都是一致的。
检查hadoop集群是否成功启动
访问主节点的9870端口查看自己的主节点有没有监听到其他的两个从节点。
发现自己的主节点成功监控到其他的从节点过后,将sqoop的tar包传送到自己的hadoop集群当中,只需要上传到主节点即可。我使用的工具是MobaXterm所以通过拖拉的方式,如果是使用VMware的话,就下载Winscp软件上传到自己的虚拟机(sqoop的tar包和Winscp软件在博文开头百度网盘获取),或者使用finalShell软件也可以通过拖拉的方式上传文件。
上传tar包过后,解压到指定的目录
tar -zxvf sqoop-1.4.5.bin__had.gz -C 解压自己指定的路径
#如果不加-C就是解压到当前的目录
解压过后,将解压好的文件名更改成方便记忆的文件名,方便区别或者记忆
更改文件夹名的命令为
mv 被更改的文件名 更改后的文件名
接下来配置环境变量,这里可以在两个地方配置环境保量皆可以。一个是/etc/profile另一个是~/.bash_profile文件,都是可以的,但是sqoop与jdk,或者hadoop环境变量的配置有些区别,sqoop环境变量的环境变量的配置是在sqoop安装的主目录下面,在conf目录下的sqoop-env-template.sh文件里面配置,但是需要复制一个配置文件做备份。
cp sqoop-env-template.sh sqoop-env.sh
接着打开复制的配置文件,进行环境变量的配置:
nano sqoop-env.sh
跟着配置图例配置即可,只需要配置mysql,hadoop的环境既可,其他没有的信息,可以不配置:
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/zkpk/hadoop-3.3.0
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/zkpk/hadoop-3.3.0
#set the path to where bin/hbase is available
export HBASE_HOME=/home/zkpk/hbase-0.98.9-hadoop2
#Set the path to where bin/hive is available
export HIVE_HOME=/home/zkpk/apache-hive-0.13.1-bin
#Set the path for where zookeeper config dir is
#export ZOOCFGDIR=/usr/local/zk
注:路径是自己环境下安装的路径,不要与我的路径弄混淆
安装过后,都要source一下,要有一个好习惯,就是在任何配置文件当中有改动,都需要source下,不然自己的电脑,就不会保存成功。
source sqoop-env.sh
最后的结束,完成上面全操作,接下来进入 Sqoop 安装主目录运行下面的代码出现下面的图示,说明你的sqoop的环境已经成功搭建完成了。
bin/sqoop help
说明已经成功搭建好了sqoop的环境。