sqoop的环境搭建(超详细)

news/2024/12/4 8:47:05/

WinScp的软件获取:

链接:https://pan.baidu.com/s/1kEJajIVdLth-U8Q3VJjQbw?pwd=jyko

提取码:jyko

sqoop的tar包:

链接:https://pan.baidu.com/s/1BG91_LHwnQJI0EWMOgStQQ?pwd=v78g

提取码:v78g

  1. 在安装sqoop的环境之前需要有hadoop集群的环境基础,如果小伙伴还没有完成hadoop的环境,请查看我主页,有详细的hadoop集群的环境搭建。出次之外还需要有mysql的环境条件或者其他的关系型数据库。有以上条件的伙伴,接下来安装sqoop将会非常的简单。

我使用的镜像文件是CentOS6.5,如果小伙伴的版本不一致,只是执行的命令不一致,其他的步骤都是一致的。

  1. 检查hadoop集群是否成功启动

  1. 访问主节点的9870端口查看自己的主节点有没有监听到其他的两个从节点。

  1. 发现自己的主节点成功监控到其他的从节点过后,将sqoop的tar包传送到自己的hadoop集群当中,只需要上传到主节点即可。我使用的工具是MobaXterm所以通过拖拉的方式,如果是使用VMware的话,就下载Winscp软件上传到自己的虚拟机(sqoop的tar包和Winscp软件在博文开头百度网盘获取),或者使用finalShell软件也可以通过拖拉的方式上传文件。

  1. 上传tar包过后,解压到指定的目录

tar -zxvf sqoop-1.4.5.bin__had.gz -C 解压自己指定的路径
#如果不加-C就是解压到当前的目录
  1. 解压过后,将解压好的文件名更改成方便记忆的文件名,方便区别或者记忆

更改文件夹名的命令为

mv 被更改的文件名 更改后的文件名
  1. 接下来配置环境变量,这里可以在两个地方配置环境保量皆可以。一个是/etc/profile另一个是~/.bash_profile文件,都是可以的,但是sqoop与jdk,或者hadoop环境变量的配置有些区别,sqoop环境变量的环境变量的配置是在sqoop安装的主目录下面,在conf目录下的sqoop-env-template.sh文件里面配置,但是需要复制一个配置文件做备份。

cp sqoop-env-template.sh sqoop-env.sh

接着打开复制的配置文件,进行环境变量的配置:

nano sqoop-env.sh

跟着配置图例配置即可,只需要配置mysql,hadoop的环境既可,其他没有的信息,可以不配置:

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/zkpk/hadoop-3.3.0
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/zkpk/hadoop-3.3.0
#set the path to where bin/hbase is available
export HBASE_HOME=/home/zkpk/hbase-0.98.9-hadoop2
#Set the path to where bin/hive is available
export HIVE_HOME=/home/zkpk/apache-hive-0.13.1-bin
#Set the path for where zookeeper config dir is
#export ZOOCFGDIR=/usr/local/zk

注:路径是自己环境下安装的路径,不要与我的路径弄混淆

安装过后,都要source一下,要有一个好习惯,就是在任何配置文件当中有改动,都需要source下,不然自己的电脑,就不会保存成功。

source sqoop-env.sh
  1. 最后的结束,完成上面全操作,接下来进入 Sqoop 安装主目录运行下面的代码出现下面的图示,说明你的sqoop的环境已经成功搭建完成了。

bin/sqoop help

说明已经成功搭建好了sqoop的环境。


http://www.ppmy.cn/news/34031.html

相关文章

Nginx学习笔记(三)Linux环境下Nginx的安装和部署

目录一、官网下载二、配置基本信息1.上传 Linux2.解压3.安装编译环境4.配置基本信息4.1 配置失败原因(1):没有安装C编译环境4.2 配置失败原因(2):没有安装 PCRE 依赖4.3 配置失败原因(3):没有安装 zlib 依赖5.查看文件列表三、编译安装四、配…

CAD如何检查线是否连接?CAD线段连接检查技巧

在CAD制图过程中,当需要生成填充、计算面积和生成面域时,偶尔会遇到区域未封闭的情况。此时便需要检查图纸中的CAD线段连接状态,那CAD如何检查线是否连接呢?本文小编就来给大家分享一下浩辰CAD软件中快速检查CAD线段连接状态的相关…

python模块

文章目录一、python模块总结一、python模块 Python3 模块 在前面的几个章节中我们基本上是用 python 解释器来编程,如果你从 Python 解释器退出再进入,那么你定义的所有的方法和变量就都消失了。 为此 Python 提供了一个办法,把这些定义存放…

mongodb分片集群安装

分片集群的搭建过程配置 并启动confifig 节点集群1.1节点1 confifig-17017.conf# 数据库文件位置 dbpathconfig/config1 #日志文件位置 logpathconfig/logs/config1.log # 以追加方式写入日志 logappendtrue # 是否以守护进程方式运行 fork true bind_ip0.0.0.0 port 17017 #…

【图像分割】Unet系列深度讲解(FCN、UNET、UNET++)

【图像分割】Unet 深度讲解 文章目录【图像分割】Unet 深度讲解1. 介绍1.1 背景介绍:1.2 医学图像特点1.3 图像分割是什么2. Unet发展历程(FCN、Unet、Unet)2.1 全卷积网络-FCN2.1.1 FCN介绍:2.1.2 FCN框架2.1.3 反卷积层2.1.4 输…

day12-函数进阶

1. return 注意:return只能在函数体中使用 将数据作为函数的返回值返回结束函数(执行函数体的时候如果遇到return,函数直接结束) def fun1(n):for x in range(1, n):if x % 3 0:return xprint(x)print(fun1(5))2. 变量作用域 2.1 变量作用域 变量作…

CSS 实现六边形柱状图

前言 👏CSS 实现六边形柱状图 速速来Get吧~ 🥇文末分享源代码。记得点赞关注收藏! 1.实现效果 2.实现步骤 定义全局css变量,柱状宽度为–w,最大高度为–h,柱形整体为渐变色,定义上部分颜色为…

【数据分析之道(二)】列表

文章目录专栏导读1、列表介绍2、访问列表中的值3、列表增加和修改4、删除元素5、列表函数6、列表方法专栏导读 ✍ 作者简介:i阿极,CSDN Python领域新星创作者,专注于分享python领域知识。 ✍ 本文录入于《数据分析之道》,本专栏针…