【kettle006】kettle访问华为openGauss高斯数据库并处理数据至execl文件(已更新)

news/2024/9/23 5:16:26/

1.一直以来想写下基于kettle的系列文章,作为较火的数据ETL工具,也是日常项目开发中常用的一款工具,最近刚好挤时间梳理、总结下这块儿的知识体系。
2.熟悉、梳理、总结下华为openGauss高斯数据库相关知识体系
3.欢迎批评指正,跪谢一键三连!

  • kettle访问华为openGauss高斯数据库并处理数据至execl文件文章目录索引如下所示:
    在这里插入图片描述
  • 【实操视频,辅助实操学习,跪谢一键三连!】【kettle006】kettle访问华为openGauss高斯数据库并处理数据至execl文件

1.环境搭建、配置

  • 1.0 实验环境信息
    • Windows 10
    • CentOS 7.1(虚拟机)
    • Docker version 26.0.2
    • Dbeaver
    • Kettle 8.2
    • openGauss 2.1.0
  • 1.1 openGauss docker镜像安装
    • 如果本地有openGauss,但拉取了镜像,请调整端口信息,端口已被占用
    • 如果遇到拉取镜像很慢的问题,可以参考 https://kngines.blog.csdn.net/article/details/138142888
    • 1.1.1 操作命令
      # 拉取opengauss镜像
      docker pull enmotech/opengauss:latest# 查看镜像
      docker image# 运行容器
      docker run --name opengauss --privileged=true -d -e GS_PASSWORD=Enmo@123 -p 8090:5432 enmotech/opengauss:latest# 查看容器
      docker ps -adocker exec -it opengauss sh# 切换用户
      su - omm# 数据库登录
      gsql# 查看数据库版本
      select version();# 查看数据库版权
      \copyright# 查看数据库
      \db# 查看所有数据库
      \l
      
    • 1.1.2 容器运行详情
      在这里插入图片描述

2.openGauss高斯数据库容器链接测试

  • 2.1 驱动信息配置、测试
    • 新建 驱动管理器数据库 --》 驱动管理器 --》 新建库 --》 添加GS-DWS驱动文件
      # 类名
      org.postgresql.Driver
      # URL 模板
      jdbc:postgresql://{host}[:{port}]/[{database}]
      
    • 配置详情示例图
      在这里插入图片描述
  • 2.2 驱动包下载及配置引入
    • 高斯数据库驱动包下载地址: https://dws.obs.myhuaweicloud.com/download/dws_8.2.x_jdbc_driver.zip
    • 引入详情如下图所示
      在这里插入图片描述
  • 2.3 DBeaver链接高斯数据库测试
    # 默认数据库,也可新建数据库,如本文新建 youli ;注意 即使数据库名包含大写,链接配置里面配置小写
    postgres
    # 用户名
    gaussdb
    # 本实验密码
    Enmo@123
    
    • 链接测试配置详情
      在这里插入图片描述
  • 2.4 建表建库测试SQL
    create database youli owner gaussdb;
    drop database youli;create table youli_testtable (    id int primary key,    name varchar(100),    age int,    grade varchar(10)
    );delete from youli_testtable;
    insert into youli_testtable values
    (1, 'youli', 12, '1班'),
    (2, '张三', 21, '2班'),
    (3, '张三', 22, '3班'),
    (4, '张三', 23, '4班'),
    (5, '张三', 13, '5班'),
    (6, '张三', 14, '6班'),
    (7, '张三', 15, '7班'),
    (8, '张三', 13, '8班'),
    (9, '张三', 16, '9班'),
    (10, '张三', 19, '10班');select * from youli_testtable;
    

kettle_110">3.kettle流程任务配置、效果验证

4.参考文章

  • https://blog.csdn.net/jmshl/article/details/134578666
  • https://blog.csdn.net/AnillegalName/article/details/135764879
  • https://wenku.csdn.net/column/5tt62irjd2

http://www.ppmy.cn/news/1454001.html

相关文章

C语言写一个终端进度条

C语言写一个终端进度条 这个功能挺简单的,主要有以下两点: 如何获取终端宽度如何让字符在原地闪烁 如何获取终端宽度 这里用到了设备控制接口函数ioctl(),下面简单的介绍一下这个函数的用法: ioctl是一个在Unix和类Unix系统中…

音视频开发之旅——实现录音器、音频格式转换器和播放器(PCM文件转换为WAV文件、使用LAME编码MP3文件)(Android)

本文主要讲解的是实现录音器、音频转换器和播放器,在实现过程中需要把PCM文件转换为WAV文件,同时需要使用上一篇文章交叉编译出来的LAME库编码MP3文件。本文基于Android平台,示例代码如下所示: AndroidAudioDemo Android系列&am…

HTTP常见面试题(一)

3.1 HTTP 常见面试题 HTTP基本概念 HTTP 是超文本传输协议,也就是HyperText Transfer Protocol。 HTTP 的名字「超文本协议传输」,它可以拆成三个部分: 超文本 传输 协议 HTTP 是一个用在计算机世界里的协议。它使用计算机能够理解的语…

流畅的Python阅读笔记

五一快乐的时光总是飞快了,不知多久没有拿起键盘写文章了,最近公司有Python的需求,想着复习下Python吧,然后就买了本Python的书籍 书名: 《流畅的Python》 下面是整理的一个阅读笔记,大家自行查阅&#xf…

Docker使用方法

Docker是一种容器化平台,它可以帮助开发人员将应用程序和其依赖项打包成一个独立的、可移植的容器,以便在不同的环境中运行。 以下是使用Docker的基本步骤: 安装Docker:首先,您需要在您的机器上安装Docker。您可以从D…

10G MAC层设计系列-(4)MAC TX模块

一、前言 MAC TX模块就是要将IP层传输过来的数据封装前导码、MAC地址、帧类型以及进行CRC校验,并与CRC值一块组成以太网帧。 二、模块设计 首先对输入的数据进行缓存,原因是在之后要进行封装MAC帧头,所以需要控制数据流的流动 FIFO_DATA_6…

1688详情,搜索,店铺,图搜

简要描述\n根据商品id获取详情数据\n请求URL\nhttp://xxx.xxx.xxx.xxx:xxxx/get_item\n请求方式\nget\n请求Query参数\n参数名 示例值 必选 类型 说明\nitemid 590347769363 是 string 商品id\ntoken admin.api 是 string 权限token\nsales_data 2 是 string 2\nchannel 0 否 s…

13_Qt中的快捷键

Qt Creator的一些快捷操作: 项目管理: Build:以增量方式构建项目。Rebuild:重新构建项目。Clearn:清除项目构建过程中产生的所有中间文件。Run qmake:使用qmake/cmake重新构建项目。会重新执行UIC、MOC、…