clickhouse与oracle传输数据

ops/2024/10/22 14:40:50/

参考

https://github.com/ClickHouse/clickhouse-jdbc-bridge

https://github.com/ClickHouse/clickhouse-jdbc-bridge/blob/master/docker/README.md

clickhouse官方提供了一种方式,可以实现clickhouse与oracle之间传输数据,不仅仅是oracle,而且是一类支持jdbc的数据库,这种方式就是JDBC bridge for ClickHouse

它可以作为一个无状态的代理将查询传递到外部数据源。由于这个扩展功能,你可以在clickhouse上运行分布式查询,这查询能够做到实时跨多数据源。

安装

如何部署

直接在部署clickhose的linux服务器上,下载安装释出的debian/rpm包。Debian/Ubuntu按照如下操作即可。

apt update && apt install -y procps wget

wget 

https://github.com/ClickHouse/clickhouse-jdbc-bridge/releases/download/v2.1.0/clickhouse-jdbc-bridge_2.1.0-1_all.deb

说明:第一次下载失败后,再次下载,文件名多了后缀.1,稍后删除之前下载不完整的文件,并将这个完整文件的文件名后缀.1剔除。

第一次下载失败如下所示,重新下载即可,外网速度问题

apt install --no-install-recommends -f ./clickhouse-jdbc-bridge_2.1.0-1_all.deb

clickhouse-jdbc-bridge

说明:第一次下载失败,多次下载,安装时报错

如上截图所示,删除第一个下载失败的(rm),并调整名称后(mv),再次执行。

启动  clickhouse-jdbc-bridge

启动时报错,提示没有日志文件,参考链接

https://github.com/ClickHouse/clickhouse-jdbc-bridge/tree/master中configuration中有关于日志的配置

点击查看,按照下图所示配置文件中的路径,以root用户登录,新建目录。

/var/log/clickhouse-jdbc-bridge/console.log

再启动时不再报无法加载日志处理器的错误。

配置

目录结构

上传驱动文件

切换到clickhouse-jdbc-bridge主目录,本例中为

/etc/clickhouse-jdbc-bridge

新建目录 mkdir drivers

以root用户登录,上传oracle驱动

重启 clickhouse-jdbc-bridge,在clickhouse client输入如下形式的内容,回车。

select * from jdbc('jdbc:oracle:thin:name/pass@ip:port:sid', 'select 1 from dual')

或者如下

select * from jdbc('jdbc:oracle:thin:name/pass@ip:port/sid', 'select 1 from dual')

不建议直接暴露数据库的连接信息,可以将连接信息配置在config中的json文件中,然后再引用配置信息。

配置连接信息

切换到config目录

将数据库的连接配置信息可以放在config/datasources目录的json文件中。

复制示例文件,然后调整

cp datasource.json.example ora.json

驱动地址:/etc/clickhouse-jdbc-bridge/drivers/ojdbc6.jar

jdbcUrl:jdbc:oracle:thin:@port:port:sid

调整完之后保存,clickhouse-jdbc-bridge会自动读取json配置内容。如果没读取到,重启下clickhouse-jdbc-bridge,出现如下图所示,红框的内容,表示读取成功。

验证效果


http://www.ppmy.cn/ops/18899.html

相关文章

提示工程的艺术:释放ChatGPT的潜力

提示工程的艺术:释放ChatGPT的潜力 理解ChatGPT及其基础知识 ChatGPT是一种基于Transformer的模型,利用机器学习来预测下一个单词并生成文本。提示工程在引导模型的预测方面起着至关重要的作用。通过制作提供清晰和上下文的提示,用户可以利用…

巴西游戏市场海外营销洞察

巴西作为南美洲最大的国家,近年来在游戏产业领域取得了显著的发展,2023年巴西整体移动游戏市场收入规模超60亿元,显示出强劲的市场活力。巴西游戏市场以其庞大的用户基础,不断增长的消费能力以及日益完善的产业环境,吸…

微软开源了Phi-3-mini适用于移动硬件设备

🦉 AI新闻 🚀 微软开源了Phi-3-mini适用于移动硬件设备 摘要:微软最新开源的小参数大语言模型Phi-3-mini,包括其架构特点、训练数据、性能测试以及未来发布计划。该模型拥有38亿参数,占用内存少,且在语言…

食用油5G智能工厂数字孪生可视化平台,推进食品制造业数字化转型

食用油5G智能工厂数字孪生可视化平台,推进食品制造业数字化转型。在食用油产业中,数字化转型已成为提升生产效率、优化供应链管理、确保产品质量和满足消费者需求的关键。食用油5G智能工厂数字孪生可视化平台作为这一转型的重要工具,正在推动…

酷开科技用更包容的心态,将不同的内容形态注入酷开系统

纵观整个互联网的发展历程,我们经历从搜索时代到电子商务时代,再从社交网络时代到近几年兴起的兴趣网络时代。而在当下的兴趣网络时代,面对多元化、同质化的产品,价值文化成为品牌和消费者建立连接的关键。 酷开系统通过技术和服…

电销外呼系统有哪些用途?ai智能语音机器人系统部署各版本

现在由于网络技术的发展十分快速,让我们的工作方式、生活方式都向智能化方向转变,而电销外呼系统,可以应用于很多行业,那电销外呼系统有哪些用途呢?我们一起来看看 1、电销外呼系统一般用于什么场景 电销外呼系统是提…

clickhouse学习笔记05

ClickHouseSpringBoot2.XMybatisPlus整合搭建 添加需要的依赖: 添加clickhouse依赖: 配置数据库配置: 我们框架就搭建完了。 ClickHouse的项目案例统计需求讲解 ClickHouse的项目案例统计库表和数据准备 添加数据: 数据都插入进来…

java:观察者模式

java:观察者模式 1 前言 观察者模式,又被称为发布-订阅(Publish/Subscribe)模式,他定义了一种一对多的依赖关系,让多个观察者对象同时监听某一个主题对象。这个主题对象在状态变化时,会通知所…