【Apache Paimon】-- 11 -- Flink 消费 kakfa 写 S3 File

embedded/2024/12/27 16:47:35/

目录

1、项目构建

2、项目新增和修改

2.1 pom.xml 新增依赖

flink%20on%20k8s%20%E6%97%B6%EF%BC%8C%E6%96%B0%E5%A2%9E%C2%A0S3FileSystemFactory.java-toc" style="margin-left:40px;">2.2 本地测试或者 flink on k8s 时,新增 S3FileSystemFactory.java

flink.fs.s3hadoop-toc" style="margin-left:80px;">第一步:创建包=org.apache.flink.fs.s3hadoop

第二步:新增 java 类 S3FileSystemFactory

特别注意

(1)本地测试时需要新增以下内容

flink%20sql-toc" style="margin-left:80px;">第三步:修改 flink sql 创建 s3_sink

3、运行查看结果


1、项目构建

参考前置项目先构建好项目:【Apache Paimon】-- 4 -- Flink 消费 kafka 数据,然后写入 paimon_paimon kafka-CSDN博客

2、项目新增和修改

2.1 pom.xml 新增依赖

       <dependency><groupId>org.apache.flink</groupId><artifactId>flink-s3-fs-hadoop</artifactId><version>1.19.1</version></dependency>

http://www.ppmy.cn/embedded/149217.html

相关文章

NVIDIA GB200 Superchip及各厂家液冷服务器和液冷机柜介绍

&#xff08;一&#xff09;前言 NVIDIA GB200是一款高度集成的超级计算模块&#xff0c;它是基于NVIDIA的Blackwell架构设计的。这款模块结合了两个NVIDIA B200 Tensor Core GPU和一个NVIDIA Grace CPU&#xff0c;旨在提供前所未有的AI性能。 GB200 搭载液冷&#xff0c;产…

IntelliJ IDEA Docker集成

一、概述 Docker是一种用于在隔离和可复制环境中部署和运行可执行文件的工具。这可能很有用&#xff0c;例如&#xff0c;在与生产相同的环境中测试代码。 IntelliJ IDEA集成了Docker功能&#xff0c;并为创建Docker映像、运行Docker容器、管理Docker Compose应用程序、使用公…

(笔记)一个有趣的终端屏幕保护程序,显示类似《黑客帝国》中字符雨的效果

mac上安装 brew install cmatrix 运行 cmatrix 效果 地址&#xff1a;GitHub - abishekvashok/cmatrix: Terminal based "The Matrix" like implementation

网安瞭望台第17期:Rockstar 2FA 故障催生 FlowerStorm 钓鱼即服务扩张现象剖析

国内外要闻 Rockstar 2FA 故障催生 FlowerStorm 钓鱼即服务扩张现象剖析 在网络安全的复杂战场中&#xff0c;近期出现了一个值得关注的动态&#xff1a;名为 Rockstar 2FA 的钓鱼即服务&#xff08;PhaaS&#xff09;工具包遭遇变故&#xff0c;意外推动了另一个新生服务 Flo…

Go怎么做性能优化工具篇之 trace工具

一、什么是 trace trace 是 Go 语言的一个非常强大的性能分析工具&#xff0c;它用于追踪和记录 Go 程序的执行过程。与 CPU 和内存性能分析工具&#xff08;如 pprof&#xff09;不同&#xff0c;trace 侧重于在时间维度上分析程序的行为&#xff0c;帮助开发者理解程序执行中…

【Redis】 数据淘汰策略

面试官询问缓存过多而内存有限时内存被占满的处理办法&#xff0c;引出 Redis 数据淘汰策略。 数据淘汰策略与数据过期策略不同&#xff0c; 过期策略针对设置过期时间的 key 删除&#xff0c; 淘汰策略是在内存不够时按规则删除内存数据。 八种数据淘汰策略介绍 no evision&…

NIPS2014 | GAN: 生成对抗网络

Generative Adversarial Nets 摘要-Abstract引言-Introduction相关工作-Related Work对抗网络-Adversarial Nets理论结果-Theoretical Results实验-Experiments优势和不足-Advantages and disadvantages缺点优点 结论及未来工作-Conclusions and future work研究总结未来研究方…

自动驾驶控制算法-横向控制与流程代码仿真

本文是学习自动驾驶控制算法第八讲(一&#xff09;横向控制算法与流程图以及后续两节的学习笔记。 1 1. 算法流程图 2 A&#xff0c;B计算模块 A [ 0 1 0 0 0 C α f C α r m v x − C α f C α r m a C α f − b C α r m v x 0 0 0 1 0 a C α f − b C α r I v x −…