【Apache Paimon】-- 11 -- Flink 消费 kakfa 写 S3 File

server/2024/12/23 8:34:39/

目录

1、项目构建

2、项目新增和修改

2.1 pom.xml 新增依赖

flink%20on%20k8s%20%E6%97%B6%EF%BC%8C%E6%96%B0%E5%A2%9E%C2%A0S3FileSystemFactory.java-toc" style="margin-left:40px;">2.2 本地测试或者 flink on k8s 时,新增 S3FileSystemFactory.java

flink.fs.s3hadoop-toc" style="margin-left:80px;">第一步:创建包=org.apache.flink.fs.s3hadoop

第二步:新增 java 类 S3FileSystemFactory

特别注意

(1)本地测试时需要新增以下内容

flink%20sql-toc" style="margin-left:80px;">第三步:修改 flink sql 创建 s3_sink

3、运行查看结果


1、项目构建

参考前置项目先构建好项目:【Apache Paimon】-- 4 -- Flink 消费 kafka 数据,然后写入 paimon_paimon kafka-CSDN博客

2、项目新增和修改

2.1 pom.xml 新增依赖

       <dependency><groupId>org.apache.flink</groupId><artifactId>flink-s3-fs-hadoop</artifactId><version>1.19.1</version></dependency>

http://www.ppmy.cn/server/152446.html

相关文章

【JetPack】WorkManager笔记

WorkManager简介&#xff1a; WorkManager 是 Android Jetpack 库中的一个重要组件。它用于处理那些需要在后台可靠执行的任务&#xff0c;这些任务可以是一次性的&#xff0c;也可以是周期性的&#xff0c;甚至是需要满足特定条件才执行的任务。例如&#xff0c;它可以用于在后…

调整docker bridge地址冲突,通过bip调整 bridge地址

调整docker bridge地址冲突&#xff0c;通过bip调整 bridge地址 背景步骤 背景 我们在使用docker 过程中&#xff0c;docker 默认bridge地址可能会和一些业务地址相互冲突&#xff0c;需要调整docker bridge 的默认值。 步骤 1.清除当前所有镜像&#xff08;这一步非常关键&…

【Linux】shell语法

Shell基础语法全解 一、shell简介二、shell格式2.1 新建一个shell脚本文件2.2 执行脚本方式 三、变量3.1系统变量3.2自定义变量3.3 特殊变量3.3.1 $n 传入变量3.3.2 $# 输入参数个数3.3.3 $*、$ 输入参数内容3.3.4 $? 上一条命令执行结果 四、运算符 $[]、$(())五、条件判断5.…

DIY 集合求并集(union)运算的代码 ← Python

【算法分析】 已知 Python 提供了求并集运算的函数 union。代码示例如下; >>> s1{1,2,3} >>> s2{2,3,7,1,9} >>> s1.union(s2) {1, 2, 3, 7, 9} >>> 不过&#xff0c;知其然也要知其所以然。 本例自己 DIY 集合求并集&#xff08;union…

回溯---java---黑马

回溯 概念 程序在运行过程中分成了多个阶段 通过某些手段&#xff0c;将数据恢复到某一阶段&#xff0c;称之为回溯 手段包括&#xff1a;方法栈、自定义栈 使用基本数据类型n public class Backtracking{public static void main(String[] args) {rec(1);}public void r…

半导体数据分析(二):徒手玩转STDF格式文件 -- 码农切入半导体系列

一、概述 在上一篇文章中&#xff0c;我们一起学习了STDF格式的文件&#xff0c;知道了这是半导体测试数据的标准格式文件。也解释了为什么码农掌握了STDF文件之后&#xff0c;好比掌握了切入半导体行业的金钥匙。 从今天开始&#xff0c;我们一起来一步步地学习如何解构、熟…

从零用java实现 小红书 springboot vue uniapp (5)购物页聊天页

前言 移动端演示 http://8.146.211.120:8081/#/ 前面的文章我们基本完成了个人中心页开发 今天我们具体的去进行实现购物页 聊天页 并且分享我开发时遇到的问题 首先先看效果 商品页 商品数据先用笔记数据 我们对布局整体规划一下 搜索组件 搜索组件是fiexd布局一直在页面…

AI的进阶之路:从机器学习到深度学习的演变(三)

&#xff08;承接上集&#xff1a;AI的进阶之路&#xff1a;从机器学习到深度学习的演变&#xff08;二&#xff09;&#xff09; 四、深度学习&#xff08;DL&#xff09;&#xff1a;机器学习的革命性突破 深度学习&#xff08;DL&#xff09;作为机器学习的一个重要分支&am…