flink doris批量sink

embedded/2024/11/13 15:04:09/

idea maven 依赖

<dependency>
<groupId>org.apache.doris</groupId>
<artifactId>flink-doris-connector-1.11_2.12</artifactId>
<version>1.0.3</version>
</dependency>

val properties = Properties()
properties.setProperty("format", "json")
properties.setProperty("strip_outer_array", "true")
properties.setProperty("read_json_by_line", "true")


val executionOptions = DorisExecutionOptions.builder()
.setBatchSize(20000)
.setBatchIntervalMs(10000L)
.setEnableDelete(false)
.setMaxRetries(3)
.setStreamLoadProp(properties)
.build()

data.addSink(
DorisSink.sink(
executionOptions,
DorisOptions(
"host:8030",
"root",
"password",
"db.table"
)
)
)
.uid("sink-doris")
.name("数据写入doris")


http://www.ppmy.cn/embedded/114496.html

相关文章

在SpringBoot项目中利用Redission实现布隆过滤器(布隆过滤器的应用场景、布隆过滤器误判的情况、与位图相关的操作)

文章目录 1. 布隆过滤器的应用场景2. 在SpringBoot项目利用Redission实现布隆过滤器3. 布隆过滤器误判的情况4. 与位图相关的操作5. 可能遇到的问题&#xff08;Redission是如何记录布隆过滤器的配置参数的&#xff09;5.1 问题产生的原因5.2 解决方案5.2.1 方案一&#xff1a;…

代码随想录算法训练营Day5

242.有效的字母异位词 力扣题目链接&#xff1a;. - 力扣&#xff08;LeetCode&#xff09; 数组实现简单哈希表 class Solution {public boolean isAnagram(String s, String t) {if(s.length()!t.length()){return false;}int[] recordnew int[26];for(int i0;i<s.leng…

QTCreator 调试:unknown debugger type “No engine“

QTCreator 调试&#xff1a;unknown debugger type "No engine" - kaizenly - 博客园 (cnblogs.com) 一开始Debuggers---Auto-detected这里第一row第一个项是标红的&#xff0c;然后没改东西&#xff0c;点完应用Apply以后&#xff0c;就可以调试了...&#xff08;不…

http免费升级https教程

将HTTP免费升级至HTTPS的详细教程涉及获取SSL证书、配置服务器和测试HTTPS连接等关键步骤。 以下是具体介绍&#xff1a; 获取SSL证书&#xff1a;选择提供免费SSL证书的服务&#xff0c;如JoySSL。在证书提供商的网站上申请免费SSL证书注册时填写注册码230920&#xff0c;获取…

动手学深度学习(pytorch土堆)-06损失函数与反向传播、模型训练、GPU训练

模型保存与读取 完整模型训练套路 import torch import torchvision.datasets from torch import nn from torch.nn import Conv2d, MaxPool2d, Flatten, Linear from torch.utils.data import DataLoader from torch.utils.tensorboard import SummaryWriterfrom model impo…

Zabbix中文乱码问题解决

目录 1、问题 2、解决办法 1、问题 2、解决办法 WinR打开运行&#xff0c;输入fonts&#xff0c;回车进入Windows字体目录&#xff0c;找到微软雅黑-常规字体&#xff0c;复制出来将文件名修改为msyh.ttf&#xff0c;注意后缀ttf 将msyh.ttf上传到服务器zabbix字体目录中&am…

Day4:杨辉三角

题目&#xff1a;给定一个非负整数numRows,生成杨辉三角的前numRows行。在杨辉三角中&#xff0c;每个数就是左上方和右上方数的和。 import java.util.ArrayList; import java.util.List;public class Test {public static List<List<Integer>> generate(int numR…

执行网络攻击模拟的 7 个步骤

在进攻和防守策略方面&#xff0c;我们可以从足球队和美式足球队身上学到很多东西。球员们会分析对方球队的策略&#xff0c;找出弱点&#xff0c;相应地调整进攻策略&#xff0c;最重要的是&#xff0c;练习、练习、再练习。作为最低要求&#xff0c;网络安全部门也应该这样做…