flink周边使用技巧与汇总

devtools/2024/9/25 6:24:08/

文章目录

  • 一、flink侧边输出(数据分流)
  • 二、在重写方法中获取参数
  • 三、其他
      • 总结


提示:以下是本篇文章正文内容,下面案例可供参考。flink1.15+

flink_8">一、flink侧边输出(数据分流)

二、在重写方法中获取参数

使用场景:在flink自定义sink时需要获取账号密码等信息,可以参数中获取

 @Overridepublic void open(Configuration parameters) throws Exception {super.open(parameters);RuntimeContext runtimeContext = getRuntimeContext();// 从配置中读取 信息String nodeUrls = runtimeContext.getExecutionConfig().getGlobalJobParameters().get("address");// 从配置中读取 用户名和密码username = runtimeContext.getExecutionConfig().getGlobalJobParameters().get("Username");password = runtimeContext.getExecutionConfig().getGlobalJobParameters().get("Password");//下面是业务处理}

核心是通过运行时上下文获取:runtimeContext.getExecutionConfig().getGlobalJobParameters().get("XXX");

三、其他

A).对sink 算子起别名

默认情况下sink 是没有名称的。例如下面这个sink多个外部数据库都是:Sink: Unnamed
KeyedProcess -> (Filter -> Process -> Sink: Writer -> Sink: Committer, Filter -> Sink: Unnamed, Filter -> Sink: Unnamed)可以通过.name("sink_Mysql")给sink起别名,知道此sink要写哪或目的。
DataStream.addSink(new 

http://www.ppmy.cn/devtools/99133.html

相关文章

Slowfast行为识别部署

一、简介 SlowFast 是一个用于视频行为识别的深度学习模型框架,由 Facebook AI Research (FAIR) 提出。它主要用于理解视频中的动作和行为,广泛应用于视频分析、监控、运动分析等领域。 SlowFast 模型采用了一种独特的双路径网络结构,包括一…

算法的学习笔记—顺时针打印矩阵(牛客JZ29)

😀前言 在算法的学习过程中,二维数组的操作是一个非常重要的内容,其中顺时针打印矩阵是一个经典的问题。这个问题不仅考察我们对矩阵的理解,还要求我们具备较强的逻辑思维能力。本文将详细解析如何通过Java代码来实现这一功能。 &…

Windows权限维持实战

目录 介绍步骤 介绍 在攻击过程中中对于拿到的shell或钓上来的鱼,目前比较流行用CS做统一管理,但实战中CS官方没有集成一键权限维持的功能,为了将该机器作为一个持久化的据点,种植一个具备持久化的后门,从而随时可以连…

Golang | Leetcode Golang题解之第367题有效的完全平方数

题目&#xff1a; 题解&#xff1a; func isPerfectSquare(num int) bool {x0 : float64(num)for {x1 : (x0 float64(num)/x0) / 2if x0-x1 < 1e-6 {x : int(x0)return x*x num}x0 x1} }

ffmpeg.exe命令行常见应用

基本转换&#xff1a; ffmpeg -i input.mp4 output.avi将input.mp4文件转换为output.avi文件。 提取音频&#xff1a; ffmpeg -i input.mp4 -vn output.mp3从input.mp4文件中提取音频并保存为output.mp3文件。 视频剪辑&#xff1a; ffmpeg -i input.mp4 -ss 00:00:30 -t 00:…

C++设计模式之组合模式详解

简介 组合模式&#xff08;Composite Pattern&#xff09;是一种结构型设计模式&#xff0c;旨在将对象组合成树形结构以表示“部分-整体”的层次结构。它使得客户端可以统一处理单个对象和组合对象&#xff08;即对象的集合&#xff09;&#xff0c;从而简化了复杂结构的处理…

数据仓库中的表设计模式:全量表、增量表与拉链表

在现代数据仓库中&#xff0c;管理和分析海量数据需要高效且灵活的数据存储策略。全量表、增量表和拉链表是三种常见的数据存储模式&#xff0c;各自针对不同的数据管理需求提供了解决方案。全量表通过保存完整的数据快照确保数据的一致性&#xff0c;增量表则通过记录数据的变…

C语言 之 整数在内存中的存储、大小端字节序和字节序的判断

文章目录 整数在内存中的存储大小端字节序和字节序判断大小端有大小端的原因高位和地位怎么区分&#xff1f;图例判断机器大端还是小端的例题 整数在内存中的存储 整数的2进制表示方法有三种&#xff0c;即 原码、反码和补码 三种表示方法均有符号位和数值位两部分&#xff0c…