数仓开发那些事_番外

news/2024/12/22 23:57:59/

一位神州的正式员工(没错,就是之前文章中出现的实习生):一闪,你今年涨工资了吗?

一闪:mad,一年辛苦到头只涨了500米

神州员工:你去年绩效不是优秀吗,怎么就涨了500米,还没我零头多

一闪:放肆!

(听说是当时招进来开的工资太高....导致涨薪的时候人资不通过....最后只涨了这么点.....)

一闪表示不理解,但是尊重

---------------------回到工作

老师傅:一闪,写Flink SQL的时候遇到个问题,来帮我看看。

-- Flink SQL
CREATE TEMPORARY VIEW temp AS
SELECT b.corp_name,a.sale_amount
FROM 
(SELECT corp_no,sale_amount -- 销售金额FROM 销售事实表 a -- Flink的流表
) a
inner join 
(selectcorp_no,corp_namefrom 门店_维度表 -- Flink的维表group by corp_no,corp_name
) b
on a.corp_no = b.corp_no
;

一闪:我先来分析一下你这段代码,你有一个事实表,里面存了公司编号和销售金额。你需要关联维度表来取到公司名称,不过的维度表原来是门店维度,所以你写了一个子查询,对该表里面的公司进行去重,确保公司关联公司数据不会重复。

老师傅:没错没错,就是这个需求,你来帮我看看代码上有啥问题没有?

一闪:好像没啥问题啊,至少运行不会报错,现在是有啥病症吗?

老师傅:每次任务重启的时候,数据都没问题,但是过了一段时间之后,数据就不准了,估计只能坚挺48小时不到......(我为什么要用坚挺这个词??)

一闪:(作为一名数据开发的资深叼毛,对数据的敏感性突现)48小时不到....并且刚重启时是正常的,理性分析一波,我猜问题应该是出在维度数据上...(但是flink的维表一般是不可能数据过期的啊)

------------去厕所放空一下

!!!!想明白了,问题应该在Flink的过期参数上!table.exec.state.ttl!!这个参数正好是36小时,小于老师傅说的48小时。

------------裤子一提冲出厕所

一闪:默认流数据过期时间36小时,所以你的表数据过期了,导致关联的时候出了问题。既然你说任务刚重启时没有问题,我理解事实表的逻辑没有问题,所以(BGM起)心机之蛙一直摸你肚子,凶手就是你的子查询让维表被系统解析成了流表,36小时后自动失效,导致结果数据出现问题。

老师傅:卧槽牛b,那么大师,我该怎么改呢,要不我把参数改成永不失效?

一闪:(流汗)亲,建议你直接做一张公司的维度表吧,你如果把参数改成永不失效,我相信代码和你都可以跑了


http://www.ppmy.cn/news/1469800.html

相关文章

线上盲盒小程序:前景展望

在移动互联网的浪潮下,线上盲盒小程序作为一种新兴的购物模式,具有广阔的发展前景和潜力。以下是对线上盲盒小程序未来前景的展望: 一、市场规模持续扩大 随着消费者需求的不断增长和市场竞争的加剧,线上盲盒小程序的市场规模将持…

Java 消息队列详解

什么是消息队列? 消息队列是一种通过存储消息来实现系统间通信的中间件。消息生产者将消息发送到队列中,消息消费者从队列中取出并处理消息。这种模式实现了生产者和消费者的解耦,即使它们不同时在线,也可以通过消息队列进行通信…

算法笔记(链表)

leetcode24 两两交换链表 public ListNode swapPairs(ListNode head) {ListNode dummy new ListNode();ListNode cur dummy;cur.next head;/*dummy -> 1 -> 2 -> 3 -> 4| | |cur temp temp1要操作的数是cur之后的两个数,如果…

微信小程序的常用api

微信小程序 API 简介 微信小程序是一种不需要下载安装即可使用的应用,它通过微信内置的浏览器直接播放,提供了优秀的用户体验。小程序的核心是一套开放能力,其中 API 是小程序开发者最需要掌握的知识点之一。 小程序提供了丰富的 API&#…

【CS.AI】AI引领编程新时代:深度探索GitHub Copilot

文章目录 引言0. TOP TAKEAWAYS 重要要点1. Copilot的基本功能2. 技术原理3. 优势与局限优势局限 4. 使用体验4.1 初次使用4.2 在 JetBrains 全家桶中使用 GitHub Copilot1. 安装插件2. 配置插件3. 使用 GitHub Copilot 4.3 日常开发4.4 体验与反馈 5. 对开发者生态系统的影响5…

一文入门gcc

今天我们来玩玩gcc。 是因为突然发现ESP-IDF用的是CMake,要了解CMake最好就要先学习Makefile有个基础,学习Makefile最好就要先熟悉gcc,所以就有了今天这篇文章。 首先我们要明确一个问题,那就是gcc/g是什么,它们有什…

【车载AI音视频电脑】高清车载摄像头,车载云台摄像头

* 1/3 SONY CMOS. AHD 100万, 200万可选 * 低照度,红外夜视功能 * 2.8毫米固定镜头 (2.8/3.6/4/6/8毫米镜头可选) * 车载专用方案 * 抗震, IP66/67防水, 防尘,防爆设…

轨迹优化 | 图解欧氏距离场与梯度场算法(附ROS C++/Python实现)

目录 0 专栏介绍1 什么是距离场?2 欧氏距离场计算原理3 双线性插值与欧式梯度场4 仿真实现4.1 ROS C实现4.2 Python实现 0 专栏介绍 🔥课程设计、毕业设计、创新竞赛、学术研究必备!本专栏涉及更高阶的运动规划算法实战:曲线生成…