实时数仓建设第3问:你不会认为Lookup维表缓存数据ttlicon策略和Redis key TTL策略一样吧

news/2025/1/7 23:37:26/

同事说维表缓存,当缓存项在指定的时间段内没有被读就会被回收,如果被读就会延长ttl时间。如果关联的维表数据变动就会导致无法获取最新维度数据,这种场景必须关闭缓存。

在flink 1.16之前缓存的创建方式如下:

CacheBuilder.newBuilder()       .expireAfterWrite(cacheExpireMs, TimeUnit.MILLISECONDS)        .maximumSize(cacheMaxSize)        .build()

flink1.16后缓存增加了参数给用户设置如下:

CacheBuilder<Object, Object> guavaCacheBuilder = CacheBuilder.newBuilder();if (expireAfterAccessDuration != null) {guavaCacheBuilder.expireAfterAccess(expireAfterAccessDuration);}if (expireAfterWriteDuration != null) {guavaCacheBuilder.expireAfterWrite(expireAfterWriteDuration);}if (maximumSize != null) {guavaCacheBuilder.maximumSize(maximumSize);}if (ticker != null) {guavaCacheBuilder.ticker(ticker);}guavaCache = guavaCacheBuilder.build();

expireAfterAccess: 当缓存项在指定的时间段内没有被读或写就会被回收。

expireAfterWrite:当缓存项在指定的时间段内没有更新就会被回收。

refreshAfterWrite:当缓存项上一次更新操作之后的多久会被刷新。

专栏初衷:

  • 要想快速建设实时数仓,对齐离线数仓分层,首选Flink SQL,相比datastream 代码,Flink SQL可大幅提升10倍实时数仓建设落地时间。
  • 作者位于大厂实时数仓团队,目前运行实时任务3000+,实时集群规模2万CU,集群checkpoint峰值5TB,单任务最大QPS峰值50W。
  • 本专栏将分享作者在实时数仓建设过程中遇到的细节点,帮组大家快速建设实时数仓。

作者信息:

  • 1.《深入理解Flink核心设计与实践原理》一书作者
  • 2.GitHub 热门项目 fink-boot(800+) 开发者,致力于flink与spring生态集成

http://www.ppmy.cn/news/364820.html

相关文章

最全小霸王游戏合集

前言 提示&#xff1a;这里可以添加本文要记录的大概内容&#xff1a; 如何证明你有童年&#xff1f;看看下边的游戏你见过几个&#xff1f; 不打广告&#xff0c;不打广告&#xff0c;不打广告&#xff01; 在以前那个科技并不发达的时代里面&#xff0c;玩家对于游戏的接…

小霸王游戏机珍藏84合1 绿色中文硬盘版

小霸王游戏机&#xff0c;我想&#xff0c;80后的很多人都不陌生吧&#xff0c;大多数人童年的最好伴侣。里面有84款经典的小霸王游戏&#xff0c;并且自带模拟器&#xff0c;解压缩后打开模拟器软件即可。 [img] 下载地址&#xff1a; 小霸王游戏机珍藏84合1 绿色中文硬盘版

小霸王 精选集 84合1

不知何年、何年、何日收藏的这小霸王合集&#xff0c;呵呵&#xff0c;何必在意这些呢&#xff0c;干就完了。 网上有几千合集的&#xff0c;但我觉得这84个精选游戏足够了&#xff0c;浓缩的都是精华。哈哈~&#xff01; 经典的东西自然不需要多说&#xff0c;上图。 默认按…

vs code 小霸王游戏机

vs code 秒变小霸王游戏机 安利一款游戏插件&#xff0c;瞬间回到童年&#xff01;&#xff01;&#xff01; 安装 打开我们的代码神器 Vs Code&#xff0c;找到插件商店 搜索 小霸王&#xff0c;点击 Install 进行安装 安装完成后&#xff0c;童年回来了&#xff01;&#xf…

最近朋友圈超火的小霸王游戏机源码

最近朋友圈超火的小霸王游戏机源码下载 源码截图 部分源码&#xff1a; <html><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1,user-scalableno"><meta http-equiv&q…

小霸王oj

题目描述 幼儿园的老师给几位小朋友等量的长方体橡皮泥&#xff0c;但有个小朋友&#xff08;小霸王&#xff09;觉得自己的橡皮泥少了&#xff0c;就从另一个小朋友那里抢了一些。请问是哪个小朋友抢了哪个小朋友的橡皮泥&#xff1f; 输入 测试数据有多组。对于每组测试&…

小霸王游戏珍藏84合1如何设置手柄双人玩?

转自此处 在SMYNESCC.INI文件里进行更改 [JoyStick1] A14 B13 Select17 Start16 Up4 Down3 Left2 Right1 AutoA15 AutoB18 nA0 nB0 nSelect0 nStart0 nUp0 nDown0 nLeft0 nRight0 nAutoA0 nAutoB0 [JoyStick2] A14 B13 Select17 Start16 Up4 Down3 Left2 Right1 AutoA15 AutoB…

android平板怎么正版注册,小霸王学习平板电脑软件怎么注册

http://www.igimu.com/space.php?doevent&id515680?retcode0a http://www.igimu.com/space.php?doevent&id516015?retcode0 http://www.igimu.com/space.php?doevent&id516120?retcode0 http://www.igimu.com/space.php?doevent&id516171?retcode0 htt…