spark connector部分更新写starrocks 出现磁盘暴涨

news/2024/12/14 21:09:31/

问题描述:

对starrocks中的主键模型表中的亿级大表中的部分字段进行更新操作,但是更新过程中发现sr集群磁盘出现暴涨,直接导致其他业务数据写入报错。

基础信息:

spark: 3.3.2
starrocks: 3.2
更新字段数:5列+4亿行
数据量:4G

spark__10">spark 写入配置

put("starrocks.write.properties.partial_update", xxx);
put("starrocks.write.properties.partial_update_mode", "column");
put("starrocks.columns", xxx);dataset.write().format("starrocks").options(option).mode("append").save();

观察sr监控出现磁盘暴涨

550G --> 600G --> 800G -->1.2T

解决方案:

增加写入配置

put("write.mode", "upsert")

http://www.ppmy.cn/news/1555113.html

相关文章

The Past, Present and Future of Apache Flink

摘要:本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024上海站主论坛开场的分享,今年正值Flink开源项目诞生的第10周年,借此时机,王峰回顾了Flink在过去10年的发展历程以及 Flink社区…

【React】ant-design 重置表单

官网中的所在位置&#xff1a; 1、在组件中配置&#xff1a; const [form] Form.useForm(); 2、在点击重置按钮的函数中配置&#xff1a; form.resetFields() 3、在表单中配置&#xff1a; <Form form{form}>...</Form>

【人脸检测】OpenCV调用深度学习模型实现人脸检测-java

介绍 这个Dome是利用OpenCV加载Tensorflow训练的模型&#xff0c;然后返回图片中人脸的位置信息&#xff0c;然后再显示出来 效果&#xff0c;大家可以参考这里7.46 复制打开抖音&#xff0c;看看【写的一手烂代码的作品】人脸检测 java也能用深度学习模型&#xff0c;识别率…

基于决策树方法的心脏病患者患病因子的可视化分析

1 概述 心脏病作为全球范围内的主要健康问题,其患病因素分析与可视化研究具有重要的公共卫生意义。心脏病的发病机制复杂,涉及遗传、环境、生活方式等多种因素。随着社会的发展和生活方式的变化,心脏病的患病率在全球范围内持续上升,特别是在发展中国家,这一趋势更加明显…

杭州乘云联合信通院发布《云计算智能化可观测性能力成熟度模型》

原文地址&#xff1a;杭州乘云联合中国信通院等单位正式发布《云计算智能化可观测性能力成熟度模型》标准 2024年12月3日&#xff0c;由全球数字经济大会组委会主办、中国信通院承办的 2024全球数字经济大会 云AI计算创新发展大会&#xff08;2024 Cloud AI Compute Ignite&…

AI 生成的一个基于springboot后端权限框架

构建一个完整的基于Spring Boot的权限管理系统是一个庞大的任务&#xff0c;涉及多个模块和复杂的业务逻辑。由于代码量较大&#xff0c;我将提供一个简化版本的框架结构&#xff0c;并详细解释每个部分的关键实现。你可以根据需要进一步扩展和完善这个系统。 项目结构 src ├…

前端(模块化)

未使用模块化 定义两个js文件simple1.js和simple2.js let a11; let a11; 两个js文件变量重名 在html测试 传统引入js文件 <script src"./simple1.js"></script> <script src"./simple2.js"></script> 浏览器报错 使用模块…

企业级日志分析系统ELK之ELK概述

ELK 概述 ELK 介绍 什么是 ELK 早期IT架构中的系统和应用的日志分散在不同的主机和文件&#xff0c;如果应用出现问题&#xff0c;开发和运维人员想排 查原因&#xff0c;就要先找到相应的主机上的日志文件再进行查找和分析&#xff0c;所以非常不方便&#xff0c;而且还涉及…