问题描述:
对starrocks中的主键模型表中的亿级大表中的部分字段进行更新操作,但是更新过程中发现sr集群磁盘出现暴涨,直接导致其他业务数据写入报错。
基础信息:
spark: 3.3.2
starrocks: 3.2
更新字段数:5列+4亿行
数据量:4G
spark__10">spark 写入配置
put("starrocks.write.properties.partial_update", xxx);
put("starrocks.write.properties.partial_update_mode", "column");
put("starrocks.columns", xxx);dataset.write().format("starrocks").options(option).mode("append").save();
观察sr监控出现磁盘暴涨
550G --> 600G --> 800G -->1.2T
解决方案:
增加写入配置
put("write.mode", "upsert")