TiDB替换Starrocks:业务综合宽表迁移的性能评估与降本增效决策

ops/2024/10/20 16:24:30/

作者: 我是人间不清醒 原文来源: https://tidb.net/blog/6638f594

1、 场景

业务综合宽表是报表生成、大屏幕展示和数据计算处理的核心数据结构。目前,这些宽表存储在Starrocks系统中,但该系统存在显著的性能瓶颈。例如,在高峰时段,查询性能(QPS)仅为20,99th百分位响应时间长达2.5分钟,且CPU和内存资源接近饱和。特别是在2024年,系统多次遭遇后端内存耗尽(OOM)的情况,导致需要手动干预才能恢复正常运行。鉴于Starrocks系统的版本较旧,我们正在考虑对其进行升级或者迁移到Tidb集群中。

为了评估升级Starrocks系统或迁移到TiDB集群的可行性,我们对同一环境下的TiDB集群进行了压力测试。测试结果表明,TiDB集群的性能表现超出了我们的预期,因此我们决定将业务综合宽表迁移到TiDB集群。

2、 宽表信息

image

3、 集群配置

  Starrocks 版本2.3.0 a9bdb09

image

image760×194 3.54 KB

 Tidb 版本 8.0.11-TiDB-v8.1.0

image

image753×273 4.75 KB

4、 Sql查询对比

image

image768×642 24.5 KB

\

image

image765×608 27.2 KB

5、Jmeter压测对比

压测准备:windows11 16核32G 安装jmeter

教程: Jmeter保姆级安装教程(超详细建议收藏加关注)_jmeter安装详细教程-CSDN博客

SQL语句准备:研发提供的复杂sql查询

image

线程配置:线程数200 ramp-up时间 10,持续300s;10秒钟拉起200个进程,持续300s

image

image1065×259 64.8 KB

Tidb和Starrocks服务器CPU情况:

image

image1099×315 37.3 KB

\

image

image1150×349 49.2 KB


6、结果

根据测试结果分析,Tidb在压力测试期间,除TidbServer的CPU使用率较高外,TiKV和TiFlash的表现均符合预期。然而,Starrocks的三台服务器CPU使用率过高,且吞吐量指标未能达到理想状态。

7、后续规划

鉴于Starrocks系统的性能瓶颈和资源饱和问题,以及TiDB集群在压力测试中表现出的优越性能,我们决定将业务综合宽表从Starrocks迁移到TiDB集群,并将Starrocks资源陆续释放,实现降本增效


http://www.ppmy.cn/ops/127026.html

相关文章

儿童饰品上架亚马逊美国站CPC认证的重要性

儿童饰品上架亚马逊美国站时,CPC(Childrens Product Certificate,儿童产品证书)认证的重要性不容忽视。以下是CPC认证在此过程中的几个关键重要性: 1. 法律合规性 在美国,所有面向12岁及以下儿童销售的产…

系统架构设计师教程 第9章 19.6 大数据架构设计案例分析 笔记

19.6 大数据架构设计案例分析 19.6.1 Lambda架构在某网奥运中的大数据应用 系统架构 基于Lambda架构,由数据集成层、数据存储层、数据计算层和数据应用层构成 数据集成层分为离线数据集成和实时数据集成。 实时数据集成集群采用Nginx和 Flume服务器对实时流数据…

【verilog】3_8-4_16数选器

文章目录 前言一、实验原理二、实验过程三、实验结果参考文献 前言 进行 实验 一、实验原理 二、实验过程 三、实验结果 代码 timescale 1ns/1ns module decoder_38_tb ; reg a; reg b; reg c; wire [7:0]data;decoder_38 u0 (.a(a),.b(b),.c(c),.data(data) ); init…

效果不错的论文介绍:Im2Flow2Act:-跨领域机器人操控技术

Im2Flow2Act: 跨领域机器人操控技术 简介 今天介绍一个比较惊艳的论文,Im2Flow2Act,可以预测应该怎么移动图象中的物体预测移动方法完成需要执行的动作任务。 Im2Flow2Act 是一个基于学习的机器人操控框架,旨在通过多种数据源为机器人提供操…

LabVIEW提高开发效率技巧----用户权限控制

在LabVIEW开发中,用户权限控制是一个重要的设计模块,尤其在多用户系统中,它可以确保数据安全并控制不同用户的操作权限。为了实现用户权限控制,可以通过角色与权限管理模块来进行设计和实施。以下将从多个角度详细说明如何在LabVI…

【目标检测论文解读复现NO.39】基于改进 YOLOv8 的轻量级复杂环境苹果叶片病害检测方法

前言 此前出了目标改进算法专栏,但是对于应用于什么场景,需要什么改进方法对应与自己的应用场景有效果,并且多少改进点能发什么水平的文章,为解决大家的困惑,此系列文章旨在给大家解读最新目标检测算法论文&#xff0c…

大数据-167 ELK Elasticsearch 详细介绍 特点 分片 查询

点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完)HDFS(已更完)MapReduce(已更完&am…

生活中的感悟

喜怒不形于色 以前一直觉得做人要做本我,该笑就笑该怒就怒。但慢慢发现,这样可能不太好。 暂且不谈别人会感知你的真实想法,就单说一点,表情是否会引起别人的误判?表情除了开心和愤怒,还有很多&#xff0…