kafka 线上消费积压问题

devtools/2024/10/18 16:53:59/

背景

线上kafka 流量大,消费小于生产,如何处理?

方案

增加consumer数量

可以增加consumer的消费者,不过这个只能在一定程序上缓解,如果consumer 数量超过partition 数,那有的就会空转,解决不了问题,这种在线上直接扩容后端即可

重分配

在上面的基础上,可以把一个topic通过其它的方案,打散到多个分区,比如A topic 3个分区,通过flink 打散到新的topic 9个分区,然后扩容后的后端消费新的topic。这样可以不动老的topic ,方案灵活,效率高

增加分区数

在增加consumer这个方案的基础上,可以增加分区数,这个不建议,在线上修改。

调整consumer 参数

比如批量消费,一次多pull 几条,配置要支持动态调整

检查消费者的瓶颈

检查是不是本身消费数据有瓶颈,优化逻辑代码


http://www.ppmy.cn/devtools/28571.html

相关文章

速盾:高防cdn-为您的网站防御cc/ddos

随着互联网的飞速发展,网站安全问题也日益突出。网站被黑客攻击的事件频频发生,给用户和网站运营商带来了巨大的损失。其中,CC攻击和DDoS攻击是最常见的攻击手段之一。为了有效应对这些攻击,提高网站的安全性,高防CDN成…

算法训练营day25

零、回溯算法理论 参考链接13.1 回溯算法 - Hello 算法 (hello-algo.com) 1.尝试与回退 之所以称之为回溯算法,是因为该算法在搜索解空间时会采用“尝试”与“回退”的策略。当算法在搜索过程中遇到某个状态无法继续前进或无法得到满足条件的解时,它会…

vue集成百度地图vue-baidu-map

文章目录 vue集成百度地图vue-baidu-map1. Vue Baidu Map文档地址2. 设置npm数据源3. 安装vue-baidu-map4. 配置vue-baidu-map4.1 main.js全局注册4.2 vue页面设置4.3 效果 vue集成百度地图vue-baidu-map 1. Vue Baidu Map文档地址 https://dafrok.github.io/vue-baidu-map/#…

【c++】反向迭代器的探究实现

🔥个人主页:Quitecoder 🔥专栏:c笔记仓 在list中我们实现了正向的迭代器,学习完优先级队列后,我们也对适配器模式有了一个深刻的理解,这篇文章基于这种模式下,实现各类容器的反向迭…

Springboot之文件操作记录存储服务

概述 应公司安全管理部门政策要求,需要实现文件上传/下载操作的日志记录,经过分析需要在目前平台上基于springboot搭建一套服务供其他应用具体业务调用,其中该服务涉及到的技术支撑:AOP实现异常处理、queuespring-scheduler异步执行定时任务、Fegin组件进行服务间通…

Quartz.Net技术教学:构建高效的任务调度系统

Quartz.Net技术教学:构建高效的任务调度系统 对于定时任务、后台数据处理等相信也是大家经常遇到的需求啦。为了满足这些需求,Quartz.Net作为一款功能强大的任务调度框架,受到了广大开发者的青睐。本文就从Quartz.Net的基本概念、核心组件、…

图像识别的突破:使用MNIST数据集训练你的首个深度学习模型

引言 在深度学习的世界里,MNIST数据集相当于是“Hello World”程序。它包含了大量的手写数字图像,是初学者学习图像识别和训练神经网络的理想起点。在这篇博客中,我们将结合NVIDIA深度学习DLI基础课程的内容,学习如何使用MNIST数…

【Scala---01】Scala『 Scala简介 | 函数式编程简介 | Scala VS Java | 安装与部署』

文章目录 1. Scala简介2. 函数式编程简介3. Scala VS Java4. 安装与部署 1. Scala简介 Scala是由于Spark的流行而兴起的。Scala是高级语言,Scala底层使用的是Java,可以看做是对Java的进一步封装,更加简洁,代码量是Java的一半。 因…