Kafka面试题(二)

ops/2024/11/14 15:51:09/

1、Kafka的分区策略是什么?

1、假如指定了分区,就往这个分区发数据
2、如果没有指定分区,指定了Key值,那么对Key进行Hash,再对分区数取模后,得到哪个分区,就使用哪个分区
3、如果都没有指定,那么就是粘性分区
4、当然,还可以自定义分区器

2、生产者如何提高吞吐量

1、batch.size:批次大小,默认16k
2、linger.ms:等待时间,修改为5-100ms
3、compression.type:压缩snappy
4、RecordAccumulator:缓冲区大小,修改为64m

3、Kafka在什么情况下会出现消息丢失

第一种情况:当kafka应答级别设置为1时(生产者发送过来的数据,Leader收到数据后应答):生产者将数据发送给kafka的Leader,Leader保存成功后,在将数据备份给Follower时挂掉此时Follower的数据没有同步过来就成为了Leader,就会造成消息丢失

第二种情况:当kafka应答级别设置为-1时(生产者发送过来的数据,Leader和ISR队列里面的所有节点收齐数据后应答):Leader收到数据开始同步给Follower,此时Follower由于某种故障,迟迟没能与Leader同步,就会造成消息丢失

4、怎么尽量保证Kafka的数据可靠性(面试重点)

数据完全可靠条件 = ACK级别设置为-1 + 分区副本大于等于2 + ISR里应答的最小副本数量大于等于2(至少一次)
acks=0,生产者发送过来数据就不管了,可靠性差,效率高;
acks=1,生产者发送过来数据Leader应答,可靠性中等,效率中等;
acks=-1,生产者发送过来数据Leader和ISR队列里面所有Follwer应答,可靠性高,效率低;

在生产环境中,acks=0很少使用;acks=1,一般用于传输普通日志,允许丢个别数据;
acks=-1,一般用于传输和钱相关的数据,对可靠性要求比较高的场景。


http://www.ppmy.cn/ops/133113.html

相关文章

Elasticsearch日志收集成功但是展示不出来????

使用kibana查询日志的时候发现,怎么都查询不到日志,去服务器看了filebeat也正常运行,能收集到日志;重启kibana也没用。。。。。。。。。。 我擦。。。。。。。 看了眼索引,存储好大 然后就把一些不重要的索引删除后就…

丹摩征文活动|智谱AI引领是实现文本可视化 - CogVideoX-2b 部署与使用

文章目录 前言一、DAMODEL平台特性二、创建CPU云实例三、CogVedioX介绍四、DAMODEL一键部署CogVideoX1. 创建丹摩实例(参考上述介绍)2. 配置环境和依赖3. 模拟与配置文件4. 开始运行4.1 调试4.2 webUI4.3 端口映射 前言 DAMODEL(丹摩智算)是一款专为满足…

闯关leetcode——202. Happy Number

大纲 题目地址内容 解题代码地址 题目 地址 https://leetcode.com/problems/happy-number/description/ 内容 Write an algorithm to determine if a number n is happy. A happy number is a number defined by the following process: Starting with any positive inte…

零信任沙盒能为源代码保密带来哪些升级

在当今竞争激烈的商业环境中,源代码的安全保护对于任何依赖技术创新的公司来说都是至关重要的。SDC沙箱(Secret Data Cage)以其独特的十大特性,为源代码的安全提供了前所未有的保护。以下是SDC沙箱如何为源代码加密带来革命性效果…

SpringBoot(五)SpringBoot三层架构

博客项目的基本配置完成了。接下来我们要做的就是编写正式的功能了。先明确一下,我的博客前端是使用VUE3框架来编写,后端的SpringBoot框架只作为接口来使用。 接下来我们就进入到实现对应功能的阶段了,在这之前,我们先来回顾一下SpringBoot的三层架构的原理。 一:SpringBo…

运维故障与排查技巧

1.网络不通 问题:无法访问网络资源。 解决方法:检查物理线路,交换机端口,网卡驱动和配置,使用ping,traceroute等工具定位问题。 2.网络速度慢 问题:访问网络资源较慢。 解决方法&#xff1…

#渗透测试#SRC漏洞挖掘#CSRF漏洞的防御

免责声明 本教程仅为合法的教学目的而准备,严禁用于任何形式的违法犯罪活动及其他商业行为,在使用本教程前,您应确保该行为符合当地的法律法规,继续阅读即表示您需自行承担所有操作的后果,如有异议,请立即停…

支付宝与华为终端联手,移动支付即将进入“碰时代”

大家好,我是小悟。 支付宝与华为终端强强联手,达成了战略合作!这可不仅仅是个简单的合作哦,它预示着我们的移动支付方式即将迎来一场革命性的变革,正式进入“碰时代”! 支付宝,作为全球领先的…