kafka线上环境搭建对软硬件要求

news/2024/10/17 13:35:40/

1. 操作系统

   kafka推荐使用linux操作系统,原因:kafka的client端的网络模型采用的是java的selector方式,而java的selector在linux系统上使用的是linux的epoll模型(回调机制),在windows上采用的是select方式(轮询机制);kafka对网络传输要求比较高,这通过零拷贝技术会比较好得得以实现,而jdk 8u60版本之前版本在windows环境署没有实现该功能

2. 硬件规划

kafka属于i/o密集型系统,由于其使用的是顺序读写方式获取数据,所以硬盘的性能不高,可以不用ssd固态硬盘(可以让每个broker配置多个日志路径,每个路径挂载不同磁盘,增加写速度),其硬盘容量主要取决于新增消息数、平均消息大小、消息存留时间、平均消息大小、副本书、是否启用压缩

3. 内存规划

 kafka的java堆进程占用内存大小不大,但是操作系统的页缓存大小会影响性能

   原则如下:

        尽量分配更多的内存给操作系统的页缓存

        Page cache要大于borker内存大小

        broker大小最好不超过6G

4. cpu规划 

 kafka不是计算密集型,但是kafka后台会系统很多线程,所以需要给kafka设置多核但非高频的配置

5. 网络带宽规划

 一般kafka是在内网使用,其带宽基本在千兆位(1Gb/s)或万兆位(10Gb/s)上,如果是跨机房甚至跨城部署,如果带宽太慢会影响集群性能(kafka的多结点备份对网络要求比较高),此时要根据网络情况合理设置结点数量


http://www.ppmy.cn/news/629682.html

相关文章

python项目运行的软硬件环境_开发时的软硬件环境和运行时的软硬件环境分别是什么...

展开全部 开发时的软硬件环境是产品开发时所涉及到的编程语言e69da5e887aa62616964757a686964616f31333431373235以及用到的硬件设备。 运行过程中的软硬件环境指涉及到的编程语言支持的编译环境及软件运行时所应该具有的设备和相关硬件设施。 对于开发来说,所有电脑…

辨析:开发环境、测试环境、准生产环境、生产环境

对于刚接触程序猿这个行业的小猿们,刚听到这些名词是不是感觉有点高大上,但是很懵逼啊,完全分不清楚,今天就以我个人的理解来给大家辨析一下这几个名词的区别。 开发环境:开发环境顾名思义就是我们程序猿自己把项目放…

测试环境的搭建和维护_软硬件测试环境

测试环境的搭建和维护 只要做过一次测试,就一定知道测试环境,但测试环境是如何搭建和维护的呢?就不一定所有人都明白了。 测试环境的搭建,每个公司都有不一样的流程和方法。一种是运维或者开发负责搭建和维护,另一种…

PUPANVR-软硬件板端开发环境配置(4)

直接在硬件上跑编译程序时报C,C库的版本不对的警告信息,看来是编译器的版本和当前板端系统上的不一致导致的,需要更新一下rootfs,使用编译器对应的BSP包:Hi3536C V100R001C02SPC040,编译一下rootfs,为了方便开发&#…

软硬件协同设计的系统级开发环境~BPS软件介绍

软硬件协同设计的系统级开发环境~BPS软件介绍 0 赞 发表于 2010/7/19 14:38:11 阅读(32881) 评论(0) 1)BPS简介: BEEcube Platform Studio(BPS)工具是一个软硬件协同设计的系统级开…

阐述软硬件结合

硬件和软件的融合已经到了一个转折点——两者不再相互独立,而是越来越多地呈现出一种镜像依赖关系。硬件和软件系统的合作比以往任何时候都要更加密切,它们之间的界限也日趋模糊,两者的功能彼此关联。作为开发人员,重要的是要引领趋势,确保我们掌握的技能不落后于最新技术…

机器人控制系统软硬件平台

工业机器人软硬件平台架构 工业机器人软硬件平台架构的概述 工业机器人的发展历程: 1950s-1960s:工业机器人诞生,开始应用于生产线自动化。1970s-1980s:工业机器人技术快速发展,引入新的控制方法和结构设计。1990s-…

嵌入式系统开发环境概述

嵌入式系统开发环境主要包括: 集成开发工具交叉编译器批处理文件makefileLink Script调试工具下载工具其它工具(Offline Tools)模拟器版本控制工具 接下来分别讲解以上各个工具: 1、集成开发工具 一般CPU厂商会提供针对该CPU的集成开发环境(IDE)&…