Flume和Kafka的区别?

server/2024/12/26 14:01:29/
Flume 一般用于日志采集,可以定制很多数据源,减少开发量,基本架构是一个 Flume 进程agent( source 、拦截器、选择器、 channel<Memory Channel File Channel> sink ),其中传递的是原 子性的event 数据。 Kafka 一般用于日志缓存,是一个可持久的分布式消息队列,自带存储,提供 push pull 两种存储数据功 能;包括producer kafka Cluster broker topic partition )、 consumer ,依赖于 Zookeeper( brokerid topic partition 元数据存在 ZNode partition 选举 leader 依赖 Zookeeper )。
1 Flume Kafka 的侧重点不同
Flume 追求的是数据和数据源、数据流向的多样性,适合多个生产者的场景; Flume 有自己内置的多种 source和 sink 组件,具体操作方式是编写 source channel sink .conf 配置文件,开启 flume 组件的时候 用命令关联读取配置文件实现。
Kafka 追求的是高吞吐,高负载,同一 topic 下可以有多个 partition ,由于是 pull 模式拉取数据,因此适合多个消费者的场景;kafka 没有内置的 producer consumer 组件,需要自己编写代码。
2 Flume Kafka 的定位有所不同
Flume cloudera 公司研发,适合多个生产者;适合 下游数据消费者不多 的情况(一个消费者开一个channel);适合 数据安全性要求不高 的操作(数据没有备份、没有副本);适合与 Hadoop 生态圈对接的操作(HDFS Hbase 等);适合生产和收集数据。
Kafka linkedin 公司研发,适合多个消费者;适合 数据下游消费众多 的情况( kafka 从磁盘读,并且只找Leader读);适合 数据安全性要求较高 的操作,支持 replication (多副本);适合消费数据。
Flume 是用于将数据发送到 HDFS 的专用工具。
Kafka 可以支持多个应用程序的数据流,而 Flume 专门用于 Hadoop 大数据分析。
Kafka 可以处理和监视分布式系统中的数据,而 Flume 则从分布式系统中收集数据以将数据存储在集中式数据存储中。

http://www.ppmy.cn/server/153335.html

相关文章

从零开始搭建 Maven 私有仓库并上传 Jar 包

一、为何搭建 Maven 私有仓库&#xff1f; 在开发过程中&#xff0c;搭建 Maven 私有仓库有着诸多重要的优势&#xff0c;以下为你详细阐述&#xff1a; 加速依赖下载 当我们进行项目构建时&#xff0c;如果依赖的是公共的 Maven 中央仓库&#xff0c;由于使用人数众多且服务…

Es搭建——单节点——Linux

Es搭建——单节点——Linux 一、安装 下载安装包&#xff1a; 官网下载地址&#xff1a;https://www.elastic.co/downloads/elasticsearch 上传包到linux 切换到安装目录下 解压&#xff1a;tar -zxvf elasticsearch-7.17.1-linux-x86_64.tar.gz 重命名安装文件夹 mv elastics…

C# 异步编程与多线程简析

引言 在现代软件开发中,异步编程和多线程是实现高性能、高响应性应用程序的关键技术。C# 提供了多种机制来支持异步编程和多线程,其中Thread、ThreadPool 和Task 是最为常用的三种。本文将对这三种机制进行简要分析,探讨它们的使用场景、优缺点以及如何在实际开发中选择合适…

Unity Mirror插件WebGL端多人联机实现

Demo地址[这里是图片001]https://gitee.com/njiyue/unity-mirror-webgl-test 使用Mirror插件及其开源的SimpleWebTransport实现&#xff0c;简单记录下遇到的问题。详细原理就不多介绍了哈~ Unity版本&#xff1a;2022.3.48f1c1 1. Unity导入mirror插件、SimpleWebTransport包…

InnoDB存储引擎【MySQL从放弃到入门】

文章目录 InnoDB存储引擎【MySQL从放弃到入门】1.逻辑架构1.1 一条SQL语句是怎么执行的呢&#xff1f;1.2 MySQL存储引擎有哪些&#xff1f; 2.MySQL一行记录是怎么存储的&#xff1f;2.1 NULL值是如何存储的&#xff1f; 3.char和varchar的区别&#xff1f;4.数据页4.1 聚簇索…

《Vue进阶教程》(12)ref的实现详细教程

1 为什么需要ref 由于proxy只能代理引用类型数据(如: 对象, 数组, Set, Map...), 需要一种方式代理普通类型数据(String, Number, Boolean...) 设计ref主要是为了处理普通类型数据, 使普通类型数据也具有响应式 除此之外, 通过reactive代理的对象可能会出现响应丢失的情况. …

阿里巴巴2017实习生笔试题(二)

阿里巴巴2017实习生笔试题&#xff08;二&#xff09; 2024/12/25 1.下面哪一个不是动态链接库的优点&#xff1f; B A.共享 B.装载速度快 C.开发模式好 D.减少页面交换 解析 1 静态链接库的优点 (1) 代码装载速度快&#xff0c;执行速度略比动态链接库快&#xff1b;…

网站服务器被攻击了怎么办?

当网站服务器被攻击时&#xff0c;可能会出现各种问题&#xff0c;如服务中断、数据泄露、恶意软件感染等。如果不及时采取措施&#xff0c;可能会给企业带来严重的损失。因此&#xff0c;当网站服务器被攻击时&#xff0c;企业需要采取以下措施来应对&#xff1a; 一、快速定…