大数据课程E4——Flume的Channel

news/2024/12/2 17:55:46/

文章作者邮箱:yugongshiye@sina.cn              地址:广东惠州

 ▲ 本章节目的

⚪ 了解Channel的作用和配置;

⚪ 掌握Channel的使用方法;

⚪ 掌握Channel的File Channel;

⚪ 掌握Channel的JDBC Channel;

⚪ 掌握Channel的Spillable Memory Channel;

一、Memory Channel

1. 概述

1. Memory Channel将数据临时存储到内存的指定队列中。

2. 如果不指定,则队列大小默认是100,即在队列中最多允许同时存储100条数据。如果队列被占满,那么后来的数据就会被阻塞。实际过程中,一般会将这个值调剂为10W~30W,如果数据量比较大,也可以考虑调剂为50W。

3. Channel可以批量接收Source的数据,也可以将数据批量发送给Sink,那么默认情况下,每一批数据是100条。实际过程中,一般会将这个值调节为1000~3000,如果Channel的容量为50W,那么此时一般将批量调剂为5000。

4. Memory Channel是将数据存储在内存中,所以不可靠,但是读写速度快,因此适应于要求速度但不要求可靠性的场景。

2. 配


http://www.ppmy.cn/news/997119.html

相关文章

2023爱分析·超自动化厂商全景报告|爱分析报告

关键发现 当前的超自动化定义主要从技术组合角度阐述超自动化内涵,较难和业务价值建立链接。爱分析对超自动化作如下新定义:超自动化指利用RPA、iPaaS、AI、低代码、BPM、流程挖掘等自动化技术,实现组织端到端流程自动化以及新业务流程快速编…

SAP RSA与RBA,业务需求与技术实现间的桥梁

1. 背景 SAP相关的缩略语很多,抛开背景说RSA与RBA,一定会让大家产生无数的联想。今年介绍的RSA与RBA是SAP最新企业架构方法论中的两个概念,听起来高大上,但其实其初衷和想法都是很容易理解的。话不多说,开始。 2. SA…

vue基础-key的作用

vue基础-key的作用 1、无key2、有key,值为索引3、有key,值为id 1、无key 最大限度尝试就地修改/复用相同类型元素 2、有key,值为索引 有key属性,基于key来比较新旧虚拟DOM,移除key不存在的元素 3、有key&#xf…

Git常见问题

git clone 提示OpenSSL SSL_read git clone 时提示Connection was reset, errno 10054类错误 fatal: unable to acce ss https://github.com/fex-team/ueditor.git/: OpenSSL SSL_read: Connection was reset, errno 10054 备注:以下方法只是归纳整理,…

【2023】无痕制作钓鱼邮件

当涉及到网络安全和信息保护时,钓鱼攻击一直是备受关注的话题。钓鱼攻击是一种利用社交工程手段欺骗用户,诱使其提供敏感信息或执行恶意操作的攻击方式。它不仅威胁个人用户的隐私和财产安全,也对组织和企业的机密信息构成严重威胁。为了增强…

Linux(centos7)如何实现配置iscsi存储多路径 及DM-Multipath的配置文件概述

安装多路径软件(系统默认安装) #第一:安装多路径软件yum -y install device-mapper device-mapper-multipath#第二:在CentOS7中启用多路径模块,mpathconf命令及相关模块加载(可以使用mpathconf -h查看用法&…

软件安全测试和渗透测试的区别在哪?安全测试报告有什么作用?

软件安全测试和渗透测试在软件开发过程中扮演着不同的角色,同时也有不同的特点和目标。了解这些区别对于软件开发和测试人员来说非常重要。本文将介绍软件安全测试和渗透测试的区别,以及安全测试报告在软件开发和测试过程中的作用。 一、 软件安全测试和…

Linux系统运维级命令

LInux命令 1、查询当前安装了哪些软件包 rpm -qa #查询全部的安装包rpm -qa | grep nginx #查询Nginx是否安装其它用法,查询指定软件名的详细信息,安装目录,安装包信息,配置信息,安装位置等 rpm -ql 软件名 …