文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州
▲ 本章节目的
⚪ 了解Channel的作用和配置;
⚪ 掌握Channel的使用方法;
⚪ 掌握Channel的File Channel;
⚪ 掌握Channel的JDBC Channel;
⚪ 掌握Channel的Spillable Memory Channel;
一、Memory Channel
1. 概述
1. Memory Channel将数据临时存储到内存的指定队列中。
2. 如果不指定,则队列大小默认是100,即在队列中最多允许同时存储100条数据。如果队列被占满,那么后来的数据就会被阻塞。实际过程中,一般会将这个值调剂为10W~30W,如果数据量比较大,也可以考虑调剂为50W。
3. Channel可以批量接收Source的数据,也可以将数据批量发送给Sink,那么默认情况下,每一批数据是100条。实际过程中,一般会将这个值调节为1000~3000,如果Channel的容量为50W,那么此时一般将批量调剂为5000。
4. Memory Channel是将数据存储在内存中,所以不可靠,但是读写速度快,因此适应于要求速度但不要求可靠性的场景。