Apache Hadoop生态-目录汇总-持续更新

系统环境：centos7

Java环境：Java8

一：Flume 概述

Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单(实时增量添加到hdfs)。

Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS(只能识别文本文件)

二：Flume 基础架构

2.1：Agent

Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。

Agent 主要有 3 个部分组成，Source、Channel、Sink。

2.2：Source

Source 是负责接收数据到 Flume Agent 的组件。

Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory(采集文件)、netcat(采集端口数据)、taildir、sequence generator、syslog、http、legacy

2.3：Sink

Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。

Sink 组件目的地包括 hdfs、logger(常用语测试)、avro、thrift、ipc、file、HBase、solr、自定义。

2.4：Channel

Channel 是位于 Source 和 Sink 之间的缓冲区。因此，Channel 允许 Source 和 Sink 运作在不同的速率上。Channel 是线程安全的，可以同时处理几个 Source 的写入操作和几个Sink 的读取操。

Flume Channel：Memory Channel(内存) 和 File Channel(文件) 以及 Kafka Channel。

1) Memory Channel

Memory Channel 存储在内存是内存中的队列。Memory Channel 在不需要关心数据丢失的情景下适用

2) File Channel

File Channel 存储在磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据

FileChannel底层原理

FileChannel优化

通过配置dataDirs指向多个路径，每个路径对应不同的硬盘，增大Flume吞吐量。

checkpointDir和backupCheckpointDir也尽量配置在不同硬盘对应的目录中，保证checkpoint坏掉后，可以快速使用backupCheckpointDir恢复数据。

3) Kafka Channel

Kafka Channel：数据存储在kafka里，存储在磁盘，如果sink是kafka的情况，采用Kafka Channel会少一步sink

注意：

在Flume1.7以前，Kafka Channel很少有人使用，因为发现parseAsFlumeEvent这个配置起不了作用。也就是无论parseAsFlumeEvent配置为true还是false，都会转为Flume Event。这样的话，造成的结果是，会始终都把Flume的headers中的信息混合着内容一起写入Kafka的消息中