1 、设计理念方面
Spark 的技术理念是使用微批来模拟流的计算,基于 Micro-batch ,数据流以时间为单位被切分为一个个 批次,通过分布式数据集RDD 进行批量处理,是一种伪实时。
Flink 是基于事件驱动的,是面向流的处理框架, Flink 基于每个事件一行一行地流式处理,是真正的流式 计算。另外它也可以基于流来模拟批进行计算实现批处理。
2 、架构方面
Spark 在运行时的主要角色包括: Master 、 Worker 、 Driver 、 Executor 。
Flink 在运行时主要包含: Jobmanager 、 Taskmanager 和 Slot 。
3 、流处理方面
Spark 基于微批量处理,把流数据看成是一个个小的批处理数据块分别处理,所以延迟性只能做到秒级。
Flink 基于每个事件处理,每当有新的数据输入都会立刻处理,是真正的流式计算,支持毫秒级计算。 由于相同的原因,Spark 只支持基于时间的窗口操作(处理时间或者事件时间),而 Flink 支持的窗口操 作则非常灵活,不仅支持时间窗口,还支持基于数据本身的窗口(另外还支持基time 、 count、 session,以及 data-driven 的窗口操作),开发者可以自由定义想要的窗口操作。
4 、任务调度方面
Spark Streaming 支持的时间机制有限,只支持处理时间。使用 processing time 模拟 event time 必然会有 误差, 如果产生数据堆积的话,误差则更明显。
Flink 支持三种时间机制:事件时间,注入时间,处理时间,同时支持 watermark 机制处理迟到的数据 , 说明Flink 在处理乱序大实时数据的时候 , 更有优势。
5 、容错机制方面
Spark Streaming 的容错机制是基于 RDD 的容错机制,会将经常用的 RDD 或者对宽依赖加 Checkpoint 。利 用Spark Streaming 的 direct 方式与 Kafka 可以保证数据输入源的,处理过程,输出过程符合 exactly once 。
Flink 则使用两阶段提交协议来保证 exactly once 。
6 、吞吐量与延迟方面
Spark 是基于微批的,而且流水线优化做的很好,所以说他的吞入量是最大的,但是付出了延迟的代 价,它的延迟是秒级;
Flink是基于事件的,消息逐条处理,而且他的容错机制很轻量级,所以他能在兼顾高吞吐量的同时又有 很低的延迟,它的延迟能够达到毫秒级;
7 、迭代计算方面
Spark 对机器学习的支持很好,因为可以在内存中缓存中间计算结果来加速机器学习算法的运行。但是 大部分机器学习算法其实是一个有环的数据流,在Spark 中,却是用无环图来表示。而 Flink 支持在运行 时间中的有环数据流,从而可以更有效的对机器学习算法进行运算。
8 、时间机制方面
Spark Streaming 支持的时间机制有限,只支持处理时间。
Flink 支持了流处理程序在时间上的三个定义:处理时间、事件时间、注入时间。同时也支持 watermark 机制来处理滞后数据。