大数据技术Flink详解

news/2024/11/2 6:32:41/

一、有状态的流式处理

Apache Flink 是一个分布式流处理器,具有直观和富有表现力的API,可实现有状态的流处理应用程序。它以容错的方式有效地大规模运行这些应用程序。Flink 于2014 年4 月加入Apache 软件基金会作为孵化项目,并于2015 年1 月成为顶级项目。从一开始,Flink 就拥有一个非常活跃且不断增长的用户和贡献者社区。到目前为止,已有超过五百人为Flink 做出贡献,并且它已经发展成为最复杂的开源流处理引擎之一,并得到了广泛采用的证明。Flink 为不同行业和全球的许多公司和企业提供大规模的商业关键应用。

流处理技术在大大小小的公司中越来越受欢迎,因为它为许多已建立的用例(如数据分析,ETL 和事务应用程序)提供了卓越的解决方案,同时也促进了新颖的应用程序,软件架构和商机。接下来我们将讨论,为什么有状态流处理变得如此受欢迎并评估其潜力。我们首先回顾传统的数据应用程序架构并指出它们的局限性。接下来,我们介绍基于状态流处理的应用程序设计与传统方法相比,它具有许多有趣的特征最后,我们简要讨论开源流处理器的发展,并在本地Flink 实例上运行流应用程序。

1、传统数据处理架构

数十年来,数据和数据处理在企业中无处不在。多年来,数据的收集和使用一直在增长,公司已经设计并构建了基础架构来管理数据。大多数企业实施的传统架构区分了两种类型的数据处理:事务处理(OLTP)和分析处理(OLAP)。

http://www.ppmy.cn/news/361245.html

相关文章

Google 程序员都是怎么研究 AI 的?

作者 | 赵敏 责编 | 郭芮 9 月 20 日-10 月 7 日,谷歌AI体验展在上海龙美术馆(西岸馆)展出。谷歌总共展出了 17 个互动项目,和九月底人工智能大会上谷歌介绍的项目有一些重叠,也有一些区别。这次体验展没有背后的技术原…

思科九年(转载自Internet)

第1节:思科九年(1) 序 南半球的二月是盛夏。这里白天的阳光炽烈而持久,四处都是耀眼的惨白。电视里的广告说皮肤癌是这个国家的国癌,提醒人们小心这厉害的阳光:要穿长袖的衣服待在阴凉的地方,要戴墨镜涂防晒霜。即便如…

urule规则引擎学习笔记

规则引擎是什么 规则引擎是一种嵌入在应用程序中的组件,它可以将业务规则从业务代码中剥离出来,使用预先定义好的语义规范来实现这些剥离出来的业务规则;规则引擎通过接受输入的数据,进行业务规则的评估,并做出业务决…

那四年,我们一起逝去的青春

今天是2011年10月1日,是我出生后的第21个国庆节,也是大学生涯里最后一个国庆节,这篇日志可能有点长,闲着蛋疼的童鞋可以泡杯咖啡,一边喝一边看,就当看笑话好了。日志发出来估计已经是几个月后的事了&#x…

人机交互

一.Material Design简介 Material Design是由谷歌的设计团队创建的一种设计语言,旨在为手机、平板电脑、台式机和其他平台提供更一致、更广泛的外观和感觉,帮助设计师们创建易用性和实用性较强的网站和应用程序。这个概念基于一个不断更新的公开文档。该…

html+css+js基础问答

前端协作规范 HTML 1. HTML、XML、XHTML 的区别 HTML:超文本标记语言,是语法较为松散的、不严格的Web语言; XML:可扩展的标记语言,主要用于存储数据和结构,可扩展; XHTML:可扩展的…

使用Cocos进行2D和3D混合开发

这是异名上手cocos后,正式开发上线的第一款游戏,用的引擎版本是v.2.2.0,游戏一共有6个场景,其中一个3D场景,4个2D场景,在这里做简单的一个复盘和回顾,因为需要我们平台的账号登录就不能给大家开…

安徽初中计算机比赛,《安徽省初中信息技术基本功竞赛暨优质课展评方案.doc...

《安徽省初中信息技术基本功竞赛暨优质课展评方案 2015年信息技术优质课方案274441987,请选手尽快加入。有关事项将通过群公布。 2.评选打分 为确保评选的公平、公正、公开,制定以下打分规则: (1)基本功比赛环节中,每个…