TiSpark

news/2024/12/28 18:12:39/

 

TiSpark是PingCAP为解决用户复杂OLAP(OLAP,联机分析处理,它使分析人员能够迅速、一致、交互的从各个方面观察信息,以达到深入理解数据的目的),需求而推出的产品。它借助Spark平台,同时融合TiKV分布式集群的优势,和TiDB一起为用户一站式解决HTAP(Hybrid Transactional/Analytical Processing,HTAP是混合OLTP和OLAP的系统,它打破了事务处理和分析之间的墙,它支持更多的信息和“实时业务”的决策。对HTAP的大白话理解为:如何在OLTP单一数据系统上,提供OLAP操作)的需求。

(注:OLAP和OLTP的介绍

           数据处理大致可以分为两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(on-line                         analytical procdssing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。                   OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。OLTP系

            统强调数据库内存效率,强调内存各种指标的命令率,强调绑定变量,强调并发操作。OLAP系统则强调数据分析,

            强调SQL执行市场,强调磁盘I/O,强调分区等。)

 

 

TiSpark依赖于TiKV集群(TiKV负责存储数据,是一个分布式的提供事务的key-value存储引擎)和Placement Driver(PD,整个个集群的管理模块),也需要你搭建一个Spark集群。

TiSpark是将Spark SQL直接运行在分布式存储引擎TiKV上的OLAP解决方案。其架构图如下:

TiSpark Architecture

TiSpark深度整合了Spark Catalyst引擎,可以对计算提供精确的控制,使Spark能够高效的读取TiKV中的数据,提供索引支持以实现高速的点查。

通过多种计算下推减少Spark SQL需要处理的数据大小,以加速查询;利用TiDB的内建的统计信息选择更优的查询计划。

从数据集群的角度看,TiSpark+TiDB可以让用户无需进行脆弱和难以维护的ETL,直接在同一个平台进行事务和分析两种工作,简化了系统架构和运维。

除此之外,用户借助TiSpark项目可以在TiDB上使用Spark生态圈提供的多种工具进行数据处理。例如,使用TiSpark进行数据分析和ETL;使用TiKV作为机器学习的数据源;借助调度系统产生定时报表等等。

TiSpark和Hive可以混合使用。

 

 

 


http://www.ppmy.cn/news/946626.html

相关文章

sklearn介绍

sklearn简介 scikit-learn,又称sklearn,是一个开源的基于python语言的机器学习工具包。它通过NumPy, SciPy和Matplotlib等python数值计算的库实现高效的算法应用,并且涵盖了几乎所有主流机器学习算法。sklearn是数据挖掘和数据分析的一个工具…

数学建模常用模型(九) :偏最小二乘回归分析

数学建模常用模型(九) :偏最小二乘回归分析 偏最小二乘回归(Partial Least Squares Regression,PLS Regression)是一种常用的统计建模方法,用于解决多元线性回归中自变量间高度相关的问题。在偏…

sklearn简介

sklearn是机器学习中一个常用的python第三方模块,网址: http://scikit-learn.org/stable/index.html ,里面对一些常用的机器学习方法进行了封装,在进行机器学习任务时,并不需要每个人都实现所有的算法,只需…

简单工厂模式(java)

目录 结构 案例 类图 代码实现 简单咖啡工厂类 咖啡店类 咖啡类 具体咖啡类 简单工厂方法的优缺点 优点 缺点 结构 简单工厂包含如下角色: 抽象产品 :定义了产品的规范,描述了产品的主要特性和功能。具体产品 :实现或者…

Dell Mobile Connect v2.0.7811.0最新版

Dell Mobile Connect又叫戴尔dmc软件,是一款专门为 Dell 指定设备提供的专门为计算机与iOS或者Android智能手机之间进行完整的无线集成的工具,但可用于所有的 Windows中可以实现包括接打电话、收发短信、收取通知,甚至可以镜像Android手机的屏…

国内戴尔dell官网打开速度慢解决方法

目录 解决方法实现 解决方法 绕过dns解析,在本地直接绑定host。 实现 打开http://tool.chinaz.com/dns/在对话框内输入dell.com选择TTL值最小的那一个,复制win R 打开运行,输入C:\Windows\System32\drivers\etc\hosts 使用记事本打开在文…

DELL产品

专门从事戴尔品牌电脑销售 转载于:https://blog.51cto.com/lishiqing/136951

【es】部署后打不开访问页面

具体报错: [2023-07-18T00:55:28,203][WARN ][o.e.x.s.t.n.SecurityNetty4HttpServerTransport] [demo] received plaintext http traffic on an https channel, closing connection Netty4HttpChannel{localAddress/127.0.0.1:9200, remoteAddress/127.0.0.1:5529…