ETL科普

news/2024/11/24 13:54:50/

ETL(extract,transform,load)是啥?

ETL, which stands for extract, transform and load, is a data integration process that combines data from multiple data sources into a single, consistent data store that is loaded into a data warehouse or other target system.

抽取、转换、加载这三个单词的缩写,就是把数据从哪块儿抽过来,然后进行一个清洗、加工,最后再存到哪块儿(一般是存到数据仓库)。

参考

ETL是为了什么?

从各种系统里面用不同的语言和方法抓数据,以满足各种商业场景需求。

常用的数据应用有很多比如绩效看板、用户画像、智能推荐等。

数据转换(T)的过程是?分别都是啥意思?

建模+分层+数据治理?(不知道,待查)
建模:通过范式来实现数据的建模,目前应用比较广的是多维建模,通过维度和事实构建数据的关系。
对数据就行分层分解数据清洗和计算的复杂度形成我们常常听到的数据集市等
数据治理:包括生命周期管理、数据统计口径等

数据仓库(data warehouse)与数据库(database)的区别?

这个说得不错:
https://www.zhihu.com/question/20623931/answer/750367153
数据库用于事务处理,数据仓库用于数据分析

ETL常见流程?例子?架构?

还没看

ETL相关职位

围绕ETL 的不同阶段,工程师按岗位分工也是不同的。
数据平台工程师,主要职责是构建数据工具,搭建数据处理的环境体系,需要基于业务场景构建数据同步工具,自动报表系统,数据api工具等等。

数仓开发工程师,主要工作是构建数据的组织和管理,构建数仓体系。常用SQL来处理数据,承接业务取数看数的需求。

数据服务工程师,主要是基于数据构建应用,比如用Java语言实现一个战场沙盘等数据产品等等,类似后段开发工程师。


http://www.ppmy.cn/news/159016.html

相关文章

ETL概述(原创)

ETL概述ETL,Extraction- Transformation-Loading的缩写,即数据抽取(Extract)、转换(Transform)、装载(Load)的过程,它是构建数 据仓库的重要环节。ETL是将业务系统的数据…

亿联网络 × 宇通客车 | 融合通信赋能客车第一品牌沟通模式升级

“亿联为宇通定制的音视频视频会议系统,让员工可以通过统一的终端,在任何地方用任何的方式,连接到任何人、任何系统,帮助我们达到了心中理想的沟通模式。” ——段文彬 宇通客车高级系统工程师 在路上奔驰的一辆辆客车&#xff0c…

lucene 简介

lucene是一个java编写的开源的全文检索引擎,是一个框架,一套api,是一个核心模块,并不包括用户交互、高亮结果等外围模块。 gradle依赖: dependencies{ compile org.apache.lucene:lucene-core:6.0.0compile org.apach…

Lucene(转)

Lucene,作为一种全文搜索的辅助工具,为我们进行条件搜索,无论是像Google,Baidu之类的搜索引擎,还是论坛中的搜索功能,还是其它 C/S架构的搜索,都带来了极大的便利和比较高的效率。本文主要是利用Lucene对MS…

ETL技术

1、ETL的定义 ETL分别是“Extract”、“ Transform” 、“Load”三个单词的首字母缩写也就是“抽取”、“转换”、“装载”,但我们日常往往简称其为数据抽取。 ETL是BI/DW(商务智能/数据仓库)的核心和灵魂,按照统一的规则集成并提…

Lucene系列(一)什么是Lucene

前言 上一个系列还没有完结,我又来开新坑啦~ 接触搜索/推荐相关工作,也有两年了。工作里对lucene的接触不少,却也不精。最近工作里没有那么忙,因此想通过学习源码的方式,来对lucene进行一个系统的学习。 …

luence

1.luence 创建步骤 3.0 1.创建luence Directory 类似数据库 /* Directory dir FSDirectory. open( new File( INDEX_PATH )); fs是创建本地文件 ram是创建在内存 Analyzer writerAnalyzer new StandardAnalyzer(Version. LUCENE_30 ); */ 2.创建 IndexWriter 类…

Lucene(一)

什么是Lucene Lucene是一个开放源代码的全文检索引擎工具包,但它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎(英文与德文两种西方语言)。 …