ETL 和 ELT区别-2

devtools/2024/9/24 10:42:26/

T-ETL和ELT区别_tetl-CSDN博客

ETL(提取、转换和加载)和 ELT(提取、加载和转换)是企业用来从多个源提取数据并将其组合到单个数据库或数据仓库中进行分析的过程。这两种方法都使用以下步骤(但顺序不同)来准备数据以进行分析:

  • 提取:此步骤涉及从源中提取数据,源可以是 MySQL 或 MongoDB 等数据库,也可以是 Google 表格、Google Drive 或 Salesforce 等任何其他应用程序。

  • 加载:在此步骤中,数据将加载到分析工作负载的目标仓库或数据库。

  • 转换:此步骤可用于清理、处理数据并将其转换为适合加载到目标和进一步分析的格式。

ETLELT
数据转型原始数据在加载到目标之前进行转换。原始数据在加载到目标后进行转换。
加载时间ETL 需要更多时间将数据加载到目标,因为数据首先被转换。ELT 速度更快,因为数据直接加载到目标。
数据量更适合需要非常复杂转换的小型数据集。非常适合更强调获取实时数据进行分析的大型数据集。

 

一些新的词汇

in-flight-transformations

提取或加载过程中自动转换源数据

Schema Mapper

结构映射器:

hevodata 的 event 和 event-type

从源中获取数据称为 Hevo 中的事件摄取,而将摄取的数据复制到目标中称为事件的加载。每个 Hevo 计划每月提供固定数量的活动。读取事件用法。

如何管理过程中的事件Managing Objects in Pipelines - Hevo Data

Schema Mapper Actions

  • 跳过了一行数据
  • 重置了数仓结构
  • 发现没有绑定的字段


http://www.ppmy.cn/devtools/24624.html

相关文章

Python 连接 Oracle 数据库加入超时处理机制

Python 连接 Oracle 数据库加入超时处理机制 0. 引言1. 示例代码 0. 引言 Python 连接 Oracle 数据库,如何 SQL 语句有问题时还不加入超时机制,就会一致执行停止在那里。 1. 示例代码 1-1. 代码讲解 下面的代码展示了如何在 Python 中使用多线程来处…

【Vue3】openlayers加载瓦片地图并手动标记坐标点

目录 一、创建Vue3项目 二、openlayers加载瓦片地图(引js文件版) 2.1 将以下的文件复制到public下 2.2 index.html引入ol脚本 2.3 删除项目自带的HelloWorld.vue,创建Map.vue 2.4 编码Map.vue 2.5 修改App.vue 2.6 启动项目测试 三、…

深度学习之基于多模态融合的商品分类方法研究与实现

欢迎大家点赞、收藏、关注、评论啦 ,由于篇幅有限,只展示了部分核心代码。 文章目录 一项目简介 二、功能三、系统四. 总结 一项目简介 项目简介:深度学习之基于多模态融合的商品分类方法研究与实现 一、项目背景与目标 随着电子商务的快速…

【智能算法】火烈鸟搜索算法(FSA)原理及实现

目录 1.背景2.算法原理2.1算法思想2.2算法过程 3.结果展示4.参考文献 1.背景 2021年,W Zhiheng等人受到火烈鸟迁徙觅食行为启发,提出了火烈鸟搜索算法(Flamingo Search Algorithm, FSA)。 2.算法原理 2.1算法思想 FSA受到火烈鸟…

Arcgis Pro 制图基础操作流程

为什么推荐用Arcgis Pro 出图? 1、相比Arcmap 10.X,Pro的制图功能更强大,制图更便捷 2、相比PS,Arcgis Pro中的数据自带坐标,无需校正,表达更准确 3、自带底图,方便又美观 01 — 与Arcmap …

Linux:服务器间同步文件的脚本(实用)

一、功能描述 比如有三台服务器,hadoop102、hadoop103、hadoop104,且都有atguigu账号 循环复制文件到所有节点的相同目录下,且脚本可以在任何路径下使用 二、脚本实现 1、查看环境变量 echo $PATH2、进入/home/atguigu/bin目录 在该目录下…

机器学习:基于Sklearn、XGBoost框架,使用逻辑回归、支持向量机和XGBClassifier来诊断并预测一个人是否患有自闭症

前言 系列专栏:机器学习:高级应用与实践【项目实战100】【2024】✨︎ 在本专栏中不仅包含一些适合初学者的最新机器学习项目,每个项目都处理一组不同的问题,包括监督和无监督学习、分类、回归和聚类,而且涉及创建深度学…

web server apache tomcat11-22-logging 日志

前言 整理这个官方翻译的系列,原因是网上大部分的 tomcat 版本比较旧,此版本为 v11 最新的版本。 开源项目 从零手写实现 tomcat minicat 别称【嗅虎】心有猛虎,轻嗅蔷薇。 系列文章 web server apache tomcat11-01-官方文档入门介绍 web…