大数据开发人员最经常遇到尴尬和麻烦的事是，指标开发好了，以为万事大吉了。被业务和运营发现这个指标在不同地方数据打架，显示不同的数值。为了保证指标数据一致性，要从整个开发流程做好。 目录 一、数据仓库架构规划 二、数据抽取与转换 三、数据存储管理 四、指标管…

大数据开发人员最经常遇到尴尬和麻烦的事是，指标开发好了，以为万事大吉了。被业务和运营发现这个指标在不同地方数据打架，显示不同的数值。为了保证指标数据一致性，要从整个开发流程做好。 目录 一、数据仓库架构规划 二、数据抽取与转换 三、数据存储管理 四、指标管…

MySQL到Doris的StreamingETL实现（Flink CDC 3.0） 1 环境准备 1）安装FlinkCDC [roothadoop1 software]$ tar -zxvf flink-cdc-3.0.0-bin.tar.gz -C /opt/module/2）拖入MySQL以及Doris依赖包 将flink-cdc-pipeline-connector-do…

1、SQL导入数据 以下是一个关于如何使用SQL导入数据的详细指南。这通常涉及将数据从一个源文件（如CSV文件）导入到数据库表中。在这个例子中，我们将使用MySQL数据库和一个CSV文件作为数据源。 1.1、前提条件 MySQL数据库服务器已安装并运行…

1、SQL LEFT JOIN 语句 在SQL中，LEFT JOIN（也称为左连接）是一种将左表（LEFT JOIN左侧的表）的所有记录与右表（LEFT JOIN右侧的表）中匹配的记录结合起来的查询方式。如果左表中的记录在右表中没有…

MySQL到Doris的StreamingETL实现（Flink CDC 3.0） 1 环境准备 1）安装FlinkCDC [roothadoop1 software]$ tar -zxvf flink-cdc-3.0.0-bin.tar.gz -C /opt/module/2）拖入MySQL以及Doris依赖包 将flink-cdc-pipeline-connector-do…

1、SQL FULL JOIN 语句 在SQL中，FULL JOIN（也被称为全外连接）是一种结合了两个表中的所有行的操作，包括两个表中匹配的行以及那些不匹配的行。如果在一个表中有行在另一个表中没有匹配，那么这些行将出现在结果集中&am…

如何在 SQL 中处理三个字段完全一样的去重？在 Scala 中又该如何实现？ 在 SQL 中，可以使用多种方法来处理三个字段完全一样的去重。一种常见的方法是使用 DISTINCT 关键字结合多个字段来实现。例如，假设有表 table_name，包含字段 field1、field2 和 field3，可以使用以下 S…

MySQL到Doris的StreamingETL实现（Flink CDC 3.0） 1 环境准备 1）安装FlinkCDC [roothadoop1 software]$ tar -zxvf flink-cdc-3.0.0-bin.tar.gz -C /opt/module/2）拖入MySQL以及Doris依赖包 将flink-cdc-pipeline-connector-do…

1、SQL 删除数据（DELETE 语句） 在SQL中，TRUNCATE TABLE 语句用于删除表中的所有行，但不删除表本身。这个操作通常比使用 DELETE 语句删除所有行要快，因为它不记录每一行的删除操作到事务日志中，而是直接重…