数据同步
2024/9/18 12:38:09
Debezium+Kafka：Oracle 11g 数据实时同步至 DolphinDB 解决方案
随着越来越多用户使用 DolphinDB，各式各样的应用场景对 DolphinDB 的数据接入提出了不同的要求。部分用户需要将 Oracle 11g 的数据实时同步到 DolphinDB 中来，以满足在 DolphinDB 中实时使用数据的需求。本篇教程将介绍使用 Debezium 来实时捕获和发布 …
Canal+RabbitMQ数据同步环境配置
Canal 是阿里巴巴开发的开源工具，主要用于解析 MySQL 的 binlog 日志，从而实现数据同步。Canal 会模拟 MySQL 从库的协议，订阅主库的 binlog，从而获取数据库的变更信息。
将 Canal 解析到的 MySQL 数据库变更消息通过 RabbitMQ 分…
Debezium+Kafka：Oracle 11g 数据实时同步至 DolphinDB 运维手册
目前我们已经支持基于开源技术 Debezium Kafka，从 Mysql 和 Oracle 11g 实时同步数据到 DolphinDB 中。由于当前方案涉及到四个程序的部署，而且具体的 Source 同步任务和 Sink 同步任务还需要额外管理，在运维上具有一定难度。
本文将基于 O…
Streamsets-JDBC模式使用更新时间字段数据同步
StreamSets的开源地址：https://github.com/streamsets/datacollector-oss Streamsets官网地址：https://streamsets.com/ Streamsets文档地址：https://docs.streamsets.com/portal/datacollector/3.16.x/help/index.html
我又来写Streamsets了…
ETL结合飞书快速实现业务信息同步
一、ETL工具介绍
ETLCloud数据集成平台是一款针对IT以及数据工程师推出的全域数据集成平台产品。它是集实时数据集成和离线数据集成以及API发布为一体的数据集成平台。与其他开源数据集成工具相比，系统采用轻量化架构、具有更快的部署速度、更快的数据传输速度、更…
ETL如何执行Java脚本
ETLCloud提供了执行 Java 脚本的方式，让用户能够灵活地处理数据并实现各种复杂的数据处理任务。
ETLCloud在数据处理领域的应用优势主要体现在以下几个方面： 灵活性：通过执行Java脚本，用户能够灵活定制数据处理逻辑，满…
ETL如何执行Java脚本
ETLCloud提供了执行 Java 脚本的方式，让用户能够灵活地处理数据并实现各种复杂的数据处理任务。
ETLCloud在数据处理领域的应用优势主要体现在以下几个方面： 灵活性：通过执行Java脚本，用户能够灵活定制数据处理逻辑，满…
Apache Doris Flink Connector 24.0.0 版本正式发布
亲爱的社区伙伴们，Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Flink 1.20 的支持，并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。此外，整库同步所依赖的 FlinkCDC，也需升级…
ETL数据集成丨将PostgreSQL数据库数据实时同步至PostgreSQL
前言
我们在进行数据集成、实时数据同步中，经常会出现在同一个数据库中做数据同步和复制、实时分析和报告、负载均衡和高可用性等场景，这次我们以PostgreSQL为例，通过ETLCloud工具，进行同数据库中数据实时同步的步骤应该如何设置…
ETL中如何执行Python脚本
Python的解读
Python 是一种高级、通用的编程语言，由荷兰程序员吉多范罗苏姆（Guido van Rossum）于1990年代初设计并发布。Python的设计哲学强调代码的可读性和简洁性，它的语法清晰且表达力强，使得开发者能够以更少的代…
Redis与MySQL数据库数据一致性方案
一致性方案的设计原则
数据一致性：确保Redis和MySQL中的数据在任何时候都是一致的，即任何对数据的修改在Redis和MySQL中都应同步体现事务性：确保数据同步操作具有原子性，即要么全部成功，要么全部失败。持久性…
传输大咖42 | 海外数据库数据同步至国内的关键考量与解决方案
在当今全球化的商业环境中，跨境数据传输已成为常态。企业在将海外数据库的数据与国内同步时，常需应对包括数据安全、传输效率、传输稳定性以及权限控制等多方面的挑战。本文旨在探讨这些挑战，并展示镭速如何通过其解决方案帮助企业应对。
前…
ETL结合飞书快速实现业务信息同步
一、ETL工具介绍
ETLCloud数据集成平台是一款针对IT以及数据工程师推出的全域数据集成平台产品。它是集实时数据集成和离线数据集成以及API发布为一体的数据集成平台。与其他开源数据集成工具相比，系统采用轻量化架构、具有更快的部署速度、更快的数据传输速度、更…
全量与增量的配置模式
在系统管理和数据处理领域，全量与增量配置是两种常见的方法，用于实现数据同步、更新部署或资源管理等任务。它们分别适用于不同的场景，依据任务的特性和需求选择合适的配置模式，有助于优化资源利用、提高效率并确保数据或系统的准…
ETL数据集成丨SQLServer到Doris的无缝数据同步策略
在现代企业数据架构中，数据整合是至关重要的一个环节，它不仅关乎数据的准确性与一致性，还直接影响到数据分析的有效性和业务决策的精确性。Doris（原名 Palo）与 Hive 是两大在大数据处理领域内广泛应用的数据存储与分析…
【云原生进阶之数据库技术】第二章-Oracle-使用-3.3.1-Oracle Data Guard综述
1 Oracle DG简介
1.1 Oracle DG综述 Oracle DG，即Oracle Data Guard，是一种数据库容灾和数据保护解决方案，旨在提供高可用性和灾难恢复能力。它通过在主数据库和备用数据库之间实时复制数据来实现这一点。Data Guard的核心功能在于它能够保持主节点和备用节点之间的数据一致…