GCP
2024/9/25 23:13:23
Kafka Exactly Once 语义实现原理：幂等性与事务消息
01 前言
在现代分布式系统中，确保数据处理的准确性和一致性是至关重要的。Apache Kafka，作为一个广泛使用的流处理平台，提供了强大的消息队列和流处理功能。随着业务需求的增长，Kafka 的事务消息功能应运而生，它允许应…
AWS详细介绍与GCP比较
AWS（Amazon Web Services）详细介绍
Amazon Web Services (AWS) 是亚马逊公司的云服务平台，提供广泛的全球云基础设施服务。自2006年推出以来，AWS已发展成为市场上最大、最广泛使用的云服务提供商之一，提供超过200种功…
AWS详细介绍与GCP比较
AWS（Amazon Web Services）详细介绍
Amazon Web Services (AWS) 是亚马逊公司的云服务平台，提供广泛的全球云基础设施服务。自2006年推出以来，AWS已发展成为市场上最大、最广泛使用的云服务提供商之一，提供超过200种功…
Kafka Exactly Once 语义实现原理：幂等性与事务消息
01 前言
在现代分布式系统中，确保数据处理的准确性和一致性是至关重要的。Apache Kafka，作为一个广泛使用的流处理平台，提供了强大的消息队列和流处理功能。随着业务需求的增长，Kafka 的事务消息功能应运而生，它允许应…
阿里云详细介绍，与AWS和GCP比较
一、阿里云详解
阿里云（Alibaba Cloud），也被称为阿里巴巴云计算，是中国最大的云服务提供商，同时在全球范围内也具有显著的市场影响力。自2009年成立以来，阿里云已经发展成为一个提供全方位服务的云平台&am…
AutoMQ 系统测试体系揭秘
01 前言
Apache Kafka 有着比较完备的自测体系。除了常规的单元测试和集成测试以外，Apache Kafka 还有着 1000 的“系统集成和性能测试”（以下简称系统测试）。系统测试会拉起一套真实的 Kafka 集群，并模拟用户使用 Kafka 集群的方…
「布道师系列文章」小红书黄章衡：AutoMQ Serverless 基石-秒级分区迁移
作者｜黄章衡，小红书消息引擎研发专家
01 引言
Apache Kafka 因存算一体化架构，分区迁移依赖大量数据同步的完成，以一个 100MB/s 流量的 Kafka 分区为例，运行一天产生的数据量约为 8.2T，如果此时需要将该分…
Kafka 迁移工具 MirrorMaker2 原理起底
注意：本文内容截止到 2024 年 2 月 26 日发布的 Kafka 3.7.0 版本。
MirrorMaker2（后文简称 MM2）在 2019 年 12 月随 Kafka 2.4.0 一起推出。顾名思义，是为了解决 Kafka 集群之间数据复制和数据同步的问题而诞生的 Kafka 官方的数…
【玩转Google云】GCP 制品管理：Artifact Registry 使用详解
本篇博文将带您深入了解 Google Cloud Platform (GCP) 的 Artifact Registry，一个功能强大的统一制品仓库，用于存储、管理和保护您的软件制品。我们将详细介绍 Artifact Registry 的核心概念、优势以及使用步骤，帮助您轻松上手并将其集成到您的开发流程中。
目录
一、Arti…
AutoMQ 社区双周精选第十一期（2024.05.27~2024.06.12）
本期概要
欢迎来到 AutoMQ 第十一期双周精选！在过去两周里，主干动态方面，AutoMQ 跟进了 Apache Kafka 3.4.x BUG 修复，并进行了CPU & GC 性能优化。另外，AutoBalancing 的 Reporter 和 Retriever 也开始支持指定 …
【玩转Google云】构建安全高效的电商系统：GCP VPC 网络规划指南
在竞争激烈的电商领域，一个安全、高效且可扩展的网络基础架构至关重要。本文将深入探讨 Google Cloud Platform (GCP) 的 Virtual Private Cloud (VPC) 如何助力构建理想的电商系统。通过以一个典型的电商网站为例，我们将逐步解析 VPC 网络规划的关键步骤，包括子网划分、防火…
【玩转google云】在 Google Cloud 和 AWS 之间创建高可用性 VPN 连接（一）
目录
一、目标
二、架构：实现高可用性 VPN 连接
1、架构图
2、实现 99.99% 的服务可用性 SLA
AutoMQ 产品动态 | 发布 1.1.0，兼容至 Apache Kafka 3.7，支持 Kaf
2024年05-06月动态 01
云原生 Kafka 内核
AutoMQ 发布 1.1.0 版本，兼容 Apache Kafka 到 3.7 版本。
AutoMQ 采用存算分离的思路重构 Apache Kafka，计算层 100% 保留 Kafka 代码，可以更好、更快地适配 Apache Kafka 新版本。经过代码 Revi…
【DevOps】GCP IAM 深入剖析：云端资源访问控制的守护者
在当今云计算时代，安全性和访问控制至关重要。Google Cloud Platform (GCP) 的 Identity and Access Management (IAM) 服务应运而生，为您的云端资源提供强大的访问控制机制。IAM 就像一位尽职尽责的守门人，确保只有授权用户才能访问您的宝贵…
PG大会周五于杭州举办；Pika发布4.0；阿里云MySQL上线Zero-ETL集成能力
重要更新 1. PostgreSQL中国技术大会举行12日（周五）于杭州举办，是PostgreSQL社区年度的大会，举办地点：杭州君尚云郦酒店（杭州市上城区临丁路1188号），感兴趣的可以考虑现场参加 ( [1]…
阿里云详细介绍，与AWS和GCP比较
一、阿里云详解
阿里云（Alibaba Cloud），也被称为阿里巴巴云计算，是中国最大的云服务提供商，同时在全球范围内也具有显著的市场影响力。自2009年成立以来，阿里云已经发展成为一个提供全方位服务的云平台&am…