G-Set（增长集合，Grow-Only Set）

ops/2024/10/18 18:45:30/

一、概念

G-Set（增长集合，Grow-Only Set）是一种冲突自由复制数据类型（Conflict-Free Replicated Data Type, CRDT），用于在分布式系统中同步和合并数据，而不需要中央协调器。G-Set 支持两种操作：添加（add）和查询（query）。一旦元素被添加到 G-Set 中，它就不能被删除，这就是为什么它被称为“增长集合”。

1.1 G-Set 的特点

  • 不可变性：一旦元素被添加到集合中，它就永远存在于集合中，不能被删除。
  • 幂等性：多次添加同一个元素的效果和添加一次该元素的效果相同。
  • 交换性：元素的添加顺序不影响最终的集合状态。
  • 冲突无关：在不同节点上并行添加元素不会导致冲突，所有的更改最终都会被合并到每个节点的副本中。

1.2 G-Set 的应用场景

G-Set 非常适合于需要合并来自不同节点的数据，而这些数据不需要删除操作的场景。例如：

  • 分布式计数器：计数器的每次增加可以视为向 G-Set 中添加一个元素。
  • 曾在线用户集合：记录哪些用户曾经在线，即使他们后来下线了。
  • 标签系统：在一个分布式系统中为对象添加标签，不需要删除标签的功能。

1.3 G-Set 的局限性

由于 G-Set 是一个只增不减的集合，它的主要局限性在于无法从集合中删除元素。这可能导致随着时间的推移，集合的大小不断增长，占用更多的存储空间。为了解决这个问题，CRDT 研究中引入了其他类型的集合，如 OR-Set（可观察移除集合），它允许元素被添加和删除，同时仍然保持冲突无关的特性。

1.4 实现示例

在 Java 中，一个简单的 G-Set 实现可以使用 HashSet 来完成：

import java.util.HashSet;
import java.util.Set;public class GSet<E> {private final Set<E> set = new HashSet<>();public void add(E element) {set.add(element);}public boolean contains(E element) {return set.contains(element);}public Set<E> getElements() {return new HashSet<>(set);}
}

这个实现提供了添加元素和查询元素是否存在的基本操作。由于使用了 HashSet，这个 G-Set 实现自然就具有了幂等性和交换性的特点。

二、示例

2.1 G-Set 的应用场景：分布式计数器

在分布式系统中，使用 G-Set 实现计数器的一个常见方法是将每次计数增加视为向集合中添加一个唯一标识符（例如，时间戳、UUID等）。这样，计数器的值就等于集合中元素的数量。下面是一个具体的示例：

2.1.1 场景描述

假设有一个在线文章阅读平台，需要统计一篇文章的阅读次数。由于平台是分布式的，文章可以同时被多个节点上的用户阅读。为了确保阅读次数的准确性，平台决定使用 G-Set 来实现分布式计数器。

2.1.2 实现步骤

  1. 初始化：对于每篇文章，初始化一个空的 G-Set。
  2. 阅读操作：当一个用户阅读文章时，系统生成一个唯一标识符（例如，用户ID+时间戳），并将其添加到文章对应的 G-Set 中。
  3. 计数查询：要获取文章的阅读次数，只需计算 G-Set 中元素的数量。

2.1.3 示例代码

import java.util.HashSet;
import java.util.Set;public class ArticleReadCounter {private final Set<String> readSet = new HashSet<>();// 用户阅读文章时调用此方法public void addRead(String userId) {String uniqueId = userId + "-" + System.currentTimeMillis();readSet.add(uniqueId);}// 获取文章的阅读次数public int getReadCount() {return readSet.size();}
}

2.1.4 示例使用

public class Main {public static void main(String[] args) {ArticleReadCounter counter = new ArticleReadCounter();// 模拟用户阅读文章counter.addRead("user1");counter.addRead("user2");counter.addRead("user3");// 获取并打印阅读次数System.out.println("Article read count: " + counter.getReadCount());}
}

2.1.5 分布式环境下的合并

在分布式环境下，每个节点都可以有自己的 G-Set 实例。当需要合并两个节点的计数器时，可以将两个 G-Set 的元素合并到一个新的 G-Set 中，这个新的 G-Set 包含了所有唯一的阅读事件。由于 G-Set 是冲突无关的，这种合并操作是安全的，不会丢失数据，也不会产生冲突。

跟踪一个在线文章阅读平台的文章阅读次数，其中每次阅读都由一个唯一的事件ID表示，该ID由用户ID和时间戳组合而成。

2.1.5.1 分布式环境设置

假设我们的分布式系统有三个节点展示网页信息：Node A、Node B 和 Node C。每个节点都维护着自己的 G-Set 实例来跟踪文章的阅读事件。

  • Node A 的 G-Set 包含：{"user1-1622547600", "user2-1622547605"}
  • Node B 的 G-Set 包含：{"user3-1622547610", "user4-1622547615"}
  • Node C 的 G-Set 包含：{"user2-1622547605", "user5-1622547620"}

这里，"user2-1622547605" 在 Node A 和 Node C 中都出现了，展示了在分布式系统中，同一个阅读事件可能被多个节点观察到的情况。

2.1.5.2 合并过程

为了得到全局的文章阅读次数，我们需要将这三个节点的 G-Set 合并。合并操作是将所有节点的 G-Set 中的元素合并到一个新的集合中，由于 G-Set 的特性，即使某些阅读事件在多个节点中被记录，它们在合并后的集合中只会出现一次。

合并后的 G-Set 将包含：{"user1-1622547600", "user2-1622547605", "user3-1622547610", "user4-1622547615", "user5-1622547620"}

2.1.5.3 计数结果

文章的总阅读次数等于合并后的 G-Set 中元素的数量，即 5 次。

2.1.5.4 示例代码
import java.util.HashSet;
import java.util.Set;public class DistributedCounter {// 模拟合并过程public static Set<String> mergeSets(Set<String>... sets) {Set<String> mergedSet = new HashSet<>();for (Set<String> set : sets) {mergedSet.addAll(set);}return mergedSet;}public static void main(String[] args) {// 初始化节点的 G-SetsSet<String> nodeASet = new HashSet<>(Set.of("user1-1622547600", "user2-1622547605"));Set<String> nodeBSet = new HashSet<>(Set.of("user3-1622547610", "user4-1622547615"));Set<String> nodeCSet = new HashSet<>(Set.of("user2-1622547605", "user5-1622547620"));// 合并 G-SetsSet<String> mergedSet = mergeSets(nodeASet, nodeBSet, nodeCSet);// 计算并打印总阅读次数System.out.println("Total article reads: " + mergedSet.size());}
}

2.1.6 注意

这种方法的缺点是随着阅读次数的增加，G-Set 的大小也会不断增长，可能会占用大量的存储空间。在实际应用中，需要根据具体情况考虑是否适合使用 G-Set 实现分布式计数器，或者寻找其他更高效的解决方案。

2.2 G-Set 的应用场景：曾在线用户集合

在分布式系统中，使用 G-Set 来跟踪在线用户集合是一个很好的应用场景。在这个场景中，每当用户上线，系统就会将该用户的唯一标识符（如用户ID）添加到 G-Set 中。由于 G-Set 是一个只增不减的集合，这意味着一旦用户ID被添加，它就会永久保留在集合中。这对于跟踪曾经在线的用户非常有用，但请注意，这不适用于实时跟踪当前在线用户，因为用户下线后，其ID仍然保留在集合中。

2.2.1 示例代码

import java.util.HashSet;
import java.util.Set;public class OnlineUserTracker {private final Set<String> onlineUsers = new HashSet<>();// 用户上线时调用此方法public void userOnline(String userId) {onlineUsers.add(userId);}// 检查用户是否曾经上线过public boolean hasUserEverBeenOnline(String userId) {return onlineUsers.contains(userId);}// 获取曾经上线过的用户总数public int getTotalUsersEverOnline() {return onlineUsers.size();}
}

2.2.2 示例使用

public class Main {public static void main(String[] args) {OnlineUserTracker tracker = new OnlineUserTracker();// 模拟用户上线tracker.userOnline("user1");tracker.userOnline("user2");tracker.userOnline("user3");// 检查特定用户是否曾经上线过System.out.println("Has user2 ever been online? " + tracker.hasUserEverBeenOnline("user2"));// 获取并打印曾经上线过的用户总数System.out.println("Total users ever online: " + tracker.getTotalUsersEverOnline());}
}

2.2.3 分布式环境下的合并

在分布式环境下，每个节点都可以维护自己的在线用户 G-Set。当需要同步或合并两个节点的在线用户集合时，可以简单地将两个 G-Set 的元素合并到一个新的 G-Set 中。这个新的 G-Set 包含了所有唯一的用户ID，从而确保了数据的一致性和完整性。

每当用户上线时，系统就会将该用户的唯一标识符（如用户ID）添加到 G-Set 中。由于 G-Set 是一个只增不减的集合，这意味着一旦用户ID被添加，它就会永久保留在集合中，适用于跟踪曾经上线的用户。

2.2.3.1 分布式环境设置

假设我们的分布式系统有三个节点：Node A、Node B 和 Node C。每个节点都维护着自己的 G-Set 实例来跟踪在线用户。

  • Node A 的 G-Set 包含在线用户：{"user1", "user2"}
  • Node B 的 G-Set 包含在线用户：{"user3", "user4"}
  • Node C 的 G-Set 包含在线用户：{"user2", "user5"}

这里，"user2" 在 Node A 和 Node C 中都出现了，展示了在分布式系统中，同一个用户可能在多个节点上线的情况。

2.2.3.2 合并过程

为了得到聊天室的全局在线用户集，我们需要将这三个节点的 G-Set 合并。合并操作是将所有节点的 G-Set 中的元素合并到一个新的集合中，由于 G-Set 的特性，即使某些用户ID在多个节点中被记录，它们在合并后的集合中只会出现一次。

合并后的 G-Set 将包含在线用户：{"user1", "user2", "user3", "user4", "user5"}

2.2.3.3 示例代码
import java.util.HashSet;
import java.util.Set;public class OnlineUserTracker {// 模拟合并过程public static Set<String> mergeOnlineUsers(Set<String>... userSets) {Set<String> mergedSet = new HashSet<>();for (Set<String> set : userSets) {mergedSet.addAll(set);}return mergedSet;}public static void main(String[] args) {// 初始化节点的 G-SetsSet<String> nodeAUsers = new HashSet<>(Set.of("user1", "user2"));Set<String> nodeBUsers = new HashSet<>(Set.of("user3", "user4"));Set<String> nodeCUsers = new HashSet<>(Set.of("user2", "user5"));// 合并 G-SetsSet<String> mergedUsers = mergeOnlineUsers(nodeAUsers, nodeBUsers, nodeCUsers);// 打印合并后的在线用户集System.out.println("Merged online users: " + mergedUsers);}
}

2.2.4 注意

  • G-Set 适用于跟踪用户的在线状态，但由于其只增不减的特性，它不适合用于实时监控当前在线用户。
  • 随着时间的推移，G-Set 的大小可能会不断增长，这可能会导致存储空间的问题。在实际应用中，需要考虑这一点，并根据具体需求选择合适的数据结构。

2.3 G-Set 的应用场景：标签系统

在分布式系统中，使用 G-Set 实现标签系统是一个很好的应用场景。在这个场景中，每当需要给一个对象（如文章、图片等）添加标签时，系统就会将该标签的唯一标识符（如标签名）添加到与该对象关联的 G-Set 中。由于 G-Set 是一个只增不减的集合，这意味着一旦标签被添加，它就会永久保留在集合中，适用于标签的累积和历史记录。

2.3.1 示例代码

import java.util.HashMap;
import java.util.HashSet;
import java.util.Map;
import java.util.Set;public class TagSystem {// 使用 Map 来存储每个对象及其关联的 G-Setprivate final Map<String, Set<String>> objectTags = new HashMap<>();// 给对象添加标签public void addTagToObject(String objectId, String tag) {// 获取或创建与对象关联的 G-SetSet<String> tags = objectTags.computeIfAbsent(objectId, k -> new HashSet<>());// 将标签添加到 G-Set 中tags.add(tag);}// 获取对象的所有标签public Set<String> getTagsForObject(String objectId) {return objectTags.getOrDefault(objectId, new HashSet<>());}
}

2.3.2 示例使用

public class Main {public static void main(String[] args) {TagSystem tagSystem = new TagSystem();// 给对象添加标签tagSystem.addTagToObject("article1", "Technology");tagSystem.addTagToObject("article1", "Innovation");tagSystem.addTagToObject("article2", "Travel");tagSystem.addTagToObject("article1", "2023");// 获取并打印对象的标签System.out.println("Tags for article1: " + tagSystem.getTagsForObject("article1"));System.out.println("Tags for article2: " + tagSystem.getTagsForObject("article2"));}
}

2.3.3 分布式环境下的合并

在分布式环境下，每个节点都可以维护自己的标签 G-Set。当需要同步或合并两个节点的标签集合时，可以简单地将两个 G-Set 的元素合并到一个新的 G-Set 中。这个新的 G-Set 包含了所有唯一的标签，从而确保了数据的一致性和完整性。

在这个场景中，每当需要给一个对象（如文章、图片等）添加标签时，系统就会将该标签的唯一标识符（如标签名）添加到与该对象关联的 G-Set 中。由于 G-Set 是一个只增不减的集合，这意味着一旦标签被添加，它就会永久保留在集合中。

2.3.3.1 分布式环境设置

假设我们的分布式系统有三个节点：Node A、Node B 和 Node C。每个节点都维护着自己的 G-Set 实例来跟踪对象的标签。

  • Node A 的 G-Set 包含对象 “Article1” 的标签：{"Tech", "Innovation"}
  • Node B 的 G-Set 包含对象 “Article1” 的标签：{"2023", "Tech"}
  • Node C 的 G-Set 包含对象 “Article1” 的标签：{"Innovation", "Environment"}

这里，标签 “Tech” 和 “Innovation” 在多个节点中出现了，展示了在分布式系统中，同一个标签可能被多个节点添加的情况。

2.3.3.2 合并过程

为了得到对象 “Article1” 的全局标签集，我们需要将这三个节点的 G-Set 合并。合并操作是将所有节点的 G-Set 中的元素合并到一个新的集合中，由于 G-Set 的特性，即使某些标签在多个节点中被记录，它们在合并后的集合中只会出现一次。

合并后的 G-Set 将包含对象 “Article1” 的标签：{"Tech", "Innovation", "2023", "Environment"}

2.3.3.3 示例代码
import java.util.HashSet;
import java.util.Set;public class TagSystem {// 模拟合并过程public static Set<String> mergeTags(Set<String>... tagSets) {Set<String> mergedSet = new HashSet<>();for (Set<String> set : tagSets) {mergedSet.addAll(set);}return mergedSet;}public static void main(String[] args) {// 初始化节点的 G-SetsSet<String> nodeATags = new HashSet<>(Set.of("Tech", "Innovation"));Set<String> nodeBTags = new HashSet<>(Set.of("2023", "Tech"));Set<String> nodeCTags = new HashSet<>(Set.of("Innovation", "Environment"));// 合并 G-SetsSet<String> mergedTags = mergeTags(nodeATags, nodeBTags, nodeCTags);// 打印合并后的标签集System.out.println("Merged tags for Article1: " + mergedTags);}
}

2.3.4 注意

  • G-Set 适用于累积对象的标签，但由于其只增不减的特性，它不适合用于需要频繁删除标签的场景。
  • 随着时间的推移，每个对象关联的 G-Set 的大小可能会不断增长，这可能会导致存储空间的问题。在实际应用中，需要考虑这一点，并根据具体需求选择合适的数据结构。

http://www.ppmy.cn/ops/126539.html

相关文章

LLM - 使用 Neo4j 可视化 GraphRAG 构建的 知识图谱(KG) 教程

LLM - 使用 Neo4j 可视化 GraphRAG 构建的 知识图谱(KG) 教程

欢迎关注我的CSDN&#xff1a;https://spike.blog.csdn.net/ 本文地址&#xff1a;https://spike.blog.csdn.net/article/details/142938982 免责声明&#xff1a;本文来源于个人知识与公开资料&#xff0c;仅用于学术交流&#xff0c;欢迎讨论&#xff0c;不支持转载。 Neo4j …
阅读更多...
深入了解React 工作原理是什么

深入了解React 工作原理是什么

前端面试题包括ECMScript,TypeScript,Nodejs,React,Webgl,Webpack,Threejs等还在整理中&#xff0c;在线地址前端面试题&#xff0c;源码地址大家多多支持才有动力给大家分享更多好的面试题。 React 的工作原理基于以下几个关键概念&#xff1a;虚拟 DOM&#xff08;Virtual D…
阅读更多...
@PostConstruct和afterPropertiesSet方法执行多次的原因

@PostConstruct和afterPropertiesSet方法执行多次的原因

近日&#xff0c;遇到一个问题&#xff0c;PostConstruct方法会莫名执行多次&#xff0c;单看代码看不出问题&#xff0c;印象中也只会在bean初始化的时候执行一次而已。 然后问AI&#xff0c;问百度&#xff0c;没找到原因。 后面自己猜测&#xff08;现在都是面向猜测编程&am…
阅读更多...
大数据治理：定义、重要性及实践

大数据治理：定义、重要性及实践

大数据治理&#xff1a;定义、重要性及实践 引言 大数据治理是当代企业信息管理和数据管理的重要环节&#xff0c;它涉及到数据的获取、处理、存储、安全、质量、生命周期管理等方方面面。随着信息技术的迅猛发展和数据量的爆炸式增长&#xff0c;大数据治理已经成为企业提升…
阅读更多...
Vue 3 中的状态管理：深入探讨 Vuex 和 Pinia 的比较与最佳实践

Vue 3 中的状态管理：深入探讨 Vuex 和 Pinia 的比较与最佳实践

文章目录 1. 引言2. Vuex 的使用及其状态管理模型2.1 Vuex 的核心概念2.2 Vuex 的优点与局限性 3. Pinia 的特点及与 Vuex 的比较3.1 Pinia 的核心特点3.2 Pinia 与 Vuex 的主要区别 4. 如何在 Vue 3 中实现状态管理的最佳实践4.1 小型应用中的最佳实践4.2 大型应用中的最佳实践…
阅读更多...
python多线程lock使用方法进行文件锁定

python多线程lock使用方法进行文件锁定

如果写文件想让这个线程写的时候&#xff0c;别的线程不会干扰写&#xff0c;也就是不中间插内容 需要使用thread.lock方法 代码&#xff1a; import threading import datetime import random from queue import Queue lockthreading.Lock() def writelog():lock.acquire()w…
阅读更多...
Java中数组的定义与使用

Java中数组的定义与使用

1. 数组的基本概念 1.1 什么是数组 数组的定义&#xff1a;一个相同元素的集合 在java中&#xff0c;包含6个整形类型元素的数组 数组中存放的元素其类型相同数组的空间是连在一起的每个空间有自己的编号&#xff0c;其实位置的编号为0&#xff0c;即数组的下标。 那在程序中如…
阅读更多...
DevExpress WPF中文教程：Data Grid（数据网格）实现细节一览

DevExpress WPF中文教程：Data Grid（数据网格）实现细节一览

DevExpress WPF拥有120个控件和库&#xff0c;将帮助您交付满足甚至超出企业需求的高性能业务应用程序。通过DevExpress WPF能创建有着强大互动功能的XAML基础应用程序&#xff0c;这些应用程序专注于当代客户的需求和构建未来新一代支持触摸的解决方案。 无论是Office办公软件…
阅读更多...
最新文章

Copyright @ 2022~2023