Java 7.3 - 分布式 id

news/2024/9/17 3:35:43/ 标签: java, 分布式, 开发语言

分布式 ID 介绍

什么是 ID?

ID 就是 数据的唯一标识。

什么是分布式 ID?

分布式 ID 是 分布式系统中的 ID,它不存在于现实生活,只存在于分布式系统中。

分库分表:

一个项目,在上线初期使用的是单机 MySQL。但随着需求不断增长,单机 MySQL 已经无法满足当前的需求,我们需要进行分库分表。

分库分表后,数据分布在不同服务器的数据库上,数据库的自增主键无法满足 ID 的唯一性了。此时我们如何为不同的节点生成全局唯一的主键呢?—— 分布式 ID

分布式 ID 需要满足哪些要求?

1、全局唯一

2、高可用:生成分布式 ID 的服务要保证可能性接近 100%

3、高性能:生成速度要快

4、方便易用

以上四点为分布式 ID 的基本要求,一个好的分布式 ID 还需要满足下列需求:

1、安全

2、有序递增

3、有具体的业务含义:生成的 ID 如果能有具体的业务含义,可以让定位问题以及开发更加透明化

4、独立部署:分布式系统专门有一个服务用来生成分布式 ID,可以和业务相关的服务解耦。

分布式 ID 常见的解决方案有哪些?

数据库

数据库主键自增

通过关系型数据库的自增主键来产生唯一 ID

以 MySQL 为例:

CREATE TABLE `sequence_id` (
`id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
`stub` char(10) NOT NULL DEFAULT '',
PRIMARY KEY (`id`),
UNIQUE KEY `stub` (`stub`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

创建一个表,其主键自增。

BEGIN;
REPLACE INTO sequence_id (stub) VALUES ('stub');
SELECT LAST_INSERT_ID();
COMMIT;

插入数据我们使用 replace into 代替 insert into,解释如下:

这种方式的优缺点——

优点:实现简单

缺点:并发量不大,存在数据库单点问题、ID 没有业务含义、安全问题(通过 ID 自增量来判断每天的订单量)、每次获取 ID 都要访问数据库

数据库号段模式

对于数据库主键自增的方法,每有一个订单就需要访问一次数据库,性能比较差。我们可以通过批量获取,存在内存中,需要用到的时候直接从内存中取即可。

以 MySQL 为例:

1、创建一个数据库表

CREATE TABLE `sequence_id_generator` (
`id` int(10) NOT NULL,
`current_max_id` bigint(20) NOT NULL COMMENT '当前最⼤id',
`step` int(10) NOT NULL COMMENT '号段的⻓度',
`version` int(20) NOT NULL COMMENT '版本号',
`biz_type` int(20) NOT NULL COMMENT '业务类型',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

current_max_id 和 step 都是用来获取批量 ID,获取的批量 ID 为:current_max_id -- current_max_id + step

version 解决并发问题(乐观锁)

2、插入一行数据

INSERT INTO `sequence_id_generator` (`id`, `current_max_id`, `step`, `version`,
`biz_type`)
VALUES(1, 0, 100, 0, 101);

3、通过 select 获取指定业务下的批量唯一 ID

SELECT `current_max_id`, `step`,`version` FROM `sequence_id_generator` where
`biz_type` = 101

4、不够用更新后重新 select

UPDATE sequence_id_generator SET current_max_id = 0+100, version=version+1 WHERE
version = 0 AND `biz_type` = 101
SELECT `current_max_id`, `step`,`version` FROM `sequence_id_generator` where
`biz_type` = 101

优缺点 ——

优点:ID 有序递增

缺点:数据库单点问题、ID 没有业务含义、安全问题

NoSQL

一般情况下,NoSQL 方案使用 Redis 多一些。我们通过 Redis 的 incr 命令即可实现对 ID 原子顺序递增。

127.0.0.1:6379> set sequence_id_biz_type 1
OK
127.0.0.1:6379> incr sequence_id_biz_type
(integer) 2
127.0.0.1:6379> get sequence_id_biz_type
"2"

为了提高可用性和并发,我们可以使用 Redis 集群。(Redis Cluster)

优缺点 ——

优点:性能不错且 ID 有序递增

缺点:和数据库主键自增方案缺点类似

算法

UUID

UUID,Universal Unique Identifier(通用唯一标识符)。UUID 包含 32 个 16 进制数字。(8-4-4-4-12)

JDK 提供了现成的生成 UUID 的方法

java">UUID.randomUUID();

UUID 可以保证唯一性,因为其生成规则包括 MAC 地址、时间戳、名字空间、随机或伪随机数、时序等元素,UUID 不会重复。但虽然 UUID 可以做到全局唯一性,但是我们很少使用它。

UUID 作为 MySQL 主键的时候非常不合适:

1、主键要尽量越短越好

2、UUID 无序,InnoDB 引擎中,数据库主键的无序性会严重影响性能(B+ 树)

UUID 优缺点 —— 

优点:生成速度快、简单易用

缺点:空间消耗大、不安全(MAC 地址泄露)、无序、没有具体业务含义、需要解决重复 ID 问题(机器时间不对的情况下,可能生成重复 ID)

Snowflake(雪花算法)

基于 Snowflake 算法的开源实现,比如美团的 Leaf.

优缺点 ——

优点:生成速度快,ID 有序自增、比较灵活(根据业务加入业务ID)

缺点:需要解决重复 ID 问题(机器时间不对导致重复 ID)

开源框架

UidGenerator

Leaf(团子)

 

Tinyid(滴滴)

 


http://www.ppmy.cn/news/1521212.html

相关文章

【前端面试】采用react前后,浏览器-解析渲染UI的变化

浏览器渲染html 浏览器解析和渲染 UI(用户界面),特别是 HTML 文档,是一个复杂的过程,涉及到多个阶段。以下是浏览器从接收 HTML 文档到显示渲染后的页面的一般步骤: 1. 下载 HTML 文档: 用户输入 URL 或点击链接时,浏览器会向服务器请求 HTML 文档。服务器响应请求,…

【简单】 猿人学web第一届 第15题 备周则意怠,常见则不疑

数据接口分析 数据接口 https://match.yuanrenxue.cn/api/match/15 请求时需要携带 page 页码,m为加密参数 cookie中没有加密信息,携带 SessionId请求即可 加密参数还原 查看数据接口对应的 requests 栈 m参数 是通过 window.m() 方法执行后得到的 打上…

[解决]Prometheus 与 Grafana进行组合,但是不显示数据与图像

问题场景描述 prometheus配合Grafana目前应该是最主流的配置了,今天接到需求,要求做一个监控的产品,除了主机基本指标的监控,还涉及到日志收集及分析预警展示及搜索。 对于这个需求还是原地爆炸,目前还是准备基…

应用层协议Http

Http协议 1.1 什么是http协议 在进行网络通信时,应用层协议一般都是程序员自己写的,但是有一些大佬其实已经定义出了一些现成的应用层协议,例如:HTTP(超文本传输协议)、FTP(文件传输协议&#…

STM32G474之使用DAC1和DAC2测试模拟比较器

STM32G474使用DAC1和DAC2的输出作为比较器输入,测试模拟比较器,方法如下: PA1的附加功能为COMP1_INP,无需映射,直接将它配置为模拟功能,就可以使用了。 将COMP1_OUT引脚映射到PA0; 采用DAC2_OUT1输出电压给…

如何用python远程测试连接redis服务器

前提条件 A:操作机(操作系统不限) B:装有redis的服务器(linux系统) 而且需要配置redis服务器允许外部连接。这个一般是在redis的配置文件里修改相关选项。redis.conf或者6379.conf就是redis的配置文件 b…

科研绘图系列:R语言基因PPI互作网络图(PPI network plot )

介绍 基因的PPT互作网络图。 加载R包 导入所需要的R包,在导入前需要用户自己安装。 library("tidyverse") library("magrittr") library("here") library("janitor") library("ggpubr") library("ComplexHeatmap&…

JavaWeb笔记整理11——Nginx反向代理Tomcat

Nginx反向代理Tomcat服务器的实现原理: Nginx 就像一个中间人,它站在你的客户端(比如浏览器)和后端服务器(比如Tomcat)之间。它的主要任务是接收来自客户端的请求,然后将这些请求转发给实际处理…

EPLAN中如何将图纸导出为PDF文件并设置页边距?

EPLAN中如何将图纸导出为PDF文件并设置页边距? 如下图所示,在项目中选中需要导出的图纸页, 如下图所示,点击上方页-----导出------PDF, 如下图所示,在弹出的窗口中设置导出文件的名称、输出目录、输出颜色,这里建议勾选“使用打印边距”, 如下图所示,继续点击下方的设…

构建数据恢复的硬件基础:MySQL中的硬件要求详解

在企业数据管理中,数据恢复的硬件要求是确保数据安全和业务连续性的关键环节。MySQL作为广泛使用的数据库系统,其数据恢复的硬件要求对于实现有效的备份策略至关重要。本文将深入探讨如何在MySQL中实现数据恢复的硬件要求,包括硬件选择、硬件…

通义说【线性代数】为什么矩阵乘以向量是一个对矩阵中列向量的线性组合

矩阵乘以向量可以被理解为该向量在矩阵所代表的空间变换下的映射结果,也可以看作是矩阵列向量的线性组合。为了更好地理解这一点,让我们从矩阵乘法的基本定义出发。 假设有一个 m n m \times n mn的矩阵 A A A和一个 n n n维列向量 x \mathbf{x} x&…

详解数据结构-栈的基本操作以及栈数组、栈链表的实现(C语言代码实现)

1. 栈的概念 在开始前,请牢记这句话:栈是一种先进后出的数据结构。 栈(stack)是限定仅在表的一端进行操作的数据结构,请联系我们前文所学的,设想一个单链表我们只能够对其链表的表尾结点进行操作&#xf…

构建全景式智慧文旅生态:EasyCVR视频汇聚平台与AR/VR技术的深度融合实践

在科技日新月异的今天,AR(增强现实)和VR(虚拟现实)技术正以前所未有的速度改变着我们的生活方式和工作模式。而EasyCVR视频汇聚平台,作为一款基于云-边-端一体化架构的视频融合AI智能分析平台,可…

qmk开源键盘 rgb_matrix_indicators_advanced_user函数

rgb_matrix_indicators_advanced_user 是 QMK 固件中用于自定义 RGB 矩阵指示器的一个钩子函数。它允许用户根据键盘状态(例如按键状态、层状态等)来动态地控制 RGB 矩阵的灯光效果。通过这个函数,您可以实现复杂的灯光效果和状态指示。 函数…

李沐讲座:大语言模型的实践经验和未来预测 | 上海交大

本文简介 本博客记录了李沐关于语言模型与职业生涯分享的精彩讲座,涵盖了大语言模型的核心要素、工程实践中的挑战,以及演讲者个人职业生涯中的心得体会。 李沐简介 李沐(Mu Li)是一位在人工智能与深度学习领域具有广泛影响力的…

5.sklearn-朴素贝叶斯算法、决策树、随机森林

文章目录 环境配置(必看)头文件引用1.朴素贝叶斯算法代码运行结果优缺点 2.决策树代码运行结果决策树可视化图片优缺点 3.随机森林代码RandomForestClassifier()运行结果总结 本章学习资源 环境配置(必看) Anaconda-创建虚拟环境…

Java并发编程实战 02 | 为什么创建线程只有一种方法?

在 Java 中,我们如何创建和使用线程?为什么说线程的创建方式本质上只有一种呢?本文将从并发编程的基础——如何创建线程开始,希望大家能够打好基础。虽然线程的创建看起来很简单,但其中还是有很多细节值得深入探讨。最…

RK3588开发板利用udp发送和接收数据

目录 1 send.cpp 2 receive.cpp 3 编译运行 4 测试 1 send.cpp #include <iostream> #include <string> #include <cstring> #include <unistd.h> #include <sys/socket.h> #include <netinet/in.h> #include <arpa/inet.h> //…

基于微信的热门景点推荐小程序的设计与实现(论文+源码)_kaic

摘 要 近些年来互联网迅速发展人们生活水平也稳步提升&#xff0c;人们也越来越热衷于旅游来提高生活品质。互联网的应用与发展也使得人们获取旅游信息的方法也更加丰富&#xff0c;以前的景点推荐系统现在已经不足以满足用户的要求了&#xff0c;也不能满足不同用户自身的个…

spring -- AOP详解

一、AOP 1 AOP简介 问题导入 问题1&#xff1a;AOP的作用是什么&#xff1f; 问题2&#xff1a;AOP有哪些使用场景&#xff1f; 问题3&#xff1a;AOP&#xff1f; 1.1 AOP简介和作用【理解】 AOP(Aspect Oriented Programming)面向切面编程&#xff0c;一种编程范式&am…