利用etcd实现分布式锁

news/2024/9/23 4:21:42/

python etcd3模块的lock使用

观察lock的加解锁影响

在python中已经自带了分布式锁的实现方式,下面我们尝试一下加锁与解锁的流程

在运行该demo同时也对lock对应的key进行watch,观察其变化,注意python-etcd3在实现分布式锁的时候,采用的key需要加上prefix:
在这里插入图片描述
在这里插入图片描述

结果如下:

当获取到锁的时候value改变,当release的时候锁value为空,此时cancel掉对当前key的watch
在这里插入图片描述

使用

下面的例子中,我们在程序1中先获取分布式锁,之后启动程序2进行尝试获取锁,根据is_acquired结果可知,没有获取成功。
在这里插入图片描述

注意,这里无论try-lock的key是不是和其他程序一样,都会失败

在这里插入图片描述

因为底层判断是否获取到锁,是看同目录下自己操作的revision是不是最小。而底层的目录都是/locks

实现学习

尽管etcd3模块集成了分布式锁,但是我们可以学习一下其实现方式,从而熟悉etcd的接口,以后可以借此组合出其他的应用。

我们需要依赖etcd的如下特性:

  • lease机制,为存储的kv设置租约,当租约到期,kv失效删除,同时也支持续租

  • revision机制,每一个key带有一个revision属性,etcd每进行一次事务,对应的全局revision都会+1,因此每个key对应的revision属性值都为全局唯一,比较revision大小可以知道写操作的顺序(需要验证一下)

    如下,我们顺序进行两次put操作:

import etcd3
import json
import time
etcd = etcd3.client(host='127.0.0.1', port=2379)print(etcd.put('demo/key1', 'doot'))
print(etcd.put('demo/key2', 'doot'))
结果如下,可以看到revision也是递增的
header {cluster_id: 17237436991929493444member_id: 9372538179322589801revision: 71raft_term: 11
}header {cluster_id: 17237436991929493444member_id: 9372538179322589801revision: 72raft_term: 11
}
  • 在实现分布式锁时,多个程序同时枪锁,根据revision值大小依次获得锁,避免惊群效应
  • prefix机制,根据前缀目录获取该目录下所有的key以及对应的属性(key、value、revision)
  • watch机制,watch某个key或者目录,当被watch的key或者目录发生变化,客户端收到通知

实现逻辑

1、客户端连接etcd,以lock/mylock为前缀创建全局唯一的key

假设第一个client对应的key为:key = lock/mylock/uuid1

第二个client对应的key为:key = lock/mylock/uuid2

每个客户端分别为自己的key创建lease,租约的ttl取决于业务耗时,这里假设为15s

2、创建定时任务作为续租的心跳

当一个client持有锁期间了,其他客户端只能等待,为了避免等待期间租约失效,客户端需要创建一个定时任务作为心跳进行续约。

若持有锁期间client崩溃,心跳停止,key会因为租约到期而被删除,从而锁释放,避免死锁

3、client将自己全局唯一的key写入etcd

进行put操作,将1中创建的key与lease绑定写入etcd。

根据revision机制,假设两个client的put操作返回的revision分别为1,2;客户端需要记录revision用以接下来判断自己是否获得锁

4、client判断是否获得锁

client以前缀lock/mylock读取kv列表,判断自己的key的revision是否为当前列表中最小的;

如果是,认为获得锁;

如果不是,监听列表中前一个revision比自己小的key的删除事件,一旦监听到删除事件或者因lease失效而删除的事件,则自己获得锁

5、执行业务

获得锁后,操作共享资源,执行业务代码

6、释放锁

完成业务流程后,删除对应的key,释放锁。

参考

http://www.xuyasong.com/?p=1789#_ETCD-2


http://www.ppmy.cn/news/387615.html

相关文章

516. 最长回文子序列

给定一个字符串s,找到其中最长的回文子序列。可以假设s的最大长度为1000。 示例 1: 输入: "bbbab"输出: 4一个可能的最长回文子序列为 "bbbb"。 示例 2: 输入: "cbbd"输出: 2一个可能的最长回文子序列为 "bb"。

代码随想录Day57-LeetCode 647 516

647-回文子串 题目链接:LeetCode-647中等 思考 情况一:下标i 与 j相同,同一个字符例如a,当然是回文子串 情况二:下标i 与 j相差为1,例如aa,也是回文子串 情况三:下标:i…

【动态规划】LeetCode - 516. 最长回文子序列

516. 最长回文子序列 题目描述 给定一个字符串 s ,找到其中最长的回文子序列,并返回该序列的长度。可以假设 s 的最大长度为 1000 。 示例 1: 输入: “bbbab” 输出: 4 一个可能的最长回文子序列为 “bbbb”。 示例 2: 输入: “cbbd” 输出: 2 一…

力扣:516.最长回文子序列

一开始以为是最长回文子串&#xff0c;这题就跟上题基本一致了&#xff0c;代码如下。但是题目所说的是最长回文子序列&#xff0c;此时就相当于做了两题了。 最长回文子串代码&#xff1a; class Solution { public:int longestPalindromeSubseq(string s) {vector<vector…

D-OJ刷题日记:有向图的邻接表表示法验证程序 题目编号:516

用邻接表表示有向图&#xff0c;完成图的创建、图的深度优先遍历、图的广度优先遍历操作。其中图的顶点信息是字符型&#xff0c;图中顶点序号按字符顺序排列&#xff0c;边的输入按照边的顶点序号从小到大的顺序排列&#xff0c;如下图的边的输入顺序为0 1&#xff0c;0 2&…

LeetCode:516. 最长回文子序列

516 最长回文子序列 给定一个字符串s&#xff0c;找到其中最长的回文子序列。可以假设s的最大长度为1000。 示例 1: 输入: “bbbab” 输出: 4 一个可能的最长回文子序列为 “bbbb”。 示例 2: 输入: “cbbd” 输出: 2 一个可能的最长回文子序列为 “bb”。 1 解法1&#xff1…

leetcode 516:最长回文子序列

leetcode 516. 最长回文子序列 题目描述&#xff1a;给定一个字符串s&#xff0c;找到其中最长的回文子序列。可以假设s的最大长度为1000。 解题步骤&#xff1a;解决此类问题可以采用动态规划 dp[i][j]表示从第i个字符到第j个字符之间的最长回文子串。该问题类似于01背包问题 …

ios拷贝文件,error code 516

今天写了一段拷贝文件的代码&#xff1a; NSBundle *bundle[NSBundle mainBundle];NSString *srcPath[bundle pathForResource:"images" ofType:"zip"];// Bundle内的images.zip文件NSString *enterprisePath [imagesPath stringByAppendingPathComponent…