6、Redis系统-数据结构-07-QuickList

ops/2024/10/18 10:16:24/

七、快速列表(QuickList)

快速列表(QuickList)是 Redis 中用于实现列表(List)类型的一种高效数据结构。它结合了双向链表和压缩列表的优点,既支持高效的顺序访问,又能有效节省内存。

1. 结构设计

快速列表的基本思想是将多个压缩列表(ziplist)节点连接成一个双向链表。每个快速列表节点包含一个压缩列表,快速列表节点通过双向链表连接在一起。这样,快速列表既能利用压缩列表的内存紧凑性,又能利用链表的高效插入和删除操作。

typedef struct quicklist {quicklistNode *head;      // 快速列表头节点quicklistNode *tail;      // 快速列表尾节点unsigned long count;      // 快速列表中的元素总数量unsigned long len;        // 快速列表中的节点数量int fill : QL_FILL_BITS;  // 节点的填充因子unsigned int compress : QL_COMP_BITS;  // 压缩深度quicklistBookmark bookmarks[];  // 书签,用于快速定位
} quicklist;
快速列表的结构
  1. 快速列表(quicklist):快速列表结构包含指向头节点和尾节点的指针、元素总数量、节点数量、节点填充因子和压缩深度等。
  2. 快速列表节点(quicklistNode):每个节点包含前后指针、压缩列表指针、压缩列表大小、节点中元素数量等。
typedef struct quicklistNode {struct quicklistNode *prev;   // 前一个节点struct quicklistNode *next;   // 后一个节点unsigned char *zl;            // 压缩列表指针unsigned int sz;              // 压缩列表大小unsigned int count : 16;      // 节点中元素数量unsigned int encoding : 2;    // 编码类型unsigned int container : 2;   // 容器类型unsigned int recompress : 1;  // 重新压缩标志unsigned int attempted_compress : 1;  // 尝试压缩标志unsigned int extra : 10;      // 额外空间
} quicklistNode;
节点的设计
  • prev 和 next:分别指向前一个节点和后一个节点,实现双向链表结构。
  • zl:指向实际存储数据的压缩列表。
  • sz:压缩列表的大小。
  • count:节点中包含的元素数量。
2. 快速列表的优点
  1. 内存紧凑:快速列表通过使用压缩列表来存储数据,减少了内存碎片,提高了内存利用率。
  2. 高效操作:快速列表支持在列表两端进行高效的插入和删除操作,适用于需要频繁操作的场景。
  3. 灵活性:通过双向链表结构,快速列表可以在需要时扩展或压缩,适应不同大小的数据集。
3. 操作原理
插入操作

插入新元素时,首先找到合适的节点(通常是头节点或尾节点),然后将新元素插入到节点的压缩列表中。如果当前节点已满,则创建一个新的节点,并将元素插入到新节点中。这样可以保证插入操作的高效性。

  • 在头部插入:新元素插入到头节点的压缩列表中,如果头节点满了,则创建一个新的头节点。
  • 在尾部插入:新元素插入到尾节点的压缩列表中,如果尾节点满了,则创建一个新的尾节点。
删除操作

删除元素时,首先找到包含该元素的节点,然后在压缩列表中删除元素。如果节点变为空节点,则将节点从快速列表中移除。这样可以保证删除操作的高效性。

  • 删除头部元素:从头节点的压缩列表中删除元素,如果头节点空了,则移除头节点。
  • 删除尾部元素:从尾节点的压缩列表中删除元素,如果尾节点空了,则移除尾节点。
查找操作

查找元素时,通过遍历快速列表节点,查找包含目标元素的压缩列表,然后在压缩列表中查找目标元素。这样可以保证查找操作的高效性。

  • 顺序查找:从头节点开始,依次遍历每个节点的压缩列表,直到找到目标元素。
  • 逆序查找:从尾节点开始,依次遍历每个节点的压缩列表,直到找到目标元素。
4. 快速列表的优化策略
压缩和填充因子

快速列表的填充因子用于控制每个压缩列表节点的大小。合理设置填充因子可以平衡内存利用率和操作性能。填充因子越大,每个节点包含的元素越多,内存利用率越高,但插入和删除操作的性能可能会下降;填充因子越小,每个节点包含的元素越少,插入和删除操作的性能越高,但内存利用率可能会下降。

压缩深度

快速列表的压缩深度用于控制数据压缩的程度。合理设置压缩深度可以进一步节省内存。压缩深度越大,压缩列表节点之间的数据压缩程度越高,内存利用率越高,但解压缩操作的开销可能会增加;压缩深度越小,压缩列表节点之间的数据压缩程度越低,解压缩操作的开销较小,但内存利用率可能会下降。

5. 使用示例

以下是一些使用 Redis 快速列表的示例,展示了如何利用快速列表进行数据的存储和操作。

插入数据

LPUSH mylist "hello"
LPUSH mylist "world"
RPUSH mylist "foo"
RPUSH mylist "bar"

获取数据

LRANGE mylist 0 -1
# 1) "world"
# 2) "hello"
# 3) "foo"
# 4) "bar"

删除数据

LPOP mylist
# "world"RPOP mylist
# "bar"LRANGE mylist 0 -1
# 1) "hello"
# 2) "foo"
结论

通过上述解析,我们可以更好地理解快速列表的设计思想和实现原理,从而在实际开发中更好地利用快速列表提供的优势。在 Redis 中,快速列表通过结合双向链表和压缩列表的优点,实现了高效的存储和操作,适用于需要频繁插入、删除和查找的场景。了解快速列表的内部实现,可以帮助我们在实际应用中更好地利用 Redis 的性能和功能。


http://www.ppmy.cn/ops/56657.html

相关文章

自然语言处理基本概念

自然语言处理基本概念 所有学习循环神经网络的人都是看这一篇博客长大的: https://colah.github.io/posts/2015-08-Understanding-LSTMs/ import jieba import torch from torch import nns1 "我吃饭了!" s2 "今天天气很好&#xff01…

html转markdown nodejs实现

用到了jsdom库,直接现成处理html标签结构,只需要关心format格式化样式即可。 比较简易,待后续优化,目前只是短时间批量转换html文件。 const { JSDOM } require(jsdom);const getText (htmlString) > {if (!htmlString) re…

MySQL数字相关数据处理函数

目录 1. 随机数生成 rand ( ) 2. 四舍五入 round() 3. 舍去 truncate ( ) 4. 向上/下取整 5. 空处理 ifnull( x , y ) 1. 随机数生成 rand ( ) rand ( ) 生成 0 到 1 的随机数; rand ( x ) 生成 0 到 1 的随机数…

Nacos2.X源码分析:服务注册、服务发现流程

文章目录 Nacos2.1.X源码源码下载服务注册NacosClient端NacosServer端 服务发现NacosClient端NacosServer端 Nacos2.1.X源码 源码下载 源码下载地址 服务注册 官方文档,对于NamingService接口服务注册方法的说明 Nacos2.X 服务注册总流程图 NacosClient端 一个…

【排序算法】—— 快速排序

快速排序的原理是交换排序,其中qsort函数用的排序原理就是快速排序,它是一种效率较高的不稳定函数,时间复杂度为O(N*longN),接下来就来学习一下快速排序。 一、快速排序思路 1.整体思路 以升序排序为例: (1)、首先随…

快速掌握 ==== js 正则表达式

git 地址 https://gitee.com/childe-jia/reg-test.git 背景 在日常开发中,我们经常会遇到使用正则表达式的场景,比如一些常见的表单校验,会让你匹配用户输入的手机号或者身份信息是否规范,这就可以用正则表达式去匹配。相信大多数…

Ubuntu开源软件LibreOffice将Excel多表转PDF多目录示例

一、实现的起因: Windows平台下,常见的WPS办公自动化套件中电子表格软件,其中具备将Excel工作表中数据转为PDF文档表格的功能。现在进一步的需求是:像PDF标准的电子书那样,具备一本书的目录结构或章节结构&#xff0c…

python工作中遇到的坑

1. 字典拷贝 有些场景下,需要对字典拷贝一个副本。这个副本用于保存原始数据,然后原来的字典去参与其他运算,或者作为参数传递给一些函数。 例如, >>> dict_a {"name": "John", "address&q…