Redis 数据库源码分析

devtools/2025/1/8 19:42:36/

Redis 数据库源码分析

我们都知道Redis是一个 <key,value> 的键值数据库,其实也就是一个 Map。如果让我来实现这样一个 Map,我肯定是用数组,当一个 key 来的时候,首先进行 hash 运算,接着对数据的 length 取余,把这个键值对放在对应位置。

设计与分析

我们来看一下 Redis 的设计:

typedef struct redisDb {dict *dict;                 /* The keyspace for this DB */dict *expires;              /* Timeout of keys with a timeout set */dict *blocking_keys;        /* Keys with clients waiting for data (BLPOP)*/dict *ready_keys;           /* Blocked keys that received a PUSH */dict *watched_keys;         /* WATCHED keys for MULTI/EXEC CAS */int id;                     /* Database ID */long long avg_ttl;          /* Average TTL, just for stats */list *defrag_later;         /* List of key names to attempt to defrag one by one, gradually. */
} redisDb;typedef struct dict {dictType *type;void *privdata;dictht ht[2];long rehashidx; /* rehashing not in progress if rehashidx == -1 */unsigned long iterators; /* number of iterators currently running */
} dict;typedef struct dictht {dictEntry **table;unsigned long size;unsigned long sizemask;unsigned long used;
} dictht;typedef struct dictEntry {void *key;union {void *val;uint64_t u64;int64_t s64;double d;} v;struct dictEntry *next;
} dictEntry;

以上是 Redis 的相关源代码,接下来分别对其进行分析:

redisDb其实就是我们说的数据库redis 有16个这样的数据库,其中的 dict *dict 就是我们数据存放的字段

typedef struct redisDb {dict *dict;                 /* The keyspace for this DB */dict *expires;              /* Timeout of keys with a timeout set */dict *blocking_keys;        /* Keys with clients waiting for data (BLPOP)*/dict *ready_keys;           /* Blocked keys that received a PUSH */dict *watched_keys;         /* WATCHED keys for MULTI/EXEC CAS */int id;                     /* Database ID */long long avg_ttl;          /* Average TTL, just for stats */list *defrag_later;         /* List of key names to attempt to defrag one by one, gradually. */
} redisDb;

再看一下 dict 结构体的设计:

typedef struct dict {dictType *type;void *privdata;dictht ht[2];long rehashidx; /* rehashing not in progress if rehashidx == -1 */unsigned long iterators; /* number of iterators currently running */
} dict;

dictType *type里有一堆函数指针,当有 key 来时,需要通过函数指针里的 hash 函数求 hash 值,对数组长度取余后还要调用比较函数判断对应位置的 key 与当前 key 是否相等(原因是会有 hash 冲突,redis 首先使用链表法解决冲突,头插法)

dictht ht[2],一般情况下 ht[1] 都是指向 NULL,只有在 rehash 的时候才有值。Redis 使用两个数组,当需要扩容时,读请求首先从 ht[0] 读,没有的话再去 ht[1],写请求直接写 ht[1],更新请求后续再说。(TBD:什么时候扩容?扩容时的扩容大小?rehash 时的请求处理?)

rehashidx,rehash 的索引,如果是-1,代表此时没有进行 rehash,否则代表需要进行迁移的数组下标。

再看一下dictht结构体的设计,ht,即 hashtable,学 java 的应该很熟悉

typedef struct dictht {dictEntry **table;unsigned long size;unsigned long sizemask;unsigned long used;
} dictht;

dictEntry **table:一个dictEntry指针数组。key的哈希值最终映射到这个数组的某个位置上(对应一个bucket)。如果多个key映射到同一个位置,就发生了冲突,那么就拉出一个 dictEntry 链表。

size:标识dictEntry指针数组的长度。它总是2的指数。

sizemask:key 的 hash 值对 size 取模的结果其实等于 hash 值 & (size - 1),而且%运算会一直除,而&运算一次到位。

used:记录dict中现有的数据个数。它与size的比值就是装载因子(load factor)。这个比值越大,哈希值冲突概率越高。

最终的数据是在 dictEntry 中,一起来看下:

typedef struct dictEntry {void *key;union {void *val;uint64_t u64;int64_t s64;double d;} v;struct dictEntry *next;
} dictEntry;

一个 key 的指针,一个 value 的指针,由于 hash 函数可能会冲突,所以还有 next 指针用来解决冲突(链表法)。

图示

经过上述分析,我们可以得到这样的一个 Redis 结构图

image-20250106162507568

至于其中的 SDSredisObject,其实是 Redis 的内部数据结构,如果有机会的话后续再写。

参考资料

【1】Redis(5.0.8)源码

【2】哔哩哔哩-Redis底层设计与源码分析


http://www.ppmy.cn/devtools/148976.html

相关文章

【ROS2】☆ launch之Python

☆重点 ROS1和ROS2其中一个很大区别之一就是launch的编写方式。在ROS1中采用xml格式编写launch&#xff0c;而ROS2保留了XML 格式launch&#xff0c;还另外引入了Python和YAML 编写方式。选择哪种编写取决于每位开发人员的爱好&#xff0c;但是ROS2官方推荐使用Python方式编写…

单片机实物成品-010 智能宠物喂食系统(代码+硬件+论文)

项目介绍 版本1&#xff1a;oled显示定时投喂&#xff08;舵机模拟&#xff09;声光报警显示实时时间 ---演示视频&#xff1a; 智能宠物喂食001_哔哩哔哩_bilibili 1. STM32F103C8T6 单片机进行数据处理 2. OLED 液晶显示 3&#xff0c;按键1 在数据显示界面时按下按键1切…

python_excel列表单元格字符合并、填充、复制操作

读取指定sheet页&#xff0c;根据规则合并指定列&#xff0c;填充特定字符&#xff0c;删除多余的列&#xff0c;每行复制四次&#xff0c;最后写入新的文件中。 import pandas as pd""" 读取指定sheet页&#xff0c;根据规则合并指定列&#xff0c;填充特定字…

30、论文阅读:基于小波的傅里叶信息交互与频率扩散调整的水下图像恢复

Wavelet-based Fourier Information Interaction with Frequency Diffusion Adjustment for Underwater Image Restoration 摘要介绍相关工作水下图像增强扩散模型 论文方法整体架构离散小波变换与傅里叶变换频率初步增强Wide Transformer BlockSpatial-Frequency Fusion Block…

从零手写线性回归模型:PyTorch 实现深度学习入门教程

系列文章目录 01-PyTorch新手必看&#xff1a;张量是什么&#xff1f;5 分钟教你快速创建张量&#xff01; 02-张量运算真简单&#xff01;PyTorch 数值计算操作完全指南 03-Numpy 还是 PyTorch&#xff1f;张量与 Numpy 的神奇转换技巧 04-揭秘数据处理神器&#xff1a;PyTor…

go怎么终止协程的运行

在Go语言中&#xff0c;**协程&#xff08;goroutine&#xff09;**是由Go的运行时&#xff08;runtime&#xff09;管理的轻量级线程。一旦启动&#xff0c;协程会持续运行直到它执行完毕或发生异常。Go语言本身没有显式的“停止”或“关闭”协程的机制&#xff0c;协程的生命…

C 实现植物大战僵尸(三)

C 实现植物大战僵尸&#xff08;三&#xff09; 十 实现豌豆子弹 原设计 这里的设计思路和原 UP 主思路差异比较大&#xff0c;罗列如下 原作中只要僵尸在出现在某条道路上&#xff0c;且存在豌豆射手&#xff0c;豌豆射手就会发射子弹&#xff0c;&#xff08;这里是网页在…

人工智能AI学习路径

一、打好基础 1. 数学基础 - 线性代数&#xff1a;这是 AI 的基石之一。矩阵和向量的运算在神经网络等许多 AI 算法中无处不在。例如&#xff0c;在深度学习中&#xff0c;图像可以被表示为一个矩阵&#xff0c;通过矩阵乘法等操作进行特征提取。你需要理解矩阵的基本运算&…