Redis的内存淘汰策略—— volatile-random

news/2024/9/19 2:05:10/ 标签: redis, 数据库, 缓存

`volatile-random` 策略简介

在 `volatile-random` 策略下,当 Redis 的内存使用达到配置的上限(`maxmemory`)时,它会随机选择一个设置了过期时间的键进行删除,直到释放出足够的内存。这种策略不会考虑键的使用频率或最近访问时间,而是纯粹随机地选择设置了 TTL 的键进行删除。

这种策略适用于以下场景:
- 需要在内存达到上限时优先删除临时数据,而不是所有数据。
- 数据访问模式不固定,且有大量临时数据。
- 需要简单且快速的内存管理方式,不考虑数据的使用频率。

思路与实现

1. **配置 Redis 的内存淘汰策略为 `volatile-random`**:
   - 在 Redis 配置文件中设置 `maxmemory` 和 `maxmemory-policy` 参数。
   
2. **实现 Java 程序**:
   - 使用 Jedis(Redis 的 Java 客户端库)连接 Redis。
   - 插入带有过期时间的数据,模拟达到内存上限。
   - 演示当内存达到上限时,Redis 如何根据 `volatile-random` 策略随机删除那些设置了 TTL 的键。

3. **展示 `volatile-random` 淘汰机制**:
   - 插入不同 TTL 的数据。
   - 当达到内存上限时,观察哪些设置了 TTL 的数据被随机删除。

 代码实现

 1. 添加依赖

确保您的项目包含 Jedis 依赖。对于 Maven 项目,在 `pom.xml` 中添加以下依赖项:


<dependency><groupId>redis.clients</groupId><artifactId>jedis</artifactId><version>4.3.1</version>
</dependency>

2. 配置 Redis

在 Redis 配置文件 `redis.conf` 中,确保设置内存上限和 `volatile-random` 策略:


maxmemory 100mb  # 设置最大内存为 100MB
maxmemory-policy volatile-random  # 设置淘汰策略为 volatile-random

 3. Java 代码示例

下面是 Java 代码,使用 Jedis 连接 Redis 并演示 `volatile-random` 策略的效果。


import redis.clients.jedis.Jedis;
import redis.clients.jedis.exceptions.JedisDataException;public class RedisVolatileRandomExample {// Redis 连接配置private static final String REDIS_HOST = "localhost";private static final int REDIS_PORT = 6379;// 数据生成配置private static final int INITIAL_LOAD = 100000; // 初始插入数据数量private static final int TEST_LOAD = 50000;     // 测试插入数据数量private static final String VALUE_PREFIX = "value_"; // 数据前缀public static void main(String[] args) {// 初始化 Redis 连接Jedis jedis = new Jedis(REDIS_HOST, REDIS_PORT);try {// 检查当前的内存淘汰策略String maxMemoryPolicy = jedis.configGet("maxmemory-policy").get(1);System.out.println("当前 Redis 的内存淘汰策略: " + maxMemoryPolicy);if (!"volatile-random".equals(maxMemoryPolicy)) {System.out.println("警告: 当前内存淘汰策略不是 volatile-random,可能需要修改 redis.conf 文件。");return;}System.out.println("开始插入初始数据...");// 1. 初始加载数据,模拟大量数据插入,每个键都有不同的过期时间for (int i = 0; i < INITIAL_LOAD; i++) {String key = "key_" + i;String value = VALUE_PREFIX + i;int ttl = (i % 300) + 1; // 设置 TTL 为 1 到 300 秒之间的随机数jedis.setex(key, ttl, value); // 仅设置了过期时间的键将被考虑if (i % 10000 == 0) {System.out.println("已插入初始数据 " + i + " 条");}}System.out.println("初始数据插入完成。");// 2. 插入更多数据,超过内存上限,触发随机淘汰机制System.out.println("插入更多数据以触发随机淘汰...");for (int i = INITIAL_LOAD; i < INITIAL_LOAD + TEST_LOAD; i++) {String key = "key_" + i;String value = VALUE_PREFIX + i;int ttl = (i % 300) + 1; // 设置 TTL 为 1 到 300 秒之间的随机数try {jedis.setex(key, ttl, value);} catch (JedisDataException e) {if (e.getMessage().contains("OOM")) {System.out.println("内存不足!无法插入更多数据。写操作被拒绝: " + key);break;} else {throw e; // 其他异常抛出}}if (i % 10000 == 0) {System.out.println("已插入测试数据 " + i + " 条");}}// 3. 验证哪些数据被淘汰System.out.println("验证哪些数据被随机淘汰...");int missCount = 0;for (int i = 0; i < INITIAL_LOAD; i++) {String key = "key_" + i;String value = jedis.get(key);if (value == null) {missCount++;}}System.out.println("初始数据中被随机淘汰的键数量: " + missCount);} finally {// 关闭 Redis 连接jedis.close();}}
}

代码解释

1. **初始化 Redis 连接**:
   - 使用 Jedis 连接到本地 Redis 实例。

2. **检查内存淘汰策略**:
   - 使用 `jedis.configGet("maxmemory-policy")` 获取当前内存淘汰策略,确保其为 `volatile-random`。

3. **插入初始数据**:
   - 使用一个 `for` 循环向 Redis 插入 10 万条数据,模拟达到内存上限的场景。
   - 每个键都有不同的 TTL(1 到 300 秒之间的随机数),以便模拟不同的存活时间。

4. **插入更多数据以触发随机淘汰机制**:
   - 继续插入额外的 5 万条数据,这将导致 Redis 达到内存上限并触发 `volatile-random` 淘汰策略。Redis 会随机选择那些设置了过期时间的键进行删除。

5. **验证哪些数据被淘汰**:
   - 遍历初始插入的 10 万条数据,统计哪些键被 `volatile-random` 策略淘汰。结果表明,数据被随机淘汰,具体哪个键被删除不可预测。

运行代码并观察结果

在运行上述 Java 代码后,Redis 将插入大量数据。一旦内存达到配置的上限,Redis 将根据 `volatile-random` 策略随机删除设置了 TTL 的键。这时,您可以观察到设置了 TTL 的数据被随机淘汰,而没有设置 TTL 的数据得以保留。

 `volatile-random` 策略的优势和限制

优势

1. **实现简单**:`volatile-random` 策略实现简单,计算开销低,因为不需要跟踪每个键的使用频率或最近访问时间。
2. **保护永久数据**:只会删除那些设置了 TTL 的键,因此持久存储的数据不会受到影响。

 限制

1. **不考虑数据的使用频率**:该策略不考虑数据的使用频率或最近访问时间,因此可能会删除一些较常用的数据,只要它们设置了 TTL。
2. **数据不确定性**:由于随机删除,某些重要数据可能会被误删,导致缓存命中率降低。

 配置和调优

为了有效利用 `volatile-random` 策略,您可以在 Redis 配置文件中进行适当设置:

- **设置合适的 `maxmemory`**:根据实际应用的内存需求和服务器的物理内存,合理设置 `maxmemory` 参数。
- **合理设置键的 TTL**:确保对每个键设置合理的 TTL 值,根据应用场景的不同,动态调整数据的存活时间。
- **监控内存使用情况**:通过 Redis 的 `INFO` 命令或其他

监控工具,定期监控 Redis 的内存使用情况,确保内存管理策略的有效性。

总结

     Redis的内存淘汰策略之一是volatile-random。这是一种随机选择的策略,用于淘汰设置了过期时间的键(即带有生存时间的键)。

当内存不足时,Redis会根据键的过期时间来选择要淘汰的键。在volatile-random策略中,Redis会随机选择带有过期时间的键,并将其从内存中删除,以释放空间。这个过程是随机的,没有明确的淘汰顺序。

volatile-random策略的优点是简单有效,可以在高并发和写入密集的情况下提供较好的性能。由于随机选择键,这也可以防止某些键过度拥有内存资源。

但是,由于随机性,volatile-random策略可能导致一些重要的键被错误地淘汰。此外,由于没有明确的淘汰顺序,可能会导致一些过期键一直占据内存,而没有及时释放空间。

volatile-random是一种简单而有效的内存淘汰策略,特别适用于写入密集和高并发的场景。但是需要注意的是,它可能会导致重要的键被错误淘汰,并且不一定能够及时释放过期键所占用的内存。


http://www.ppmy.cn/news/1520168.html

相关文章

网络安全售前入门08安全服务——Web漏洞扫描服务

目录 1.服务概述 2.服务内容 2.1代码层安全 2.2应用层安全 ​​​​​​​3.服务工具 4.​​​​​​​服务输出 1.服务概述 Web漏洞扫描服务主要针对应用系统漏洞进行扫描,主要包括扫描WEB服务器(IIS、Websphere、Weblogic、Apache等)的漏洞;识别数据库类型;扫描第三…

【原创】edge-tts与基于mpv的edge-playback,使命令行和Python的Text To Speech唾手可得

最近想用Python脚本写一个TTS的小工具。一顿查找下来&#xff0c;发现AI时代手机端上这么普遍的TTS功能&#xff0c;居然在Web上这么稀有。估计都是被云API厂商拿去赚钱了。幸好Edge浏览器还是比较良心地提供了这个功能&#xff0c;不过又是和浏览器紧密结合的。 最终功夫不负…

Zabbix结合Grafana

一、Grafana简介 Grafana 是 Graphite 和 InfluxDB 仪表盘和图形编辑器。Grafana 是开源的&#xff0c;功能齐全的度量仪表盘和图形编辑器&#xff0c;支持 Graphite&#xff0c;InfluxDB 和 OpenTSDB。 Grafana 主要特性&#xff1a;灵活丰富的图形化选项&#xff1b;可以混合…

向沐神学习笔记:GPT,GPT-2,GPT-3 论文精读【论文精读】GPT部分

系列文章目录 例如&#xff1a; 文章目录 系列文章目录一、GPT1、Abstract 二、1、2、3、 三、1、2、3、 四、1、2、3、 五、1、2、3、 六、1、2、3、 七、1、2、3、 八、1、2、3、 一、GPT 同样模型大小&#xff0c;比如一个亿模型大小的时候&#xff0c;bert的性能表现优于…

静态库为什么需要 头文件?编译的时候会编译引用的动/静态库吗?动静态库使用及区别

1、‌静态库‌在编译时直接整合到目标程序中&#xff0c;这意味着静态库中的代码会被完整地复制到最终的可执行文件中。因此&#xff0c;使用静态库编译的程序不依赖于外部库文件&#xff0c;可以在没有安装这些库的机器上独立运行‌。既然如此&#xff0c;为什么还需要头文件&…

【QNX+Android虚拟化方案】104 - MDIO Clause 22、Clause 45 条款介绍

【QNX+Android虚拟化方案】104 - MDIO Clause 22、Clause 45 条款介绍 1. Clause 22 条款通信协议2. Clause 45 条款通信协议3. 通过 Clause 22 访问 Clause 45 的寄存器3.1 读操作时序3.2 写操作时序基于原生纯净代码,自学总结 纯技术分享,不会也不敢涉项目、不泄密、不传播…

单片机原理图与PCB设计心得体会

在电子技术的学习和实践中&#xff0c;单片机原理图与 PCB 设计是至关重要的环节。通过参与相关项目的设计和制作&#xff0c;我深刻体会到了这两个环节的复杂性和挑战性&#xff0c;同时也收获了许多宝贵的经验和知识。本文将详细介绍我在单片机原理图与 PCB 设计过程中的心得…

精准设计与高效开发:用六西格玛设计DFSS实现新能源汽车开发突破

快速变化的市场需求和激烈的竞争迫使制造企业不得不持续创新和优化产品开发流程。如何在保证产品质量的前提下&#xff0c;加快产品开发周期&#xff0c;成为许多企业亟待解决的问题。六西格玛中的DFSS&#xff08;Design for Six Sigma&#xff09;模型提供了一种系统的方法&a…

视频提取字幕的软件有哪些?高效转录用这些

探索视频的奥秘&#xff0c;从字幕开始&#xff01;你是否曾被繁复的字幕处理困扰&#xff0c;渴望有一款简单好用的在线免费软件来轻松解锁字幕提取&#xff1f; 告别手动输入的烦恼&#xff0c;我们为你精选了6款视频字幕提取在线免费软件&#xff0c;它们不仅能一键转录&am…

Kubernetes 网关流量管理:Ingress 与 Gateway API

引言 随着 Kubernetes 在云原生领域的广泛使用&#xff0c;流量管理成为了至关重要的一环。为了有效地管理从外部流入集群的流量&#xff0c;Kubernetes 提供了多种解决方案&#xff0c;其中最常见的是 Ingress 和新兴的 Gateway API。 Ingress 随着微服务架构的发展&#x…

QT教程-十六,QT中如何解析JSON

一&#xff0c;对json的初步认识 &#xff08;这里我们主要说明最常用的&#xff0c;以一个宏观的概念来说一下&#xff09;&#xff0c;json是一种数据格式&#xff0c;作用就是便于传递信息&#xff0c;我们可以按其结构和对应关系&#xff0c;拿到我们想要的数据。其主要结构…

FFmpeg源码:append_packet_chunked、av_get_packet函数分析

AVPacket结构体和其相关的函数分析&#xff1a; FFmpeg存放压缩后的音视频数据的结构体&#xff1a;AVPacket简介 FFmpeg源码&#xff1a;av_init_packet、get_packet_defaults、av_packet_alloc函数分析 FFmpeg源码&#xff1a;av_packet_free_side_data、av_packet_unref、…

【LeetCode】温度转换 最小偶倍数 二叉树判断根节点

温度转换题目&#xff1a; 给你一个四舍五入到两位小数的非负浮点数 celsius 来表示温度&#xff0c;以 摄氏度&#xff08;Celsius&#xff09;为单位。 你需要将摄氏度转换为 开氏度&#xff08;Kelvin&#xff09;和 华氏度&#xff08;Fahrenheit&#xff09;&#xff0c…

Spring Cloud全解析:网关之GateWay简介

GateWay简介 由于zuul升级为zuul2时&#xff0c;netflix公司内部出现了分歧&#xff0c;所以springcloud自己研发了一套网关gateway&#xff0c;提供一种简单有效的方式来对API进行路由&#xff0c;以及提供一些强大的过滤器功能&#xff0c;如&#xff1a;熔断、限流、重试等…

从零开始实现一个简单的 Git 操作实例

本文通过创建一个简化版的版本控制系统,展示 Git 的核心操作,如初始化仓库、提交更改、查看历史记录等。为了更好地理解这些操作,我们会结合图示来说明。 1. 初始化仓库 在 Git 中,初始化仓库的命令是 git init。这个命令会在当前目录创建一个新的 Git 仓库,生成一个 .g…

Spring之整合Mybatis底层源码解析

整合核心思路 由很多框架都需要和Spring进行整合&#xff0c;而整合的核心思想就是把其他框架所产生的对象放到Spring容器中&#xff0c;让其成为Bean。 ​ 比如Mybatis&#xff0c;Mybatis框架可以单独使用&#xff0c;而单独使用Mybatis框架就需要用到Mybatis所提供的一些类…

Hive的存储格式

文章目录 Hive的存储格式1.存储格式简介2.行存储与列存储行式存储列式存储混合的 PAX 存储结构 TextFileSequenceFile Hive的存储格式 1.存储格式简介 Hive支持的存储数的格式主要有&#xff1a;TEXTFILE(默认格式) 、SEQUENCEFILE、RCFILE、ORCFILE、PARQUET。 textfile为默…

【go-zero】goctl笔记

goctl笔记 通过api文件生成go-zero项目 goctl api go --api .\greet.api --dir . --style goZero 快速生成一个api文件 goctl api -o zd.api 校验api文件 goctl api validate --api zd.api 格式化api文件 goctl api format --dir zd.api 快速生成一个http服务 goctl api n…

零基础入门转录组数据分析——预后模型之随机生存森林模型

零基础入门转录组数据分析——预后模型之随机生存森林模型 目录 零基础入门转录组数据分析——预后模型之随机生存森林模型1. 预后模型和随机生存森林模型基础知识2. 随机生存森林模型&#xff08;Rstudio&#xff09;——代码实操2. 1 数据处理2. 2 构建随机生存森林模型&…

应用层(Web与HTTP)

目录 常见术语 1.HTTP概况 2.HTTP连接 非持久HTTP流程 响应时间模型 持久HTTP 3.HTTP报文 3.1HTTP请求报文 3.2HTTP响应报文 HTTP响应状态码 4.Cookies&#xff08;用户-服务器状态&#xff09; cookies&#xff1a;维护状态 Cookies的作用 5.Web缓冲&#xff08;…