Redis 如何解决大 key 问题

news/2025/1/12 22:26:21/

前言

嗨👋,大家好,我是雪荷。做为一个后端开发,Redis 是我们经常接触到的一个非关系行数据库。其对我们系统开发和优化有着举足轻重的作用,但是随着业务和用户迅速增长,也会滋生许多的问题,而大 key 就是其中之一。

什么是大 key?

顾名思义,大 key 就是占用内存很大的 key,当然这是我们开发者认为的,而官方对于此概念没有明确的解释。

根据阿里巴巴开发规范解释,有以下 3 种情况可以判定为大 key:

  1. string 类型的数据大于 1M

  2. hash 类型的数据大于 100M

  3. zset 类型的数据成员超过 1000 个

当然以上是阿里给的一个参考,具体还得看业务和服务器配置。

如何解决大 key 呢?

找出大 key

在解决大 key 之前,需要找到哪些是大 key,可以通过redic-cli --bigkeys查看大 key。

解决大 key

开发层面

在开发层面我们可以:

  1. 对数据进行压缩,减少数据的体积

  2. 将大 key 拆分为多个小 key

  3. 选择合适的数据结构,如对象利用 hash 存储,列表用 set 或者 list 存储,对于需要排序的列表用 zset 存储

业务层面
  1. 仅存储必要或者重要的数据字段,比如存储用户时,对于地址或者年龄等字段进行舍弃存储

数据分布层面

如果我们项目搭建了 redis 集群,可以将大 key 进行拆分,并分散到不同服务器实例上。

开源项目

开源项目

网址:厚米匹配系统

前端地址:GitHub - dnwwdwd/homieMatching-fronted: homie 匹配系统前端,基于 vuehomie 匹配系统是一个移动端网页的在线云交友平台。实现了按标签匹配、查找用户,基于 Redis GEO 实现搜索附近用户,同时个人还可以建队、组队以打造个人学习队伍。除了添加好友、搜索好友外,还基于 Websocket 实现好友间私聊,方便用户寻找志同道合的学习搭子。

后端地址:GitHub - dnwwdwd/homieMatching: homie 匹配系统是一个移动端网页的在线云交友平台。实现了按标签匹配、查找用户,基于 Redis GEO 实现搜索附近用户,同时个人还可以建队、组队以打造个人学习队伍。除了添加好友、搜索好友外,还基于 Websocket 实现好友间私聊,方便用户寻找志同道合的学习搭子。

欢迎👏大家体验网站也帮忙给我点点🌟哈,真的十分感谢各位,如果任何讲的不对的地方请及时指正。另外,最近在重构 BI 项目(GitHub - dnwwdwd/Lingxi-BI: 灵犀BI-专业的智能生成商业报表的项目),感兴趣的可以点点🌟,谢谢大家。


http://www.ppmy.cn/news/1562618.html

相关文章

vscode 无法使用npm, cmd命令行窗口可以正常执行

解决方法: 执行命令获得命令的位置 get-command npm 得到如下 然后删除或者修改 npm.ps1文件 让其不能使用就行。然后重启vscode即可。 pnpm 同理即可 另外加速源 国内镜像源(淘宝): npm config set registry https://regist…

Pulsar客户端如何控制内存使用

Pulsar客户端如何控制内存使用 一、使用场景 在实际应用中,Pulsar客户端的内存使用控制是一个重要的性能优化点。假设有一个搜索类业务需要记录用户搜索请求,以便后续分析搜索热点和优化搜索效果。以下是一个简化的代码示例: PulsarClient…

HTML前端从零开始

第一天 HTML部分 什么是HTML HTML(Hypertext Markup Language)超文本标记语言。HTML是万维网的基石。 超: 超字第一层意义是指最重要的标签,超链接标签 超越文本的意思 HTML的发展历程 HTML1990年出现,web之父…

企业级PHP异步RabbitMQ协程版客户端 2.0 正式发布

概述 workerman/rabbitmq 是一个异步RabbitMQ客户端,使用AMQP协议。 RabbitMQ是一个基于AMQP(高级消息队列协议)实现的开源消息组件,它主要用于在分布式系统中存储和转发消息。RabbitMQ由高性能、高可用以及高扩展性出名的Erlan…

【快速了解】ENVI基础入门

目录 1.1 实习目的 1.2 实习主要内容 1.3 实习数据 1.4 实习内容 1.4.1 ENVI工作界面 1.4.2 ENVI基本设置 1.4.3 ENVI基本操作 打开和关闭文件 显示文件 信息查看与统计 链接显示 像元定位 显示剖面 1.5 实习总结 1.1 实习目的 通过学习和操作ENVI软件&#xff…

设计一个利用事务特性可以阻塞线程的排他锁,并且通过注解和 AOP 来实现

设计思路: 利用数据库表记录锁标识:通过唯一标识符(如方法名 参数),我们可以在数据库中插入一条记录,表示当前方法正在执行。这条记录需要记录插入时间。 注解:通过注解标识哪些方法需要加锁&a…

Jupyter Notebook 安装PyTorch

1、判断当前环境 通过如下命令可以看出是Anaconda 环境 2、Anaconda 环境安装 PyTorch 2.1 要执行的命令 如果你使用的是 Anaconda 环境,可以使用以下命令来安装 PyTorch: conda install pytorch -c pytorch 2.2 执行遇到的问题:没有权…

【网络安全渗透测试零基础入门】之XSS攻击获取用户cookie和用户密码(实战演示)

前言 大家好,我是demon 这是demon给粉丝盆友们整理的网络安全渗透测试入门阶段XSS攻击教程。 本阶段主要讲解XSS攻击获取用户cookie和用户密码。 喜欢的朋友们,记得给晓晓点赞支持和收藏一下,关注我,学习黑客技术。 简介 该…