Redis(高阶篇)02章——BigKey

news/2025/2/22 4:05:30/

一、面试题

  1. 阿里广告平台,海量数据里查询某一个固定前缀的key
  2. 小红书,你如何生产上限制 keys* /flushdb/flushall等危险命令以防止阻塞或误删数据?
  3. 美团,memory usage命令你用过吗?
  4. BigKey问题,多大算big?你如何发现?如何删除?如何处理?
  5. BigKey你做过调优吗?惰性释放lazyfree了解过吗?
  6. morekey问题,生产上redis数据库有1000W记录,你如何遍历数据? keys *可以吗?

二、MoreKey案例

(1)大批量往redis里面插入2000W测试数据key

2.1.1Linux Bash下面执行,插入100W数据

  1. 生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中
  2. for((i=1;i<=100*10000;i++)); do echo "set k$i v$i" >> /tmp/redisTest.txt ;done;

2.1.2通过redis提供的管道-pipe命令插入100W大批量数据

cat /tmp/redisTest.txt | redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe

(2)某快递巨头真实生产案例新闻

2.2.1新闻

2.2.2keys * 试试100W花费多少秒遍历查询

 

2.2.3生产上限制 keys * /flushdb/flushall等危险命令以防止误删误用?

  1. 输入keys */flushdb/flushall等命令时,同时按下Tab键会有提示
  2. 通过配置设置禁用这些命令,redis.conf在SECURITY这一项中

(3)不用keys *避免卡顿,那该用什么

2.3.1scan命令登场

  1. SCAN | Docs
  2. Redis SCAN 命令 递增地遍历key空间
  3. 一句话,类似MySQL limit,但是不完全相同

2.3.2Scan命令用于迭代数据库中的数据库

  1. 语法
  2. 特点:                                                                                                                                        
  3. 使用:                                                                                                                                        

三、BigKey案例

(1)多大算Big

通常我们说的BigKey,不是在值的Key很大,而是指的Key对应的value很大

3.1.1参考《阿里云Redis开发规范》

3.1.2string和二级结构

(1)string是value,最大512MB但是≥10KB就是bigkey
(2)list、hash、set和zset,value个数超过5000就是bigkey

(2)哪些危害

  1. 内存不均,集群迁移困难
  2. 超时删除,大key删除作梗
  3. 网络流量阻塞

(3)如何产生

(4)如何发现

3.4.1redis-cli --bigkey

3.4.2memory usage 键

  1. 英文官网:MEMORY USAGE | Docs 
  2. 中文官网:MEMORY USAGE | Docs
  3. 计算每个键值的字节数

(5)如何删除

3.5.1参考《阿里云Redis开发规范》

3.5.2官网

  1. SCAN | Docs
  2. Redis SCAN 命令 递增地遍历key空间

3.5.3普通命令

(1)String

一般用del,如果过于庞大使用unlink key 删除

(2)hash
  1. 使用hscan每次获取少量field-value,再使用hdel删除每个field
  2. 命令:                                                                                                                                        
  3. 阿里手册
(3)list
  1. 使用ltrim渐进式逐步删除,直到全部删除完成
  2. 命令
  3. 阿里手册
(4)set
  1. 使用sscan每次获取部分元素,在使用srem命令删除每个元素
  2. 命令:                                                                                                                                        
  3. 阿里手册
(5)zset
  1. 使用zscan每次获取部分元素,在使用zremrangebyrank命令删除每个元素
  2. 命令
  3. 阿里手册

四、BigKey生产调优

redis.conf配置文件LAZY FREEING相关说明

  1. 阻塞和非阻塞删除命令:
  2. 优化配置

http://www.ppmy.cn/news/1574048.html

相关文章

最优化方法-牛顿法

牛顿法 泰勒级数 泰勒级数展开 $$ \begin{aligned} f(x)&\lim\limits_{n\rightarrow \infin}\sum\limits_{i1}n\frac{1}{n!}f{(n)}(x_0)(x-x_0)^n\ &f(x_0)f’(x_0)(x-x_0)\frac{f’(x_0)}{2!}(x-x_0)2\cdots\frac{1}{n!}fn(x_0)(x-x_0)^n\ &\quad~ O\left[(x-x_…

拼多多面试题记录

0 问题汇总 以下内容为经过豆包的回答,不一定对,只为自己学习使用 1 C++11有哪些新特性? 语言易用性增强 统一的初始化语法 C++11 引入了花括号初始化器(列表初始化),可以用于各种类型的初始化,包括基本类型、数组、容器等,并且可以防止窄化转换。 自动类型推导 auto …

OmniHuman:一张图+音频生成逼真视频

人工智能咨询培训老师叶梓 转载标明出处 想要掌握如何将大模型的力量发挥到极致吗&#xff1f;叶老师带您深入了解 Llama Factory —— 一款革命性的大模型微调工具&#xff08;限时免费&#xff09;。 1小时实战课程&#xff0c;您将学习到如何轻松上手并有效利用 Llama Facto…

基于SpringBoot+Vue高校就业领航管理系统

作者简介&#xff1a;✌CSDN新星计划导师、Java领域优质创作者、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流。✌ 主要内容&#xff1a;&#x1f31f;Java项目、Python项目、前端项目、PHP、ASP.NET、人工智能…

面试知识点2

文章目录 1. Linux 与 DockerLinux 基本指令VMware 安装 CentOSDocker 拉取镜像创建容器、部署 Spring Boot 项目 2. 关系型数据库 MySQL数据库语法多表关联查询数据库索引 3. 事务与死锁事务的隔离级别死锁的原因和避免方法 4. 排序算法与数据结构二分查找快速排序常见数据结构…

java面试场景问题

还在补充&#xff0c;这几天工作忙&#xff0c;闲了会把答案附上去&#xff0c;也欢迎各位大佬评论区讨论 1.不用分布式锁如何防重复提交 方法 1&#xff1a;基于唯一请求 ID&#xff08;幂等 Token&#xff09; 思路&#xff1a;前端生成 一个唯一的 requestId&#xff08;…

面试基础--分布式任务调度系统设计方案

分布式任务调度系统设计方案 以下是一个基于实际项目经验设计的分布式任务调度系统方案&#xff0c;结合北京互联网大厂面试要求&#xff0c;涵盖架构图、调用关系图、设计图和数据流转时序图。 1. 系统概述 分布式任务调度系统主要用于处理高并发、大规模的任务分发和执行场…

基于TCP与UDP协议的性能测试研究

在当代网络通信体系里&#xff0c;TCP&#xff08;传输控制协议&#xff09;和UDP&#xff08;用户数据报协议&#xff09;是传输层最为常用的两种协议。它们各自具备独特属性&#xff0c;适用于不同应用场景。本文通过对TCP和UDP协议开展性能测试&#xff0c;深入剖析其在多样…