Redis-缓存

devtools/2024/9/24 6:51:58/

什么是缓存

缓存就像自行车和越野车的避震器,降低硬着陆造成的损害

缓存就是系统的避震器,,防止过高的数据访问猛冲系统,导致其操作线程无法及时处理信息而瘫痪

缓存(Cache),就是数据交换的缓冲区,俗称的缓存就是缓冲区内的数据,一般从数据库中获取

为什么要使用缓存?

速度快,好用

缓存数据存储于代码中,而代码运行在内存中,内存的读写性能远高于磁盘,缓存可以大大降低用户访问并发量带来的服务器读写压力

那么,代价就是增加代码复杂度和运营的成本

如何使用缓存

实际开发中,会构筑多级缓存来使系统运行速度进一步提升,例如:本地缓存redis中的缓存并发使用

浏览器缓存:主要是存在于浏览器端的缓存

应用层缓存可以分为tomcat本地缓存,或者是使用redis作为缓存

数据库缓存数据库中有一片空间是 buffer pool,增改查数据都会先加载到mysql的缓存

CPU缓存当代计算机最大的问题是 cpu性能提升了,但内存读写速度没有跟上,所以为了适应当下的情况,增加了cpu的L1,L2,L3级的缓存

缓存模型和思路

标准的操作方式就是查询数据库之前先查询缓存,如果缓存数据存在,则直接从缓存中返回,如果缓存数据不存在,再查询数据库,然后将数据存入redis

Redis缓存模型:

缓存更新策略

缓存更新是为了节约内存而设计的一种策略,为避免redis堆积太多数据而对部分缓存数据进行更新、淘汰,主要可分为以下三种:

内存淘汰:redis自动进行,当redis内存达到咱们设定的max-memery的时候,会自动触发淘汰机制,淘汰掉一些不重要的数据(可以自己设置策略方式)

超时剔除:当我们给redis设置了过期时间ttl之后,redis会将超时的数据进行删除,方便咱们继续使用缓存

主动更新:我们可以手动调用方法把缓存删掉,通常用于解决缓存数据库不一致问题

内存淘汰超时剔除主动更新
一致性一般
维护成本

业务场景选择:

  • 低一致性需求时:使用内存淘汰机制
  • 高一致性需求时:主动更新,并以超时剔除为兜底方案 

缓存穿透问题

缓存穿透 :缓存穿透是指客户端请求的数据在缓存中和数据库中都不存在,这样缓存永远不会生效,这些请求都会打到数据库,如果大量这样的缓存打到数据库,那么将会对服务器造成非常大的压力

常见的解决方案有两种:

缓存空对象布隆过滤
优点实现简单,维护方便内存占用较少,没有多余key
缺点额外的内存消耗
可能造成短期的不一致
实现复杂
存在误判可能

缓存空对象思路分析:当我们客户端访问不存在的数据时,先请求redis,但是此时redis中没有数据,此时会访问到数据库,但是数据库中也没有数据,这个数据穿透了缓存,直击数据库,我们都知道数据库能够承载的并发不如redis这么高,如果大量的请求同时过来访问这种不存在的数据,这些请求就都会访问到数据库,简单的解决方案就是哪怕这个数据在数据库中也不存在,我们也把这个数据存入到redis中去(内容为空),这样,下次用户过来访问这个不存在的数据,那么在redis中也能找到这个数据就不会进入到数据库了,直接给他返回一个空值就行了

布隆过滤:布隆过滤器(Bloom Filter)是一种空间效率很高的数据结构,它用于快速判断一个元素是否在一个集合中。它的特点是能够迅速地判断出“一个元素绝对不在集合中”或者“一个元素可能在集合中”

工作原理:

  1. 初始化: 布隆过滤器在开始时是一个包含m位的数组,所有位都设置为0

  2. 哈希函数: 它使用k个哈希函数,每个函数可以把集合中的一个元素映射到m位数组中的一个位置上。

  3. 添加元素: 当添加一个元素到布隆过滤器时,它会用这k个哈希函数分别计算该元素的哈希值,并将对应的m位数组中的k位置设为1

  4. 元素查询: 当查询一个元素时,同样使用这k个哈希函数计算位置,然后检查这k个位置是否都是1。如果都是1,则认为元素“可能在集合中”;如果任何一个位置不是1,那么元素“绝对不在集合中”。

当然,因为哈希冲突的存在,布隆算法也存在假阳性:意味着即使一个元素不在集合中,布隆过滤器也可能错误地认为它在集合中。即当你添加一个元素时,通过多个哈希函数计算出多个位置,并将这些位置的位设置为1。如果另一个元素通过这些哈希函数计算出的哈希值恰好也是这些位置,那么布隆过滤器会认为这个元素也在集合中,即使实际上它可能不在。

小总结:

缓存穿透产生的原因是什么?

  • 用户请求的数据在缓存中和数据库中都不存在,不断发起这样的请求,给数据库带来巨大压力

缓存穿透的解决方案有哪些?

  • 缓存null值

  • 布隆过滤

  • 增强id的复杂度,避免被猜测id规律

  • 做好数据的基础格式校验

  • 加强用户权限校验

  • 做好热点参数的限流

缓存击穿问题

缓存击穿问题也叫热点Key问题,就是一个被高并发访问并且缓存重建业务较复杂的key突然失效了,无数的请求访问会在瞬间给数据库带来巨大的冲击。

常见的解决方案有两种:

  • 互斥锁

  • 逻辑过期

分析:假设线程1在查询缓存之后,发现热点key挂了,本来应该去查询数据库,然后把这个数据重新加载到缓存的,此时只要线程1走完这个逻辑,其他线程就都能从缓存中加载这些数据了,但是假设在线程1没有走完的时候,后续的线程2,线程3,线程4同时过来访问当前这个方法, 那么这些线程都不能从缓存中查询到数据,那么他们就会同一时刻来访问查询缓存,都没查到,接着同一时间去访问数据库,同时的去执行数据库代码,对数据库访问压力过大

解决方法一:互斥锁

面对这种并发问题,第一个想到的解决方法肯定就是锁了,我们可以利用redis的setnx来实现一个互斥锁的效果。

假设线程过来,只能一个人一个人的来访问数据库,避免对数据库访问压力过大,但这也会影响查询的性能,因为此时会让查询的性能从并行变成了串行,我们可以采用tryLock方法 + double check来解决这样的问题。

假设现在线程1过来访问,他查询缓存没有命中,但是此时他获得到了锁的资源,那么线程1就会一个人去执行逻辑,假设现在线程2过来,线程2在执行过程中,并没有获得到锁,那么线程2就可以进行到休眠,直到线程1把锁释放后,线程2获得到锁,然后再来执行逻辑,此时就能够从缓存中拿到数据了。

解决方案二、逻辑过期方案

方案分析:我们之所以会出现这个缓存击穿问题,主要原因是在于我们对key设置了过期时间,假设我们不设置过期时间,其实就不会有缓存击穿的问题,但是不设置过期时间,这样数据不就一直占用我们内存了吗,我们可以采用逻辑过期方案。

我们把过期时间设置在 redis的value中,注意:这个过期时间并不会直接作用于redis,而是我们后续通过逻辑去处理。假设线程1去查询缓存,然后从value中判断出来当前的数据已经过期了,此时线程1去获得互斥锁,那么其他线程会进行阻塞,获得了锁的线程他会开启一个 线程去进行 以前的重构数据的逻辑,直到新开的线程完成这个逻辑后,才释放锁, 而线程1直接进行返回,假设现在线程3过来访问,由于线程线程2持有着锁,所以线程3无法获得锁,线程3也直接返回数据,只有等到新开的线程2把重建数据构建完后,其他线程才能走返回正确的数据。 

这种方案巧妙在于,异步的构建缓存,缺点在于在构建完缓存之前,返回的都是脏数据。

对比:

互斥锁方案:由于保证了互斥性,所以数据一致,且实现简单,因为仅仅只需要加一把锁而已,也没其他的事情需要操心,所以没有额外的内存消耗,缺点在于有锁就有死锁问题的发生,且只能串行执行性能肯定受到影响

逻辑过期方案: 线程读取过程中不需要等待,性能好,有一个额外的线程持有锁去进行重构数据,但是在重构数据完成前,其他的线程只能返回之前的数据,且实现起来麻烦


http://www.ppmy.cn/devtools/85275.html

相关文章

Live555源码阅读笔记:哈希表的实现(C++)

😁博客主页😁:🚀https://blog.csdn.net/wkd_007🚀 🤑博客内容🤑:🍭嵌入式开发、Linux、C语言、C、数据结构、音视频🍭 🤣本文内容🤣&a…

python_合并同一个文件夹下的excel文件

python_合并同一个文件夹下的excel文件 import os import glob import pandas as pddef merge_excel_sheets(input_folder, output_file):# 创建一个空的 DataFrame 用于存储所有数据combined_data pd.DataFrame()# 获取指定文件夹内所有的 Excel 文件excel_files glob.glob…

哪里可以查找短视频素材?6个素材查找下载渠道分享!

在短视频的风靡浪潮中,不少创作者纷纷投身于这一领域,无论是分享生活点滴还是进行商业宣传,高质量的短视频内容总能吸引众多观众的目光。然而,精良的短视频制作离不开优质的素材支持。本文将为大家介绍6个优秀的高质量短视频素材下…

Centos7下安装配置最新版本Jenkins

1、基础环境配置 1.1 服务器下载Jenkins安装包 下载地址:Download and deploy 下载命令:wget https://get.jenkins.io/war-stable/2.452.3/jenkins.war 1.2 服务器安装配置JDK Jenkins 是基于 Java 语言开发的,因此需要 Java 运行环境支…

Mac应用快速启动器:Alfred 5 for Mac 激活版

Alfred 5 是一款专为 macOS 系统设计的效率提升工具。这款软件以其快速启动和高效操作功能著称,通过使用快捷键来呼出输入界面,用户可以快速完成各种任务。 最新版本 Alfred 5.5 引入了一些新功能。其中包括整合了 ChatGPT 和 DALL-E,这意味…

oracle使用backup as copy方式迁移数据文件

oracle使用backup as copy方式迁移数据文件 1 基础环境 --确认数据文件路径 set line 200 col name for a75 select file#,name from v$datafileFILE# NAME ---------- ---------------------------------------------------------------------------1 /u01/app/oracle/orada…

Mysql高阶语句

Mysql高阶语句 去重查询 : distinct 1、创建库 create database xy102;create table info ( id int primary key, name varchar(10), score decimal(5,2), address varchar(20), hobbid int(5) );insert into info values(1,liuyi,80,beijing,2); insert into info values(2…

Python爬虫技术 第18节 数据存储

Python 爬虫技术常用于从网页上抓取数据,并将这些数据存储起来以供进一步分析或使用。数据的存储方式多种多样,常见的包括文件存储和数据库存储。下面我将通过一个简单的示例来介绍如何使用 Python 爬取数据,并将其存储为 CSV 和 JSON 文件格…