Redis企业开发实战(二)——点评项目之商户缓存查询

ops/2025/2/9 2:08:37/

目录

一、缓存介绍

 二、缓存更新策略

redis%E4%B8%8E%E6%95%B0%E6%8D%AE%E5%BA%93%E4%B8%80%E8%87%B4%E6%80%A7-toc" name="tableOfContents" style="margin-left:0px">三、如何保证redis与数据库一致性

1.解决方案概述

2.双写策略

3.双删策略

3.1延迟双删的目的

4.数据重要程度划分 

四、缓存穿透 

(一)缓存穿透解决方案

(二)缓存穿透示意图 

五、缓存雪崩

(一)缓存雪崩解决方案

(二)缓存雪崩示意图 

六、缓存击穿(热点Key问题)

(一)缓存击穿解决方案

1.互斥锁

2.逻辑过期 

3.两种解决方案对比

4.CAP理论

4.1CAP理论概述

4.2CAP理论的核心观点

4.3实际应用中的考量

4.4结合其他技术手段优化

七、封装工具类

一、缓存介绍

        缓存就是数据交换的缓冲区(称作Cache)，是临时存储数据的地方，一般读写性能较高。       为什么要使用缓存？一句话：速度快，好用。

        缓存数据存储于代码中，而代码运行在内存中，内存的读写性能远高于磁盘，缓存可以大大降低用户访问并发量带来的服务器读写压力。实际开发过程中，企业的数据量，少则几十万，多则几千万，这么大数据量，如果没有缓存来作为"避震器"，系统是几乎撑不住的，所以企业会大量运用到缓存技术。但是缓存也会增加代码复杂度和运营的成本：

缓存的作用：

  • 降低后端负载
  • 提高读写效率，降低响应时间

缓存的成本：

  • 数据一致性成本
  • 代码维护成本
  • 运维成本 

 

 二、缓存更新策略

读操作：

写操作：

redis%E4%B8%8E%E6%95%B0%E6%8D%AE%E5%BA%93%E4%B8%80%E8%87%B4%E6%80%A7" name="%E4%B8%89%E3%80%81%E5%A6%82%E4%BD%95%E4%BF%9D%E8%AF%81redis%E4%B8%8E%E6%95%B0%E6%8D%AE%E5%BA%93%E4%B8%80%E8%87%B4%E6%80%A7" style="background-color:transparent">三、如何保证redis与数据库一致性

1.解决方案概述

2.双写策略

在更新数据库的同时也更新缓存，以保证两者的数据同步。

3.双删策略

在更新数据库前和之后对缓存进行两次删除操作

3.1延迟双删的目的

  1. 减少缓存穿透的时间窗口：第一次删除是为了立即让旧的缓存失效，防止后续请求获取到过期的数据。而第二次删除主要是为了确保在这段时间内，如果有任何尝试将旧数据重新写入缓存的操作，可以被清理掉，避免脏数据进入缓存。

  2. 降低缓存击穿的风险：通过延迟一段时间再进行第二次删除，希望这段时间足够让第一个读取数据库并更新缓存的操作完成，从而减少其他并发请求同时查询数据库的可能性。

4.数据重要程度划分 

四、缓存穿透 

        缓存穿透是指，客户端请求的数据在缓存中和数据库中都不存在，这样缓存永远不会生效，这些请求都会打到数据库。

(一)缓存穿透解决方案

1.缓存空对象

        优点：实现简单，维护方便；缺点：额外的内存消耗；可能造成短期的不一致

2.布隆过滤器

        优点：内存占用较少，没有多余key；缺点：实现复杂；存在误判可能

3.检查非法请求，封禁其IP及其账号
4.增强id的复杂度，避免被猜测id规律
5.做好数据的基础格式校验
6.加强用户权限校验
7.做好热点参数的限流

(二)缓存穿透示意图 

五、缓存雪崩

        缓存雪崩是指，在同一时段大量的缓存key同时失效或者Redis服务宕机，导致大量请求到达数据库，带来巨大压力。

(一)缓存雪崩解决方案

  • 针对key失效，给不同的Key的TTL添加随机值
  • 针对Redis服务宕机，利用Redis集群提高服务的可用性
  • 给缓存业务添加降级限流策略
  • 给业务添加多级缓存

(二)缓存雪崩示意图 

六、缓存击穿(热点Key问题)

        缓存击穿问题也叫热点Key问题，就是一个被高并发访问并且缓存重建业务较复杂的key突然失效了，无数的请求访问会在瞬间给数据库带来巨大的冲击。

(一)缓存击穿解决方案

1.互斥锁

          因为锁能实现互斥性。假设线程过来，只能一个人一个人的来访问数据库，从而避免对于数据库访问压力过大，但这也会影响查询的性能，因为此时会让查询的性能从并行变成了串行，可以采用tryLock方法 + double check来解决这样的问题。

        假设现在线程1过来访问，他查询缓存没有命中，但是此时他获得到了锁的资源，那么线程1就会一个人去执行逻辑，假设现在线程2过来，线程2在执行过程中，并没有获得到锁，那么线程2就可以进行到休眠，直到线程1把锁释放后，线程2获得到锁，然后再来执行逻辑，此时就能够从缓存中拿到数据了。

 

2.逻辑过期 

        把过期时间设置在 redis的value中。注意：这个过期时间并不会直接作用于redis，而是我们后续通过逻辑去处理。

        假设线程1去查询缓存，然后从value中判断出来当前的数据已经过期了，此时线程1去获得互斥锁，那么其他线程会进行阻塞，获得了锁的线程他会开启一个新的线程，去进行以前的重构数据的逻辑，直到新开的线程完成这个逻辑后，才释放锁， 而线程1直接进行返回，假设现在线程3过来访问，由于线程线程2持有着锁，所以线程3无法获得锁，线程3也直接返回数据，只有等到新开的线程2把重建数据构建完后，其他线程才能走返回正确的数据。

        这种方案巧妙在于，异步的构建缓存，缺点在于在构建完缓存之前，返回的都是脏数据。 

3.两种解决方案对比

        互斥锁方案：由于保证了互斥性，所以数据一致，且实现简单，因为仅仅只需要加一把锁而已，也没其他的事情需要操心，所以没有额外的内存消耗，缺点在于有锁就有死锁问题的发生，且只能串行执行性能肯定受到影响。

        逻辑过期方案：线程读取过程中不需要等待，性能好，有一个额外的线程持有锁去进行重构数据，但是在重构数据完成前，其他的线程只能返回之前的数据，且实现起来麻烦。 

解决方案

优点

缺点

互斥锁
  • 没有额外的内存消耗
  • 保证一致性
  • 实现简单
  • 现成需要等待，性能受影响
  • 可能有死锁风险
逻辑过期
  • 现成无需等待，性能较好
  • 不保证一致性
  • 存储过期时间，有额外的内存消耗
  • 实现复杂

4.CAP理论

4.1CAP理论概述

        CAP理论是分布式系统设计中的一个基础概念，由计算机科学家Eric Brewer在2000年提出。该理论指出，在任何分布式系统中，无法同时满足以下三个属性：

        1.Consistency(一致性)：每个读操作都能看到最近的一次写操作的结果。这意味着，在任意时刻，所有节点访问的数据都是最新的且一致的。换句话说，系统的状态看起来就像只有一个副本一样。

        2.Availability(可用性)：每个请求都能接收到响应，而不论该响应是否成功。即系统总是可以正常处理客户端的请求，即使部分组件出现故障。这保证了服务的持续可用性。

        3.Partition Tolerance(分区容错性)：即使网络发生分区故障（即部分节点之间无法通信），系统仍然能够继续运行并提供服务。由于网络分区几乎是不可避免的现实，因此大多数分布式系统都必须支持分区容错性。

4.2CAP理论的核心观点

        根据CAP理论，在网络可能发生分区的情况下，系统只能在一致性和可用性之间做出选择，也就是说，无法同时实现所有三个特性。具体来说：

  •         CP(一致性和分区容错性)：在这种情况下，系统会选择保证数据的一致性，即使这意味着在某些情况下需要牺牲可用性。当网络分区发生时，系统可能会阻止某些操作，直到确保所有节点的数据是一致的。
  •         AP(可用性和分区容错性)：这种系统会优先保证服务的可用性，即使在网络分区期间可能暂时牺牲数据的一致性。这意味着所有节点都可以接受请求，但不同节点上的数据可能不完全一致，直到网络恢复并且数据同步完成。

        值得注意的是，虽然理论上不可能同时达到这三个目标，但在实践中，很多系统会采用“最终一致性”的策略来平衡一致性和可用性，允许短时间内数据不一致，但通过异步复制等机制保证最终所有节点的数据达成一致。

4.3实际应用中的考量

        在实际的分布式系统设计中，开发者通常需要基于业务需求和应用场景来权衡这些属性：

  •         对于一些金融交易系统或银行应用，可能更倾向于选择CP系统，因为数据的一致性至关重要。
  •         对于社交网络或在线论坛这样的应用，可能会选择AP系统，因为高可用性和用户体验更为重要，而短时间内的数据不一致是可以接受的。
4.4结合其他技术手段优化

        此外，现代分布式系统还会结合使用其他技术手段来优化性能和可靠性，例如：

  1. Quorum机制：通过设置读写成功的条件来调整一致性和可用性的平衡。
  2. 版本控制和冲突解决机制 ：允许存在短暂的数据不一致，并提供机制解决后续的数据冲突问题。
  3. 缓存、异步复制、读写分离等 ：利用这些技术可以在一定程度上缓解一致性和可用性之间的矛盾。

七、封装工具类

@Component
@Slf4j
public class CacheClient {private final StringRedisTemplate stringRedisTemplate;// 线程池private static final ExecutorService CACHE_REBUILD_EXECUTOR = Executors.newFixedThreadPool(10);public CacheClient(StringRedisTemplate stringRedisTemplate) {this.stringRedisTemplate = stringRedisTemplate;}// 存放缓存数据public void set(String key, Object value, Long time, TimeUnit unit) {stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(value), time, unit);}// 设置逻辑过期public void setWithLogicalExpire(String key, Object value, Long time, TimeUnit unit) {RedisData redisData = new RedisData();redisData.setData(value);redisData.setExpireTime(LocalDateTime.now().plusSeconds(unit.toSeconds(time)));stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(redisData));}// 设置缓存穿透方法public <R, ID> R queryWithPassThrough(String keyPrefix,ID id,Class<R> type,Function<ID, R> dbFallback,Long time,TimeUnit unit) {// 设置缓存keyString key = keyPrefix + id;// 去redis中查询String json = stringRedisTemplate.opsForValue().get(key);if (StrUtil.isNotBlank(json)) {// 如果存在，则直接返回return JSONUtil.toBean(json, type);}// 如果缓存中没有查到，则判断是否为空值if (json != null) {// 不是空值，返回nullreturn null;}// 缓存中不存在，查询数据库R r = dbFallback.apply(id);// 如果数据库中不存在，则存储空值，并设置有效期if (r == null) {stringRedisTemplate.opsForValue().set(key, "", RedisConstants.CACHE_NULL_TTL, TimeUnit.MINUTES);// 返回错误信息return null;}// 数据库中存在，则写入redis中this.set(key, r, time, unit);return r;}// 设置逻辑过期缓存击穿方法public <R, ID> R queryWithLogicalExpire(String keyPrefix,ID id,Class<R> type,Function<ID, R> dbFallback,Long time,TimeUnit unit) {// 设置缓存查询的keyString key = keyPrefix + id;// 去redis中查询，如果未命中String json = stringRedisTemplate.opsForValue().get(key);if (StrUtil.isBlank(json)) {// 找到之前存放的空值，直接返回nullreturn null;}// 如果redis未命中，先将json反序列化为对象RedisData redisData = JSONUtil.toBean(json, RedisData.class);R r = JSONUtil.toBean((JSONObject) redisData.getData(), type);LocalDateTime expireTime = redisData.getExpireTime();// 判断缓存是否过期if (expireTime.isAfter(LocalDateTime.now())) {// 缓存未过期，直接返回return r;}// 缓存已过期，需要缓存重建// 设置锁的keyString lockKey = RedisConstants.LOCK_SHOP_KEY + id;// 获取锁boolean isLock = tryLock(lockKey);// 如果获取到锁，则直接返回if (isLock) {// 开启独立线程，重建缓存CACHE_REBUILD_EXECUTOR.submit(() -> {try {// 查询数据库R r1 = dbFallback.apply(id);// 写入redisthis.setWithLogicalExpire(key, r1, time, unit);} catch (Exception e) {throw new RuntimeException(e);} finally {// 释放锁unLock(lockKey);}});}// 没有获取到锁，返回旧数据return r;}// 设置互斥锁解决缓存击穿方法public <R, ID> R queryWithMutex(String keyPrefix,ID id,Class<R> type,Function<ID, R> dbFallback,Long time,TimeUnit unit) {// 设置缓存查询的keyString key = keyPrefix + id;// 去redis中查询String json = stringRedisTemplate.opsForValue().get(key);// 判断缓存中是否存在// 如果存在，则直接返回if (StrUtil.isNotBlank(json)) {return JSONUtil.toBean(json, type);}// 如果缓存中不存在，则判断是否为空值if (json != null) {return null;}// 缓存中不存在，实现缓存重建// 设置锁的keyString lockKey = RedisConstants.LOCK_SHOP_KEY + id;// 获取锁boolean isLock = tryLock(lockKey);R r = null;try {// 判断获取锁是否成功if (!isLock) {// 如果获取锁失败，则睡眠，重新再次尝试获取锁Thread.sleep(50);return queryWithMutex(keyPrefix, id, type, dbFallback, time, unit);}// 如果获取锁成功，则查询数据库r = dbFallback.apply(id);// 判断数据库中的数据是否存在if (r == null) {// 将空值写入redis中stringRedisTemplate.opsForValue().set(key, "", RedisConstants.CACHE_NULL_TTL, TimeUnit.MINUTES);return null;}this.set(key, r, time, unit);} catch (InterruptedException e) {throw new RuntimeException(e);} finally {// 释放锁unLock(lockKey);}return r;}// 尝试获取锁private boolean tryLock(String key) {Boolean flag = stringRedisTemplate.opsForValue().setIfAbsent(key, "1", RedisConstants.LOCK_SHOP_TTL, TimeUnit.SECONDS);return BooleanUtil.isTrue(flag);}// 释放锁private void unLock(String key) {stringRedisTemplate.delete(key);}
}

http://www.ppmy.cn/ops/156855.html

相关文章

React 中常见的Hooks,安排！

React 中常见的Hooks,安排！

哈喽小伙伴们大家好&#xff01;我是小李&#xff0c;今天是年后开工的第一天&#xff0c;相信大家已经元气满满&#xff0c;准备好迎接新的一年的挑战了吧&#xff01;打起精神来&#xff0c;我们继续加油呀&#xff01;今天&#xff0c;给大家分享一道我之前面试被问到相关Ho…
阅读更多...
基于C#语言的海康威视智能车牌识别系统

基于C#语言的海康威视智能车牌识别系统

基于C#语言的海康威视智能车牌识别系统&#xff0c;通过布控对来往车辆进行检测抓拍 资源文件列表 AICar.sln , 984 AICar.sln.GhostDoc.xml , 1306 AICar.v12.suo , 72704 AICar/AICar.csproj , 3573 AICar/AICar.csproj.user , 228 AICar/bin/Debug/AICar.exe , 220672 AIC…
阅读更多...
【戒抖音系列】短视频戒除-1-对推荐算法进行干扰

【戒抖音系列】短视频戒除-1-对推荐算法进行干扰

如今推荐算法已经渗透到人们生活的方方面面&#xff0c;尤其是抖音等短视频核心就是推荐算法。 【短视频的危害】 1> 会让人变笨&#xff0c;慢慢让人丧失注意力与专注力 2> 让人丧失阅读长文的能力 3> 让人沉浸在一个又一个快感与嗨点当中。当我们刷短视频时&#x…
阅读更多...
【MySQL】详解数据库约束、聚合查询和联合查询

【MySQL】详解数据库约束、聚合查询和联合查询

数据库约束 约束类型 数据库的约束类型主要包括以下几种&#xff1a; 主键约束&#xff08;Primary Key Constraint&#xff09;&#xff1a;确保表中的每一行都有唯一的标识&#xff0c;且不能为NULL。 外键约束&#xff08;Foreign Key Constraint&#xff09;&#xff1a…
阅读更多...
TensorFlow 与 PyTorch 的直观区别

TensorFlow 与 PyTorch 的直观区别

背景 TensorFlow 与 PyTorch 都是比较流行的深度学习框架。tf 由谷歌在 2015 年发布&#xff0c;而 PyTorch 则是 Facecbook AI 研究团队 2016 年在原来 Torch 的基础上发布的。 tf 采用的是静态计算图。这意味着在执行任何计算之前&#xff0c;你需要先定义好整个计算图&…
阅读更多...
RabbitMQ 从入门到精通：从工作模式到集群部署实战（五）

RabbitMQ 从入门到精通：从工作模式到集群部署实战（五）

#作者&#xff1a;闫乾苓 系列前几篇&#xff1a; 《RabbitMQ 从入门到精通&#xff1a;从工作模式到集群部署实战&#xff08;一&#xff09;》&#xff1a;link 《RabbitMQ 从入门到精通&#xff1a;从工作模式到集群部署实战&#xff08;二&#xff09;》&#xff1a; lin…
阅读更多...
【Day32 LeetCode】动态规划DP Ⅴ 完全背包

【Day32 LeetCode】动态规划DP Ⅴ 完全背包

一、动态规划DP Ⅴ 完全背包 1、完全背包理论 有N件物品和一个最多能背重量为W的背包。第i件物品的重量是weight[i]&#xff0c;得到的价值是value[i] 。每件物品都有无限个&#xff08;也就是可以放入背包多次&#xff09;&#xff0c;求解将哪些物品装入背包里物品价值总和…
阅读更多...
https是如何保证安全的，又是如何保证不被中间人攻击的？

https是如何保证安全的，又是如何保证不被中间人攻击的？

HTTPS如何保证安全&#xff0c;以及如何防止中间人攻击 保护用户隐私和数据安全已经成为了一个不可忽视的问题。随着网络攻击的不断升级&#xff0c;HTTPS&#xff08;超文本传输安全协议&#xff09;成为了我们在网络上交流时的一道重要防线。以下是HTTPS是如何保证安全的&am…
阅读更多...
最新文章

Copyright @ 2022~2023