Redis企业开发实战(二)——点评项目之商户缓存查询

news/2025/2/8 19:18:21/

目录

一、缓存介绍

 二、缓存更新策略

redis%E4%B8%8E%E6%95%B0%E6%8D%AE%E5%BA%93%E4%B8%80%E8%87%B4%E6%80%A7-toc" name="tableOfContents" style="margin-left:0px">三、如何保证redis与数据库一致性

1.解决方案概述

2.双写策略

3.双删策略

3.1延迟双删的目的

4.数据重要程度划分 

四、缓存穿透 

(一)缓存穿透解决方案

(二)缓存穿透示意图 

五、缓存雪崩

(一)缓存雪崩解决方案

(二)缓存雪崩示意图 

六、缓存击穿(热点Key问题)

(一)缓存击穿解决方案

1.互斥锁

2.逻辑过期 

3.两种解决方案对比

4.CAP理论

4.1CAP理论概述

4.2CAP理论的核心观点

4.3实际应用中的考量

4.4结合其他技术手段优化

七、封装工具类

一、缓存介绍

        缓存就是数据交换的缓冲区(称作Cache)，是临时存储数据的地方，一般读写性能较高。       为什么要使用缓存？一句话：速度快，好用。

        缓存数据存储于代码中，而代码运行在内存中，内存的读写性能远高于磁盘，缓存可以大大降低用户访问并发量带来的服务器读写压力。实际开发过程中，企业的数据量，少则几十万，多则几千万，这么大数据量，如果没有缓存来作为"避震器"，系统是几乎撑不住的，所以企业会大量运用到缓存技术。但是缓存也会增加代码复杂度和运营的成本：

缓存的作用：

  • 降低后端负载
  • 提高读写效率，降低响应时间

缓存的成本：

  • 数据一致性成本
  • 代码维护成本
  • 运维成本 

 

 二、缓存更新策略

读操作：

写操作：

redis%E4%B8%8E%E6%95%B0%E6%8D%AE%E5%BA%93%E4%B8%80%E8%87%B4%E6%80%A7" name="%E4%B8%89%E3%80%81%E5%A6%82%E4%BD%95%E4%BF%9D%E8%AF%81redis%E4%B8%8E%E6%95%B0%E6%8D%AE%E5%BA%93%E4%B8%80%E8%87%B4%E6%80%A7" style="background-color:transparent">三、如何保证redis与数据库一致性

1.解决方案概述

2.双写策略

在更新数据库的同时也更新缓存，以保证两者的数据同步。

3.双删策略

在更新数据库前和之后对缓存进行两次删除操作

3.1延迟双删的目的

  1. 减少缓存穿透的时间窗口：第一次删除是为了立即让旧的缓存失效，防止后续请求获取到过期的数据。而第二次删除主要是为了确保在这段时间内，如果有任何尝试将旧数据重新写入缓存的操作，可以被清理掉，避免脏数据进入缓存。

  2. 降低缓存击穿的风险：通过延迟一段时间再进行第二次删除，希望这段时间足够让第一个读取数据库并更新缓存的操作完成，从而减少其他并发请求同时查询数据库的可能性。

4.数据重要程度划分 

四、缓存穿透 

        缓存穿透是指，客户端请求的数据在缓存中和数据库中都不存在，这样缓存永远不会生效，这些请求都会打到数据库。

(一)缓存穿透解决方案

1.缓存空对象

        优点：实现简单，维护方便；缺点：额外的内存消耗；可能造成短期的不一致

2.布隆过滤器

        优点：内存占用较少，没有多余key；缺点：实现复杂；存在误判可能

3.检查非法请求，封禁其IP及其账号
4.增强id的复杂度，避免被猜测id规律
5.做好数据的基础格式校验
6.加强用户权限校验
7.做好热点参数的限流

(二)缓存穿透示意图 

五、缓存雪崩

        缓存雪崩是指，在同一时段大量的缓存key同时失效或者Redis服务宕机，导致大量请求到达数据库，带来巨大压力。

(一)缓存雪崩解决方案

  • 针对key失效，给不同的Key的TTL添加随机值
  • 针对Redis服务宕机，利用Redis集群提高服务的可用性
  • 给缓存业务添加降级限流策略
  • 给业务添加多级缓存

(二)缓存雪崩示意图 

六、缓存击穿(热点Key问题)

        缓存击穿问题也叫热点Key问题，就是一个被高并发访问并且缓存重建业务较复杂的key突然失效了，无数的请求访问会在瞬间给数据库带来巨大的冲击。

(一)缓存击穿解决方案

1.互斥锁

          因为锁能实现互斥性。假设线程过来，只能一个人一个人的来访问数据库，从而避免对于数据库访问压力过大，但这也会影响查询的性能，因为此时会让查询的性能从并行变成了串行，可以采用tryLock方法 + double check来解决这样的问题。

        假设现在线程1过来访问，他查询缓存没有命中，但是此时他获得到了锁的资源，那么线程1就会一个人去执行逻辑，假设现在线程2过来，线程2在执行过程中，并没有获得到锁，那么线程2就可以进行到休眠，直到线程1把锁释放后，线程2获得到锁，然后再来执行逻辑，此时就能够从缓存中拿到数据了。

 

2.逻辑过期 

        把过期时间设置在 redis的value中。注意：这个过期时间并不会直接作用于redis，而是我们后续通过逻辑去处理。

        假设线程1去查询缓存，然后从value中判断出来当前的数据已经过期了，此时线程1去获得互斥锁，那么其他线程会进行阻塞，获得了锁的线程他会开启一个新的线程，去进行以前的重构数据的逻辑，直到新开的线程完成这个逻辑后，才释放锁， 而线程1直接进行返回，假设现在线程3过来访问，由于线程线程2持有着锁，所以线程3无法获得锁，线程3也直接返回数据，只有等到新开的线程2把重建数据构建完后，其他线程才能走返回正确的数据。

        这种方案巧妙在于，异步的构建缓存，缺点在于在构建完缓存之前，返回的都是脏数据。 

3.两种解决方案对比

        互斥锁方案：由于保证了互斥性，所以数据一致，且实现简单，因为仅仅只需要加一把锁而已，也没其他的事情需要操心，所以没有额外的内存消耗，缺点在于有锁就有死锁问题的发生，且只能串行执行性能肯定受到影响。

        逻辑过期方案：线程读取过程中不需要等待，性能好，有一个额外的线程持有锁去进行重构数据，但是在重构数据完成前，其他的线程只能返回之前的数据，且实现起来麻烦。 

解决方案

优点

缺点

互斥锁
  • 没有额外的内存消耗
  • 保证一致性
  • 实现简单
  • 现成需要等待，性能受影响
  • 可能有死锁风险
逻辑过期
  • 现成无需等待，性能较好
  • 不保证一致性
  • 存储过期时间，有额外的内存消耗
  • 实现复杂

4.CAP理论

4.1CAP理论概述

        CAP理论是分布式系统设计中的一个基础概念，由计算机科学家Eric Brewer在2000年提出。该理论指出，在任何分布式系统中，无法同时满足以下三个属性：

        1.Consistency(一致性)：每个读操作都能看到最近的一次写操作的结果。这意味着，在任意时刻，所有节点访问的数据都是最新的且一致的。换句话说，系统的状态看起来就像只有一个副本一样。

        2.Availability(可用性)：每个请求都能接收到响应，而不论该响应是否成功。即系统总是可以正常处理客户端的请求，即使部分组件出现故障。这保证了服务的持续可用性。

        3.Partition Tolerance(分区容错性)：即使网络发生分区故障（即部分节点之间无法通信），系统仍然能够继续运行并提供服务。由于网络分区几乎是不可避免的现实，因此大多数分布式系统都必须支持分区容错性。

4.2CAP理论的核心观点

        根据CAP理论，在网络可能发生分区的情况下，系统只能在一致性和可用性之间做出选择，也就是说，无法同时实现所有三个特性。具体来说：

  •         CP(一致性和分区容错性)：在这种情况下，系统会选择保证数据的一致性，即使这意味着在某些情况下需要牺牲可用性。当网络分区发生时，系统可能会阻止某些操作，直到确保所有节点的数据是一致的。
  •         AP(可用性和分区容错性)：这种系统会优先保证服务的可用性，即使在网络分区期间可能暂时牺牲数据的一致性。这意味着所有节点都可以接受请求，但不同节点上的数据可能不完全一致，直到网络恢复并且数据同步完成。

        值得注意的是，虽然理论上不可能同时达到这三个目标，但在实践中，很多系统会采用“最终一致性”的策略来平衡一致性和可用性，允许短时间内数据不一致，但通过异步复制等机制保证最终所有节点的数据达成一致。

4.3实际应用中的考量

        在实际的分布式系统设计中，开发者通常需要基于业务需求和应用场景来权衡这些属性：

  •         对于一些金融交易系统或银行应用，可能更倾向于选择CP系统，因为数据的一致性至关重要。
  •         对于社交网络或在线论坛这样的应用，可能会选择AP系统，因为高可用性和用户体验更为重要，而短时间内的数据不一致是可以接受的。
4.4结合其他技术手段优化

        此外，现代分布式系统还会结合使用其他技术手段来优化性能和可靠性，例如：

  1. Quorum机制：通过设置读写成功的条件来调整一致性和可用性的平衡。
  2. 版本控制和冲突解决机制 ：允许存在短暂的数据不一致，并提供机制解决后续的数据冲突问题。
  3. 缓存、异步复制、读写分离等 ：利用这些技术可以在一定程度上缓解一致性和可用性之间的矛盾。

七、封装工具类

@Component
@Slf4j
public class CacheClient {private final StringRedisTemplate stringRedisTemplate;// 线程池private static final ExecutorService CACHE_REBUILD_EXECUTOR = Executors.newFixedThreadPool(10);public CacheClient(StringRedisTemplate stringRedisTemplate) {this.stringRedisTemplate = stringRedisTemplate;}// 存放缓存数据public void set(String key, Object value, Long time, TimeUnit unit) {stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(value), time, unit);}// 设置逻辑过期public void setWithLogicalExpire(String key, Object value, Long time, TimeUnit unit) {RedisData redisData = new RedisData();redisData.setData(value);redisData.setExpireTime(LocalDateTime.now().plusSeconds(unit.toSeconds(time)));stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(redisData));}// 设置缓存穿透方法public <R, ID> R queryWithPassThrough(String keyPrefix,ID id,Class<R> type,Function<ID, R> dbFallback,Long time,TimeUnit unit) {// 设置缓存keyString key = keyPrefix + id;// 去redis中查询String json = stringRedisTemplate.opsForValue().get(key);if (StrUtil.isNotBlank(json)) {// 如果存在，则直接返回return JSONUtil.toBean(json, type);}// 如果缓存中没有查到，则判断是否为空值if (json != null) {// 不是空值，返回nullreturn null;}// 缓存中不存在，查询数据库R r = dbFallback.apply(id);// 如果数据库中不存在，则存储空值，并设置有效期if (r == null) {stringRedisTemplate.opsForValue().set(key, "", RedisConstants.CACHE_NULL_TTL, TimeUnit.MINUTES);// 返回错误信息return null;}// 数据库中存在，则写入redis中this.set(key, r, time, unit);return r;}// 设置逻辑过期缓存击穿方法public <R, ID> R queryWithLogicalExpire(String keyPrefix,ID id,Class<R> type,Function<ID, R> dbFallback,Long time,TimeUnit unit) {// 设置缓存查询的keyString key = keyPrefix + id;// 去redis中查询，如果未命中String json = stringRedisTemplate.opsForValue().get(key);if (StrUtil.isBlank(json)) {// 找到之前存放的空值，直接返回nullreturn null;}// 如果redis未命中，先将json反序列化为对象RedisData redisData = JSONUtil.toBean(json, RedisData.class);R r = JSONUtil.toBean((JSONObject) redisData.getData(), type);LocalDateTime expireTime = redisData.getExpireTime();// 判断缓存是否过期if (expireTime.isAfter(LocalDateTime.now())) {// 缓存未过期，直接返回return r;}// 缓存已过期，需要缓存重建// 设置锁的keyString lockKey = RedisConstants.LOCK_SHOP_KEY + id;// 获取锁boolean isLock = tryLock(lockKey);// 如果获取到锁，则直接返回if (isLock) {// 开启独立线程，重建缓存CACHE_REBUILD_EXECUTOR.submit(() -> {try {// 查询数据库R r1 = dbFallback.apply(id);// 写入redisthis.setWithLogicalExpire(key, r1, time, unit);} catch (Exception e) {throw new RuntimeException(e);} finally {// 释放锁unLock(lockKey);}});}// 没有获取到锁，返回旧数据return r;}// 设置互斥锁解决缓存击穿方法public <R, ID> R queryWithMutex(String keyPrefix,ID id,Class<R> type,Function<ID, R> dbFallback,Long time,TimeUnit unit) {// 设置缓存查询的keyString key = keyPrefix + id;// 去redis中查询String json = stringRedisTemplate.opsForValue().get(key);// 判断缓存中是否存在// 如果存在，则直接返回if (StrUtil.isNotBlank(json)) {return JSONUtil.toBean(json, type);}// 如果缓存中不存在，则判断是否为空值if (json != null) {return null;}// 缓存中不存在，实现缓存重建// 设置锁的keyString lockKey = RedisConstants.LOCK_SHOP_KEY + id;// 获取锁boolean isLock = tryLock(lockKey);R r = null;try {// 判断获取锁是否成功if (!isLock) {// 如果获取锁失败，则睡眠，重新再次尝试获取锁Thread.sleep(50);return queryWithMutex(keyPrefix, id, type, dbFallback, time, unit);}// 如果获取锁成功，则查询数据库r = dbFallback.apply(id);// 判断数据库中的数据是否存在if (r == null) {// 将空值写入redis中stringRedisTemplate.opsForValue().set(key, "", RedisConstants.CACHE_NULL_TTL, TimeUnit.MINUTES);return null;}this.set(key, r, time, unit);} catch (InterruptedException e) {throw new RuntimeException(e);} finally {// 释放锁unLock(lockKey);}return r;}// 尝试获取锁private boolean tryLock(String key) {Boolean flag = stringRedisTemplate.opsForValue().setIfAbsent(key, "1", RedisConstants.LOCK_SHOP_TTL, TimeUnit.SECONDS);return BooleanUtil.isTrue(flag);}// 释放锁private void unLock(String key) {stringRedisTemplate.delete(key);}
}

http://www.ppmy.cn/news/1570388.html

相关文章

解锁 DeepSeek 模型高效部署密码：蓝耘平台全解析

解锁 DeepSeek 模型高效部署密码：蓝耘平台全解析

&#x1f496;亲爱的朋友们&#xff0c;热烈欢迎来到 青云交的博客&#xff01;能与诸位在此相逢&#xff0c;我倍感荣幸。在这飞速更迭的时代&#xff0c;我们都渴望一方心灵净土&#xff0c;而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识&#xff0c;也…
阅读更多...
神经网络参数量和运算量的计算- 基于deepspeed库和thop库函数

神经网络参数量和运算量的计算- 基于deepspeed库和thop库函数

引言 最近需要对神经网络的参数量和运算量进行统计。找到一个基于deepspeed库函数计算参数量和运算量的例子。而我之前一直用thop库函数来计算。 看到有一篇勘误博文写道使用thops库得到的运算量是MACs (Multiply ACcumulate operations&#xff0c;乘加累积操作次数&#xf…
阅读更多...
【分块解决大文件上传的最佳实践】

【分块解决大文件上传的最佳实践】

前言 前几天看了一篇关于大文件上传分块实现的博客&#xff0c;代码实现过于复杂且冗长&#xff0c;而且没有进行外网上传的测试。因此&#xff0c;我决定自己动手实现一个大文件上传&#xff0c;并进行优化。 实现思路 在许多应用中&#xff0c;大文件上传是常见的需求&…
阅读更多...
低代码开发中的创新实践

低代码开发中的创新实践

在软件开发领域&#xff0c;传统开发模式长期占据主导地位&#xff0c;其严谨的流程和规范为众多大型系统的构建奠定了基础。但随着数字化浪潮的席卷&#xff0c;业务需求的快速变化和对开发效率的高要求&#xff0c;传统开发思维逐渐显露出局限性。低代码开发的兴起&#xff0…
阅读更多...
数据库高安全—审计追踪：传统审计统一审计

数据库高安全—审计追踪：传统审计统一审计

书接上文数据库高安全—角色权限&#xff1a;权限管理&权限检查&#xff0c;从权限管理和权限检查方面解读了高斯数据库的角色权限&#xff0c;本篇将从传统审计和统一审计两方面对高斯数据库的审计追踪技术进行解读。 4 审计追踪 4.1 传统审计 审计内容的记录方式通…
阅读更多...
docker常用基础

docker常用基础

镜像 拉取 docker pull id删除 docker rmi id查看 docker images容器 运行 docker run -p 本:远 id查看 docker ps停止 docker stop id转换 导出容器&#xff08;镜像实例的文件变化&#xff09; docker export id > 名.tar导入容器&#xff08;镜像实例的文件变化…
阅读更多...
C++多线程编程——call_once和单例模式

C++多线程编程——call_once和单例模式

目录 1. 前言 2. call_once和once_flag 3. 后记 3.1 单例类的析构问题 3.2 饿汉式单例模式的线程安全问题 1. 前言 之前在讲解单例模式时&#xff0c;有提到懒汉式单例模式使用了双重检测Double-Checked Locking Pattern (DCLP)来解决多线程的安全访问问题。但是该方法也…
阅读更多...
第30节课：前端架构与设计模式—构建高效可维护的Web应用

第30节课：前端架构与设计模式—构建高效可维护的Web应用

目录 前端架构设计前端架构的重要性前端架构设计原则模块化可维护性可扩展性性能优化 前端架构设计方法MVC&#xff08;Model-View-Controller&#xff09;MVVM&#xff08;Model-View-ViewModel&#xff09;单页应用&#xff08;SPA&#xff09; 设计模式在前端的应用设计模式…
阅读更多...
最新文章

Copyright @ 2022~2023