高并发处理 --- Caffeine内存缓存库

ops/2024/12/25 9:54:05/

目录

Caffeine%EF%BC%9F-toc" style="margin-left:0px;">一.什么是Caffeine

使用场景:

Caffeine%EF%BC%9F-toc" style="margin-left:0px;"> 二.如何使用Caffeine

1.导入依赖:

2.在java项目中使用:

 三.对缓存项的驱逐:

1.容量驱逐(Maximum Size):

2.过期驱逐(Expire After Write / Access):

3.驱逐指定缓存项(主动驱逐):

(1)使用 invalidate 方法驱逐指定缓存项:

(2)使用 invalidateAll 方法驱逐所有缓存项:

(3)使用 invalidate 方法并批量驱逐多个缓存项:

(4)使用 invalidate 方法与条件驱逐:

4.驱逐回调(Eviction Listener):

(1)注册驱逐监听器:

(2)缓存项因过期被驱逐时执行回调:

Caffeine%20%E4%BD%9C%E4%B8%BA%E7%BC%93%E5%AD%98%EF%BC%9A-toc" style="margin-left:0px;">四.在 Spring Boot 项目中使用 Caffeine 作为缓存

Caffeine%20%E4%BE%9D%E8%B5%96%EF%BC%9A-toc" style="margin-left:40px;">1.添加 Caffeine 依赖:

2.创建配置类:

3.在 Controller 层注入 Cache 实例:

Caffeine%E4%B8%8ERedis%E7%9A%84%E5%8C%BA%E5%88%AB%EF%BC%9A-toc" style="margin-left:0px;">五.Caffeine与Redis的区别:

Caffeine%EF%BC%8C%E4%BD%95%E6%97%B6%E4%BD%BF%E7%94%A8%20Redis%EF%BC%9F-toc" style="margin-left:40px;">何时使用 Caffeine,何时使用 Redis?


Caffeine%EF%BC%9F">一.什么是Caffeine

Caffeine 是一个高性能的 Java 缓存库,它被设计用于提供快速、可靠的缓存服务。它基于 Google Guava缓存系统,但进行了许多优化,旨在提升性能、减少内存消耗,并为缓存提供更多的灵活性。Caffeine 的设计目标是创建一个高效、低延迟的内存缓存系统,能够在高并发的场景下提供卓越的表现。

Caffeine 通过优化缓存的存储和访问机制,在 CPU 缓存和垃圾回收方面做了大量改进,从而能够在高并发下实现高效的缓存管理。

Caffeine 是一个 本地缓存,它的缓存存储在应用服务器的内存中。每个实例都有自己的缓存空间,因此缓存本地的,仅对当前的应用实例可见。如果我们有多个应用实例或多个服务,Caffeine 缓存不会自动共享,它的作用范围限制在当前的应用进程中。这种缓存通常用于加速对本地应用数据的访问,减少对数据库的频繁查询。

使用场景:

Caffeine 是一个通用的内存缓存库,适用于多种场景,包括但不限于:

  • Web 应用缓存缓存数据库查询结果、HTTP 请求的响应数据等。
  • 分布式系统中的本地缓存:例如,在分布式系统中,每个服务的本地缓存
  • 计算密集型操作的缓存:例如缓存计算结果,避免重复计算。
  • API 请求缓存缓存通过远程服务调用得到的数据,避免重复请求相同的数据。

Caffeine%EF%BC%9F"> 二.如何使用Caffeine

1.导入依赖:

<dependency><groupId>com.github.ben-manes.caffeine</groupId><artifactId>caffeine</artifactId><version>3.1.0</version>
</dependency>

2.在java项目中使用:

Caffeine 提供了丰富的 API 来创建和管理缓存,下面是一个简单的示例。

import com.github.benmanes.caffeine.cache.Cache;
import com.github.benmanes.caffeine.cache.Caffeine;import java.util.concurrent.TimeUnit;public class CaffeineExample {public static void main(String[] args) {// 创建一个缓存实例Cache<String, String> cache = Caffeine.newBuilder().expireAfterWrite(10, TimeUnit.MINUTES) // 设置写入后10分钟过期.maximumSize(100) // 设置最大缓存条目数.build();// 存入缓存cache.put("key1", "value1");cache.put("key2", "value2");// 获取缓存String value = cache.getIfPresent("key1");  // 返回value1System.out.println("Cached value for key1: " + value);// 如果缓存中没有数据,使用一个加载函数填充缓存String loadedValue = cache.get("key3", key -> "loadedValue");System.out.println("Loaded value for key3: " + loadedValue);}
}
  • Caffeine.newBuilder():用于构建 Caffeine 缓存的构建器。
  • expireAfterWrite(10, TimeUnit.MINUTES):指定缓存项在写入后的 10 分钟过期。
  • maximumSize(100):指定最大缓存容量为 100 个条目,超过这个限制的缓存项会被逐出。
  • getIfPresent(key):如果缓存存在,则返回对应的缓存值。
  • get(key, function):如果缓存不存在,会通过提供的加载函数自动加载并缓存

 三.对缓存项的驱逐:

Caffeine 缓存中,驱逐(Eviction)指的是当缓存达到一定容量限制或过期时,自动移除缓存项的过程。Caffeine 提供了多种方式来控制缓存项的驱逐,包括基于缓存容量限制、缓存过期时间以及自定义驱逐策略

Caffeine 提供了以下几种常见的驱逐策略:

  • 容量限制驱逐:当缓存的大小超过指定的最大容量时,Caffeine 会移除最不常用的缓存项。
  • 过期时间驱逐:当缓存项过期后,Caffeine 会自动移除该项。
  • 主动驱逐:可以根据需求主动驱逐特定缓存项。

1.容量驱逐(Maximum Size):

通过设置最大缓存容量,Caffeine 会根据缓存的容量进行驱逐,移除不常用的缓存项(通常是 LRU 策略,即最少使用的项会先被移除)。

Cache<String, String> cache = Caffeine.newBuilder().maximumSize(100)  // 设置最大缓存容量为100.build();

缓存的条目数超过最大容量时,Caffeine 会自动驱逐最少使用的条目。

2.过期驱逐(Expire After Write / Access):

Caffeine 提供了基于时间的缓存驱逐策略,可以指定缓存项的失效时间:

  • expireAfterWrite缓存项在写入后的指定时间后失效。
  • expireAfterAccess缓存项在访问后的指定时间后失效。
Cache<String, String> cache = Caffeine.newBuilder().expireAfterWrite(10, TimeUnit.MINUTES)  // 写入后10分钟失效.expireAfterAccess(5, TimeUnit.MINUTES)  // 访问后5分钟失效.maximumSize(100).build();

 当缓存超过指定的过期时间后,Caffeine 会自动移除这些缓存项。

3.驱逐指定缓存项(主动驱逐):

Caffeine 允许在运行时主动驱逐缓存中的某个指定项。这对于一些特殊情况非常有用,比如在缓存项的数据发生变化时,主动移除某个缓存项。

(1)使用 invalidate 方法驱逐指定缓存项:

我们可以使用 invalidate 方法来驱逐指定的缓存项。如果需要移除一个特定的缓存项,可以直接传入键名。

cache.invalidate("key1");  // 移除指定的缓存

(2)使用 invalidateAll 方法驱逐所有缓存项:

如果需要清空缓存中的所有项,可以使用 invalidateAll 方法。

cache.invalidateAll();  // 移除所有缓存

(3)使用 invalidate 方法并批量驱逐多个缓存项:

cache.invalidate("key1", "key2", "key3");  // 移除多个指定的缓存

(4)使用 invalidate 方法与条件驱逐:

我们还可以根据特定条件来选择性地驱逐缓存项。例如,您可以实现一个条件判断逻辑来决定是否驱逐某个缓存项。

cache.invalidateIf((key, value) -> key.startsWith("prefix"));  // 根据条件驱逐缓存

4.驱逐回调(Eviction Listener):

Caffeine 提供了一个强大的驱逐监听器功能,允许在缓存项被驱逐时执行回调。这个功能对于缓存管理非常有用,特别是需要记录缓存被移除的原因,或者需要清理与缓存相关的资源。

(1)注册驱逐监听器:

我们可以使用 removalListener 方法来注册一个驱逐监听器。当缓存项被移除时,监听器会被触发。

Cache<String, String> cache = Caffeine.newBuilder().maximumSize(100).removalListener((key, value, cause) -> {System.out.println("Removed key: " + key + ", cause: " + cause);}).build();

回调参数说明

  • key:被驱逐的缓存项的键。
  • value:被驱逐的缓存项的值。
  • cause:驱逐的原因(如容量满、过期、手动移除等)。

驱逐的原因(cause)可以是以下几种:

  • EXPIRED缓存项过期。
  • SIZE:因为达到容量限制而被移除。
  • MANUAL:手动驱逐。
  • REPLACED:被替代的缓存项。
  • COLLECTED:由于垃圾回收导致的移除。

(2)缓存项因过期被驱逐时执行回调:

Cache<String, String> cache = Caffeine.newBuilder().expireAfterWrite(5, TimeUnit.MINUTES).removalListener((key, value, cause) -> {if (cause == RemovalCause.EXPIRED) {System.out.println("Cache item expired: " + key);}}).build();

Caffeine 缓存提供了灵活且强大的驱逐机制,允许开发者根据不同的需求进行缓存项的移除和清理。常见的驱逐方式包括基于容量的驱逐、过期时间的驱逐、主动驱逐以及驱逐监听器。

  • 最大容量maximumSize 设定缓存的最大容量,超过容量时会自动驱逐最不常用的缓存项。
  • 过期策略expireAfterWriteexpireAfterAccess 提供了基于时间的缓存项失效机制。
  • 主动驱逐:可以使用 invalidate 方法手动移除缓存项。
  • 驱逐监听器:通过 removalListener 监听缓存项的驱逐事件,以便做进一步的处理。

Caffeine%20%E4%BD%9C%E4%B8%BA%E7%BC%93%E5%AD%98%EF%BC%9A">四.在 Spring Boot 项目中使用 Caffeine 作为缓存

假设我们正在开发一个 Spring Boot 项目,其中包含一个频繁查询数据库的 UserService,为了提升性能,我们决定在缓存中存储用户信息。对于某些高频率访问的数据(如用户基本信息),使用内存缓存可以显著提高响应速度。为了避免频繁地访问数据库,我们使用 Caffeine缓存用户数据。 

Caffeine%20%E4%BE%9D%E8%B5%96%EF%BC%9A">1.添加 Caffeine 依赖:

pom.xml 中添加 Caffeine 依赖:

<dependency><groupId>com.github.ben-manes.caffeine</groupId><artifactId>caffeine</artifactId><version>3.1.0</version>
</dependency>

2.创建配置类:

package cn.mybatisplus.redis_mq.config;import com.github.benmanes.caffeine.cache.Cache;
import com.github.benmanes.caffeine.cache.Caffeine;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;import java.util.concurrent.TimeUnit;@Configuration
public class CaffeineConfig {@Beanpublic Cache<Long,Object> ObjectCache(){return Caffeine.newBuilder().expireAfterAccess(5, TimeUnit.MINUTES)  // 5 分钟后过期.refreshAfterWrite(10, TimeUnit.MINUTES) // 每10分钟自动刷新缓存.maximumSize(100).build();}
}

3.在 Controller 层注入 Cache 实例:

Controller 中,使用 @Autowired 注解将 Cache<Long, Object> 缓存实例注入进来,直接使用缓存进行操作。

import com.github.benmanes.caffeine.cache.Cache;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;@RestController
@RequestMapping("/products")
public class ProductsController {@Autowiredprivate Cache<Long, Object> objectCache;// 模拟一个从缓存中获取数据的接口@GetMapping("/getUserInfo")public String getUserInfo(@RequestParam Long userId) {// 检查缓存中是否存在该用户数据Object cachedData = objectCache.getIfPresent(userId);if (cachedData != null) {return "Cache hit: " + cachedData;} else {// 模拟从数据库获取用户数据String userInfo = "User Info for " + userId;// 将查询到的数据放入缓存中objectCache.put(userId, userInfo);return "Cache miss: " + userInfo;}}
}

如果希望在缓存失效或需要手动控制缓存刷新时使用更多功能,Caffeine 提供了丰富的 API,可以在代码中进行进一步的定制。例如:

objectCache.invalidate(userId);  // 删除缓存
objectCache.refresh(userId);     // 刷新缓存

Caffeine%E4%B8%8ERedis%E7%9A%84%E5%8C%BA%E5%88%AB%EF%BC%9A">五.Caffeine与Redis的区别:

Caffeine 和 Redis 都是常见的缓存解决方案,但它们各自有不同的优势和适用场景:

特性CaffeineRedis
存储类型内存缓存分布式缓存(存储在外部内存中,如内存、磁盘等)
性能本地内存缓存,速度非常快,低延迟由于需要网络请求,相较于 Caffeine 较慢
适用范围单机应用,内存容量较小的缓存,低延迟缓存访问分布式系统,跨机器的缓存,支持持久化存储
缓存容量受限于 JVM 内存(可配置最大容量)可配置持久化存储,容量几乎无限
缓存失效策略支持过期时间、LRU/LFU 淘汰策略支持过期时间、LRU、LRU + 分布式缓存持久化策略
持久化支持不支持持久化,只在 JVM 中缓存支持持久化(内存、磁盘、备份等)
分布式支持仅适用于单机应用支持分布式缓存,多个节点可以共享缓存
内存使用内存缓存,适合小规模、高性能访问内存/磁盘结合,适合大规模、高可用的分布式缓存

Caffeine%EF%BC%8C%E4%BD%95%E6%97%B6%E4%BD%BF%E7%94%A8%20Redis%EF%BC%9F">何时使用 Caffeine,何时使用 Redis?

①使用 Caffeine:如果你的应用只需要单机缓存,数据量相对较小,且要求极低的延迟(例如,数据库查询、网页请求缓存),Caffeine 是一个很好的选择。

场景

  • 单机应用,数据存储量较小(例如,用户的最近访问信息、缓存一些经常访问的配置数据等)。
  • 缓存响应时间要求非常严格,需要高性能低延迟的缓存
  • 不需要跨服务器共享缓存,且缓存数据可以在应用关闭后丢失。

②使用 Redis:如果你需要跨多个应用共享缓存,或者需要缓存的数据需要持久化,或者系统是分布式的,Redis 是更适合的选择。

场景

  • 分布式系统或微服务架构中需要共享缓存(例如,用户会话、订单状态等)。
  • 数据缓存需要持久化,即便系统重启,缓存数据也要保留。
  • 需要高可用和高扩展性的缓存解决方案,Redis 支持集群、复制、持久化等特性。

在实际项目中,我们可以根据业务需求选择合适的缓存解决方案,甚至结合 Caffeine 和 Redis 使用,例如使用 Caffeine 缓存本地数据,使用 Redis 缓存跨应用的数据。


http://www.ppmy.cn/ops/144823.html

相关文章

开发场景中Java 集合的最佳选择

在 Java 开发中&#xff0c;集合类是处理数据的核心工具。合理选择集合&#xff0c;不仅可以提高代码效率&#xff0c;还能让代码更简洁。本篇文章将重点探讨 List、Set 和 Map 的适用场景及优缺点&#xff0c;帮助你在实际开发中找到最佳解决方案。 一、List&#xff1a;有序存…

OpenAI 普及 ChatGPT,开通热线电话,近屿智能深耕AI培训

12月19日&#xff0c;在OpenAI直播活动的第10天&#xff0c;宣布允许用户通过电话或WhatsApp与ChatGPT进行交互。并在美国推出 ChatGPT 热线电话&#xff0c;用户拨打后可与 ChatGPT 进行语音对话。 这项服务的一个亮点在于它兼容各种类型的通信设备——不论是现代智能手机如iP…

List反转的方法

1.list循环 List<String> strsnew ArrayList<>();for (int i 0; i <100 ; i) {strs.add("a"i);}List<String> fzstrsnew ArrayList<>();for (int i strs.size()-1; i >0 ; i--) {fzstrs.add(strs.get(i));}System.out.println(fzstr…

分享一个把表格类型的数据转换成字符串,以表格样式输出,方便控制台和日志记录时更直观

调用实例&#xff1a; Console.WriteLine("Hello, World!");List<string[]> tabLog new List<string[]>(); tabLog.Add(new string[] { "编号", "姓名", "性别", "年龄","备注" }); tabLog.Add(new…

Kubernetes使用Ceph存储

1.搭建Ceph集群 1&#xff09;准备工作 机器编号 主机名 IP 1 ceph1 192.168.1.121 2 ceph2 192.168.1.123 3 ceph3 192.168.1.125 关闭selinux、firewalld&#xff0c;配置hostname以及/etc/hosts 为每一台机器都准备至少一块单独的磁盘 所有机器安装时间同步服…

【国产NI替代】基于FPGA的4通道电压 250M采样终端边缘计算采集板卡,主控支持龙芯/飞腾

4通道电压 250M采样终端边缘计算采集板卡 采用Arria10 SOC型号的FPGA&#xff0c;最高采样率能到 250M&#xff0c;主要为高速计算提供硬件平台。

uniapp抖音小程序,如何一键获取用户手机号

前端部分 点击按钮&#xff0c;获取手机号 <button class"button" open-type"getPhoneNumber" getphonenumber"getPhoneNumber">一键获取</button> 传入sessionKey和encryptedData、iv 其中sessionKey是通过登录时&#xff0c;调…

k8s总结

1、k8s是部署、拓展、管理容器的容器编排引擎。可根据负载的变化动态增加或缩减节点保证系统的高可用。 2、ks8s核心组件&#xff1a;node是节点&#xff08;可以是物理机也可以是虚拟机&#xff09;、pod最小的调度单位&#xff0c;是容器的抽象&#xff0c;有svc管理容器网络…