数据缓存,可以尝试RocksDB了

ops/2024/10/18 8:30:18/

shigen坚持更新文章的博客写手,擅长Java、python、vue、shell等编程语言和各种应用程序、脚本的开发。记录成长,分享认知,留住感动。
个人IP:shigen

shigen在最近的学习中,接触到了一款新的缓存数据库RocksDB,起因是在学习公司内部的一款产品DRM动态配置,其中的底层就用到了这一款RocksDB数据库。但是我当时想到的就是既然是缓存,为什么不去用redis或者guava呢?为此,借助周末,我研究一下了RocketsDB的相关使用。

首先学习的话,肯定是得借助于RocksDB官网了,官网对于它的解释是:

RocksDB是Facebook的一个实验项目,目的是希望能开发一套能能在服务器压力下,真正发挥高速存储硬件(特别是Flash存储)性能的高效数据库系统。这是一个C++库,允许存储任意长度二进制kv数据。支持原子读写操作。

RocksDB依靠大量灵活的配置,使之能针对不同的生产环境进行调优,包括直接使用内存,使用Flash,使用硬盘或者HDFS。支持使用不同的压缩算法,并且有一套完整的工具供生产和调试使用。

RocksDB大量复用了levedb的代码,并且还借鉴了许多HBase的设计理念。原始代码从leveldb 1.5 上fork出来。同时Rocksdb也借用了一些Facebook之前就有的理念和代码。

巴拉巴拉一大堆,概括起来就是:

  1. 高速存储的数据库
  2. 灵活的配置,可以保存在内存、闪存、Flash、HDFS
  3. 数据二进制压缩

对比起来Redis,顿时觉得这个高级在它的高速存储和灵活的配置了。手已经有点痒痒了,准备开始适用一下了。

参照rocksDB的使用文档,我写了如下的代码进行测试:

结合springboot实现单元测试出现了一点问题:

集合springboot出现的问题

目前还没有找到解决方案。代码如下:

配置:

java">@Configuration
public class RocksDBConfig {@Value("${rocksdb.path}")private String dbPath;@Bean(destroyMethod = "close")public RocksDB rocksDB() throws Exception {Options options = new Options().setCreateIfMissing(true);return RocksDB.open(options, dbPath);}
}

其中,我的配置如下:

rocksdb:
path: ~/rocksdb_data

Service层:

java">@Service
public class RocksDBService {@Resourceprivate RocksDB rocksDB;public void putData(String key, String value) throws RocksDBException {rocksDB.put(key.getBytes(), value.getBytes());}public String getData(String key) throws RocksDBException {byte[] valueBytes = rocksDB.get(key.getBytes());return valueBytes != null ? new String(valueBytes) : null;}public void updateData(String key, String value) throws RocksDBException {rocksDB.put(key.getBytes(), value.getBytes());}public void deleteData(String key) throws RocksDBException {rocksDB.delete(key.getBytes());}
}

很奇怪的操作,那就先来看下理论的知识吧。借助GPT,我总结了它和redisguava之间的区别:

特征RocksDBRedisGuava Cache
类型持久化键值存储引擎内存键值存储引擎内存缓存引擎
存储引擎LSM树哈希表内存哈希表
内存使用低(可配置)中等
持久性
事务支持
数据结构键值对键值对键值对
支持数据类型字符串、字节流、字节数组等字符串、哈希、列表、集合、有序集合等任何Java对象
缓存策略不适用(持久化存储)LRU、TTL等LRU、最大条目数、定时过期等
分布式支持可以通过RocksDB的其他工具实现是,通过集群和主从复制
优势适合大规模数据、高吞吐量、低延迟速度快、支持丰富的数据结构轻量级、易于集成、适合单机应用
劣势配置和维护复杂内存受限、不支持持久化不支持持久化、不适合大规模数据

其中,涉及到管理、LSM Tree的原理可以参看文章:RocksDB零基础学习

最后,还是借助工具对于RocksDB和redis进行了一波总结:

  • 如果你需要在本地文件系统中持久化存储大量数据,并且对数据的读写性能有较高的要求,那么可以选择RocksDB。
  • 如果你需要在内存中存储数据,并且对数据的实时性要求较高,或者需要支持复杂的数据结构和功能,那么可以选择Redis。

总结就是:读写性能——RocksDB,实时性——redis

与shigen一起,每天不一样!


http://www.ppmy.cn/ops/42033.html

相关文章

STC8增强型单片机开发——串口调试UART

一、什么是串口 串口是一种在数据通讯中广泛使用的通讯接口,通常我们叫做UART (通用异步收发传输器Universal Asynchronous Receiver/Transmitter),其具有数据传输速度稳定、可靠性高、适用范围广等优点。在嵌入式系统中,串口常用于与外部设备…

基于 Spring Boot 博客系统开发(八)

基于 Spring Boot 博客系统开发(八) 本系统是简易的个人博客系统开发,为了更加熟练地掌握 SprIng Boot 框架及相关技术的使用。🌿🌿🌿 基于 Spring Boot 博客系统开发(七)&#x1f…

react的多级路由定义

在写实验室项目的时候,有一个需求,在二级路由页面点击按钮,跳转到详情列表页面,同时三级路由不用在导航栏显示,效果图如下: 前期的尝试: 在route,js文件这样定义的: {path: music,…

韵搜坊 -- java爬虫抓取数据

文章目录 三种抓取方式数据抓取的流程获取文章具体操作 获取用户获取图片jsoup操作 三种抓取方式 直接调用请求接口(最方便,这里使用该方法) HttpClient,OKHttp,RestTemplate,Hutool等网页渲染出明文内容后,从前端页面的内容抓取有些网站可能是动态请求…

Spark SQL

一、简介 Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。 1.特点: ➢ 数据兼容方面 SparkSQL 不但兼容 Hive,还可以从 RDD、parquet 文件、JSON 文件中获取数据,未来版本甚至支持获取 RDBMS 数据以及 cassandra 等 NOSQL 数据…

Docker 中快速构建 Redis Cluster 集群

Docker 中快速构建 Redis Cluster 集群 目录 前言环境准备 所需软件配置网络 构建 Redis Cluster 镜像 创建自定义 Dockerfile构建镜像 启动 Redis 节点容器 启动命令 配置 Redis Cluster 集群 创建 Redis 集群验证集群状态 总结 前言 Redis 是一个高性能的键值对数据库&am…

头歌答案哪里找

头歌EduCoder平台实训答案在此:实训笔记 有些作业是在难写,参考上面的连接地址吧,看看有没有自己想要的解答。

MotionDiffuse: Text-Driven Human Motion Generation withDiffusion Model # 论文阅读

URL https://arxiv.org/pdf/2208.15001 主页:https://mingyuan-zhang.github.io/projects/MotionDiffuse.html TD;DR 22 年 8 月商汤的文章,引用量 200。基于 SD,任务是输入文本的动作描述,生成对应的动作序列。 已有的 moti…