【DAO】DAOS在后傲腾时代的发展策略

devtools/2024/9/22 17:42:58/

视频:DAOS在后傲腾时代的发展策略_哔哩哔哩_bilibili

代替方案 WAL (write ahead log)

在架构上用DRAM 代替PMEM,如图

变化是:

傲腾方案: PMEM 数据写到内存就完成"落盘",是一个原子操作.

WAL 方案:元数据写到DRAM,定时的回刷到SSD,大部分时间性能和PMEM一样,但是在回刷数据到SSD的时候会有性能抖动。

WAL:

1,记录所有内存变化到一个连续的buffer中

2,将这个buffer提交到SSD (落盘)

WAL 相比PMEM的缺点还有,等节点故障时,需要从SSD把元数据重新恢复到内存中,这个过程比较慢,而PMEM就不存在这个动作(上电数据就在内存--PMEM中)

WAL回刷

#------------------------------------

对象放置算法

DAOS的数据结构:daos container (有点像文件夹)

DAOS的分层概念 (通过Dkey 和Akey 完成灵活的分布管理)

两层不同的存储媒介(蓝色:PMEM/DRAM 灰色:SSD)

副本模式和EC模式

副本:数据丢失,恢复副本,性能影响较小。 缺点:请求发给主,主通知其他副本去拉数据,从节点同时去拉数据,带宽压力大。

EC:数据丢失,重构数据,性能影响较大。

心跳:swim

发现节点故障,发送最新map给其他节点,重建数据

数据重建


http://www.ppmy.cn/devtools/53751.html

相关文章

【因果推断python】45_估计量1

目录 问题设置 目标转换 到目前为止,我们已经了解了如何在干预不是随机分配的情况下对我们的数据进行纠偏,这会导致混淆偏差。这有助于我们解决因果推理中的识别问题。换句话说,一旦单位是可交换的,或者 ,就可以学习…

Windows CSC服务特权提升漏洞(CVE-2024-26229)

文章目录 前言声明一、漏洞描述二、漏洞成因三、影响版本四、漏洞复现五、CVE-2024-26229 BOF六、修复方案 前言 Windows CSC服务特权提升漏洞。 当程序向缓冲区写入的数据超出其处理能力时,就会发生基于堆的缓冲区溢出,从而导致多余的数据溢出到相邻的…

Aramco公司利用高通的专业知识增强工业物联网和人工智能

石油和天然气公司Aramco公司与高通技术公司合作,以增强沙特阿拉伯工业用例的连接性、人工智能和先进计算技术。 此次合作旨在加速工业 4G/5G 和非地面网络 (NTN) 生态系统的发展,其中包括 450MHz 蜂窝技术。它还将专注于设计硬件、软件和服务&#xff0…

vscode不能进行go跳转

辗转反侧,弄了好久好久终于出山了 总结:跟vscode版本插件有关 老版本vscode DocsTool修改成godoc 新版本vscode go get golang.org/x/tools/goplslatest setting中 "go.useLanguageServer": true, "[go]": {"editor.snipp…

mysql主从备份

1,备份主库数据 2,配置主库 修改my.cnf文件,在[mysqld]加入下面的内容: # 服务的唯一编号 server-id1 # 开启mysql binlog功能 log-bin mysql-bin # 这个参数要加上,否则不会给更新的记录些到二进制文件里 lo…

MongoDB~分片数据存储Chunk;其迁移原理、影响,以及避免手段

分片数据存储:Chunk存储 Chunk(块) 是 MongoDB 分片集群的一个核心概念,其本质上就是由一组 Document 组成的逻辑数据单元。每个 Chunk 包含一定范围片键的数据,互不相交且并集为全部数据。 分片集群不会记录每条数据…

宕机了, redis如何保证数据不丢?

前言 如果有人问你:"你会把 Redis 用在什么业务场景下?" 我想你大概率会说:"我会把它当作缓存使用,因为它把后端数据库中的数据存储在内存中,然后直接从内存中读取数据,响应速度会非常快。…

Unity中的AssetBundleManifest

在Unity中,AssetBundleManifest是一个重要的类,它包含了关于AssetBundles的元数据,如依赖关系、哈希值等。以下是对AssetBundleManifest类中常用属性和方法的清晰归纳: 常用属性 无直接公开属性:AssetBundleManifest…