阿里云专家带你揭秘云计算数据底座——对象存储

news/2024/12/29 16:51:48/

云计算是新一代的IT 技术,也是数字化转型的新基础设施。有了云计算平台,大数据技术才得以迅猛发展。

怎样获取、存储、处理、应用数据,是一整套方法论,也要有一整套的工具。

对象存储因云而生,是面向各种计算应用的存储资源池,提供弹性的服务化能力。

随着各行业数字化的蓬勃发展和企业数字化的转型,数据迎来爆炸式增长,2020 年全球产生的数据预估是 59ZB,2025 年预计达到 175ZB。

尽管产生了大量的数据,但只有大约 10% 的数据被存储下来,大约只有 5% 的数据被分析过,低成本、易管理、易分析的存储需求驱动了对象存储的产生和发展。

1

为什么对象存储是云计算数据存储底座呢?
云计算从本质上就涉及两件事:

一是用分布式技术替代了集中化技术,取代了原有的小型机、大型机、集中式存储、集中式数据库等,这是互联网公司崛起带来的一个显著现象。分布式技术巨大地提升了运行效率,把IT 设施更加统一化和一致化,被产品化之后就成了如今的云计算;

二是云本身也发生了很大的变化,把所有计算资源整合成计算资源池,所有存储资源整合成存储资源池,通过数据在计算资源池和存储资源池之间流动产生价值。

对象存储提供简单易扩展的名字空间,它通过RESTful 接口提供了在任何时间、任何地点、任何互联网设备上进行上传和下载数据的能力。

通过分布式存储技术的加持,跨数据中心和跨地域的容错能力,对象存储具备低成本、高可靠和易扩展的优势。对象存储在合规性、安全性、管理、生态、数据湖等领域不断发展,满足业务的需求,促进业务的创新。

随着云计算的发展,对象存储已成为事实标准的云存储。自动驾驶汽车、智能手机、平板电脑、IoT 设备等可以通过移动网络便捷的通过互联网访问对象存储,公共云、混合云的计算服务器也可以通过专有网络 VPC访问对象存储。不同网络流入的数据都能存储在对象存储相同的资源池中,从而自然而然成为云计算的数据存储底座。

2

对象存储前世今生
1956 年IBM 发布350 Disk Storage Unit,它是第一代真正意义上的磁盘存储。它的体积约为2 个中等大小的冰箱,只能存放3.75 MB 数据。2020 年的20TB 硬盘容量是第一代硬盘的560 万倍,尺寸也只有普通人手掌大小。

尽管盘的技术在飞速发展,但它无法解决单块盘出现故障带来的数据丢失问题。为此业界引入了廉价磁盘冗余阵列(RAID)技术,并逐步演化为存储区域网络(SAN),提供高可靠、高可用、高性能的块存储。

块存储只能提供线性地址空间,本身不具备数据管理能力,无法直接存放一张图片、一首音乐、一段视频,需要在它之上格式化文件系统来满足。但文件系统不擅长数据共享,从而演进到网络附加存储(NAS),服务器通过挂载指定NAS的网络IP地址访问共享文件夹,实现数据的高效共享。

网络附加存储随着保存文件的不断增多,海量文件管理成为难题,对象存储技术诞生就是为了解决该问题,它通过桶和对象的平坦模式组织数据,实现横向海量扩展。

在这里插入图片描述

存储始终围绕着高可靠、高可用、高扩展、易用性等需求不断演进,对象存储是存储技术不断迭代、持续发展的结果,直至演化为云计算至关重要的基础产品服务。

在阿里云对象存储负责人罗庆超老师所写的《对象存储实战指南》一书中,深入浅出地将对象存储发展历史娓娓道来。

在这里插入图片描述

3

这是一本怎样的书
▊ 题目前沿,现有参考资料较少

对象存储 OSS成功对接了云计算上丰富的数据分析技术生态,在它不断发展过程中支撑了大量热门领域。

为“城市大脑”提供海量图片和视频的高可靠、易扩展 7 x 24 不间断存储。

在新冠早期支撑钉钉实现1周内10倍扩容,保障钉钉 3 亿用户远程办公。

奥运会体育视频利用对象存储的智能处理、高效分发让媒体转播更有效、成本更低。

对象存储 OSS 作为公共云的IaaS服务,为PaaS和SaaS提供基础的数据存储平台,支持各种前沿创新场景,为数据湖、混合云、移动网络5G、人工智能等新领域提供数据存储基石。

在这里插入图片描述

▊ 从实践中来,到实践中去

本书从对象存储 OSS的业务需求出发,从客户实际痛点提炼产品特性,深入学界和高校学者合作创新的架构原理和特性实现,再将领先的技术转化为代码实现的功能规格,同行业专家、客户一起应用到实际生产,推动行业数字化发展。

通过理论设计和产品实践的螺旋上升,让对象存储 OSS 实现 12 个 9 的高可靠和99.99%的高可用能力,达到业界领先。在整个过程中,也总结了一套入门使用、数据迁移、安全合规、数据保护、应用场景最佳实践的实战指南。

在这里插入图片描述

▊ 架构清晰,写作流畅

本书从分布式存储基础架构入手,结合技术原理和产品实践展开讨论,并从入门和使用维度深入介绍对象存储服务 OSS 的应用实战。

全书分为三篇:

第一篇,基础与原理;

第二篇,操作和使用;

第三篇,总结与展望。

在这里插入图片描述

4

本书主要内容
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5

你可以收获什么
▊ 掌握存储发展历史

通过块存储、文件存储、对象存储的技术演进史,了解技术发展背后的问题驱动。

▊ 理解分布式系统技术原理

深入浅出的分析分布式领域的单点技术原理,特别是存储系统最关键的数据完整性。

▊ 实战对象存储OSS配置管理

实操入门上手、数据迁移、安全合规、数据保护以及应用场景最佳实践,助你成为使用云计算对象存储服务的合格管理员。

▊ 前瞻对象存储未来发展新趋势

介绍对象存储支持的业界新趋势,了解新赛道的场景需求、技术方案。

6

听听专家怎么说
本书为阿里云内部核心技术人员所著,从分布式存储基础架构入手,结合技术原理和产品实践展开讨论,并从入门和使用维度深入介绍对象存储的应用实战。阿里云对象存储的产品验证和客户场景最佳实践,具有重大的参考意义和示范效应。

——舒继武 清华大学教授,中国计算机学会信息存储技术专业委员会主任

“稳定安全高性能、普惠智能新存储”是阿里云存储的理念,不断优化服务质量、降低使用成本、提高客户易用性,让数据存取随处可得。本书通过最佳实践介绍如何更好地配置和使用对象存储,有助于读者了解对象存储并对数字时代创新有更加深入的认识。

——张建锋(行癫) 阿里云智能总裁

阿里的对象存储从早期的TFS系统演化至今,经受了大规模业务的考验,已经是世界上较为成熟的产品之一。本书介绍的对象存储基于盘古存储引擎实现,后者和存储产品结合已进行研发演进。

——蒋江伟(小邪) 阿里云高级研究员

本书结合阿里云十几年在分布式存储领域和对象存储领域的研发实践,理论结合实践阐述了对象存储领域的关键技术,深入地分析和总结了阿里云存储的实践和创新。

——吴结生 阿里云高级研究员

我对本书的评价是两个字:严谨,本书兼具教科书的架构感和工具书的实用性。本书给大家展示的是数千PB 数据下的大规模实践。

——陈绪 阿里云技术战略总监

7

作者简介

罗庆超
阿里巴巴资深技术专家,阿里云对象存储负责人,在企业存储和云存储领域有丰富的技术与产品经验。

曾就职于世界500强以及知名跨国公司的存储团队,负责过高端存储阵列的数据路径架构设计和开发,作为海量存储首席架构师负责文件存储、对象存储以及下一代分布式云存储的架构设计和实现,同时在灾备以及数据管理领域亦有多年开发和运维经验。

带领技术研发团队,多次在大规模商业项目中成功落地。毕业于电子科技大学计算机系统架构专业,并获得硕士学位,在相关技术研究领域,支持并参与多本行业专业书籍的编写工作,被授予包括块存储、文件存储、对象存储、数据湖等方向的20多项发明专利,技术成果成功应用到产品创新迭代。

如果想要更多地了解对象存储的历史由来、技术细节、实战操作和未来展望,欢迎阅读《对象存储实战指南》一书。


http://www.ppmy.cn/news/362730.html

相关文章

集成底座项目典型数据下发方式对比说明

随着企业信息化的不断发展、不断升级,越来越多的业务系统在满足企业业务发展的同时,往往又会成为信息化建设和业务操作上的瓶颈,无论是频繁进行业务系统切换,还是跨系统之间的基础数据的维护与打通,都难以应对企业业务…

集成底座项目实施总结

集成底座是基于IDM、MDM、ESB三个核心产品组合打造的一套解决方案,主要解决企业信息化建设过程中业务系统打通以及基础业务集成整合的问题,通过构建企业集成底座,实现各业务系统间的统一认证,保证业务系统访问的一致性&#xff1b…

集成底座POC演示流程说明

集成底座方案主要是基于IDM统一身份管理平台、MDM基础数据管理平台和ESB企业服务总线平台三款产品组合形成的解决方案,主要是从企业信息化建设的角度出发,搭建基础的信息化平台,构建统一、标准、柔性、可复用、可扩展的IT架构,解决…

集成底座平台和数据中台的关联分析

企业的信息化建设是伴随企业发展不断延伸、不断升级的过程,而随着信息化体量不断增大,建设的复杂度也在不断提升,业务系统间的集成与数据整合也越来越重要。为了提升系统集成的便捷性,针对企业实际业务建立集成底座平台作为支撑是…

集成底座统一认证配置说明

企业的信息化建设是一个循序渐进、不断延展的过程,在这过程中企业对于体系架构、集成整合、数据治理、安全管控的要求也会不断提升,而集成底座方案的诞生就是为了解决信息化建设时缺乏整体规划、集成整合难度大、安全管控不到位等问题。 集成底座主要包…

集成底座方案演示说明

集成底座方案主要是基于IDM统一身份管理平台、MDM基础数据管理平台和ESB企业服务总线平台三款产品组合形成的解决方案,主要是从企业信息化建设的角度出发,搭建基础的信息化平台,构建统一、标准、柔性、可复用、可扩展的IT架构,解决…

elasticsearch数据同步到hive

背景 来自用户的需求: 用户有一部分数据来自 elasticsearch ,我们已经支持了通过 presto 查询 es 数据。但是用户需要将 es 表 和 hive 表做关联查询,而 presto 是不能跨数据源进行 join 查询的。所以需要先把 es 数据导入到 hive 中 用户对数据同步周…

彻底删除的文件还能恢复吗?试试它

在我们使用电脑时,不可避免地会遇到需要删除某些文件的情况。当我们使用“删除”键或者右键菜单中的“删除”选项时,文件并没有被完全删除,而是被移动到了回收站中。如果我们想要恢复这些文件,只需要打开回收站,找到对…