数据存储的未来,磁带是赢家?!

news/2024/12/29 3:41:57/

640?wx_fmt=jpeg

640?wx_fmt=gif&wxfrom=5&wx_lazy=1大数据分析和人工智能领域近年来的研究进展,为企业收集有关其业务每一个可衡量方面的信息创造了强大的动机,这应该不足为奇。而且,现在金融监管条例要求各单位保留相关记录的时间也比过去要长得多。所以公司和机构保存的信息都越来越多


研究显示,被记录下来的数据在容量上正在以每年30%40%的速度增长[1]。与此同时,用于存储数据的现代硬盘的容量增长速度还不到这一速度的一半。幸运的是,大部分信息不需要即时访问。对于这类信息,磁带是完美的解决方案。

真的吗?磁带?这个想法可能会唤起对出现在像电脑风云Desk Set或《奇爱博士》Dr. Strangelove这样的老电影里那种在大型主机旁断断续续地转动盘式磁带的回忆。那么,让我们来做个快速的事实核查吧:磁带从未消失!

的确世界上大部分数据仍然保留在带上,包括基础科学如粒子物理学和射电天文学)、文化遗产和国家档案电影、银行、保险石油勘探及其他很多方面的数据等。甚至还有一群人(包括我在内,接受过材料科学工程或物理方面的专业训练),他们的工作就是不断改进磁带存储。

是的,磁带已存在很长时间了,但该技术尚未成为历史,而是恰恰相反像硬盘和晶体管一样,磁带在过去几十年中取得了巨大进步

第一个商用数字磁带存储系统IBM推出的Model 726,它可以在一卷磁带上存储大约1.1兆字节数据。今天,一盒时新的磁带可容纳15TB数据。一个机械磁带库可容纳多达278PB的数据,如果是将这么多数据存储在光盘上,那么将需要3.97亿张光盘(能将它们一张压一张地叠放起来的话,会形成一座高度超过476千米高塔)

确实,磁带不能提供硬盘或半导体存储器那样快速的访问速度。不过,磁带的优势还是很多。首先,磁带存储更节能:一旦所有数据被记录了下来,磁带盒就会安静地呆在机械磁带库的插槽中,根本不消耗任何电量。磁带也非常可靠,错误率比硬盘低四到五个数量级。磁带还是非常安全,具有内置的动态加密以及由介质本身的性质所提供的额外安全性。毕竟,如果磁带没有安装在驱动器中,则无法访问或修改其上保存的数据。鉴于通过网络攻击导致的数据窃取不断增长,这种“air gap”网闸尤其具有吸引力。

磁带的离线特性还为有缺陷的软件提供了额外的防线。例如,在2011年,Google的一次软件更新中,代码里的一个缺陷导致Google意外删除了大约40,000Gmail帐户的电子邮件。尽管在多个数据中心的硬盘上存储了多个数据副本,但数据仍有所丢失。幸运的是,数据也记录在磁带上,Google最终从磁带备份中恢复所有丢失的数据。

2011年的Gmail事件是最早披露的云服务提供商使用磁带进行运营的案例之一。更近一些时候,微软宣布其Azure Archive  Storage使用了IBM的磁带存储设备。

640?wx_fmt=jpeg

1951年:最早被用在计算机(Univac)上记录数据的磁带照片来源:Bettmann / Getty Images

640?wx_fmt=jpeg

1952年:推出商用计算机磁带存储系统IBM 726)。照片来源:IBM

640?wx_fmt=jpeg

1964年:推出轨磁带照片来源:IBM

640?wx_fmt=jpeg

1968年:推出自动穿带磁带机(IBM 2420)。照片来源:IBM

640?wx_fmt=jpeg

1974年:最早的自动(机械)磁带库(IBM 3850)。照片来源:IBM

640?wx_fmt=jpeg

1974年:最早的自动(机械)磁带库(IBM 3850)。照片来源:IBM

640?wx_fmt=jpeg

1984年:推出薄膜磁头技术(IBM 3480)和4×5英寸磁带。照片来源:IBM

640?wx_fmt=jpeg

1989年:推出数字数据存储磁带(螺旋扫描磁带)。照片来源:Kadin2048 /Wikipedia

640?wx_fmt=jpeg

1993年:推出数字线性磁带。照片来源:Christian Taube /Wikipedia

640?wx_fmt=jpeg

2009年:IBM推出线性磁带文件系统照片来源:IBM

640?wx_fmt=jpeg

2009年: IBM推出线性磁带文件系统图片来源:Hewlett Packard Enterprise / IBM / Quantum。 

640?wx_fmt=jpeg

2017年:最新一代LTOLTO-8发布照片来源:IBM

尽管磁带有以上优点,公司使用磁带的主要原因通常出于经济上的考虑磁带存储的成本是将相同数量的数据保存在磁盘上所需成本的六分之一,这就是为什么几乎可以在任何存储大量数据的地方找到磁带系统的原因。但由于磁带现在已经完全从消费级产品中消失,大多数人都不知道它的存在,也就更不知道磁带记录技术近年来取得的巨大进步以及在可预见的将来会继续取得的进步了。

所有这一切都是磁带已经陪伴我们几十年,并在未来几十年继续存在。我怎么能这么肯定?继续读下去,你就知道原因了

磁带之所以能存活这么久,有一个根本原因它很便宜而且,它正在变得越来越便宜。但情况会一直如此吗?

可能会认为,如果将更多数据塞进硬盘的能力正在减弱,那么对于使用相同基本技术但更老的磁带来说也是如此。令人惊讶的现实是,对于磁带而言,这种容量的扩大并没有显示出放缓的迹象。事实上,其存储容量应该以每年约33%的历史增长速度继续增长多年,这意味着大约每两到三年磁带的存储容量就会翻一番这可以看作是磁带的摩尔定律。

对于那些不得不在存储预算不高的情况下应对数据爆炸式增长问题的人来说,这是个好消息。要理解为什么磁带仍然具有硬盘的潜力,可以思考下磁带和硬盘的进化方式。

两者依赖于相同的基本物理机制来存储数字化的数据。它们以磁性材料薄膜中的窄轨道来实现存储在薄膜中磁性在两种极性状态之间切换。信息被编码为一系列比特,由沿轨道分布的特定点处存在或不存在磁极转换来表示。自20世纪50年代推出磁带和硬盘以来,两者的制造商一直被“更密集更快更便宜口号所驱策发展结果是两者的成本(以每千兆字节容量所需美元计)都已经降低了多个数量级

磁性基板每平方毫米上可记录信息密度指数长,这导致了硬盘和磁带成本降低。面密度(areal density)是沿数据轨道的记录密度和垂直方向上轨道密度的乘积。

早期阶段,磁带和硬盘的面密度相似。但是,更大的市场规模和来自硬盘销售收入为更大规模的研发工作提供了资金,这使得硬盘的制造商能够更积极地提高硬盘的面密度结果是容量硬盘目前的面密度大最新磁带的100

尽管如此,由于磁带具有更大的可用于记录的表面积,最先进的磁带系统里的一盒本机磁带可容纳高达15TB的数据——超过了市场上容量最大的硬盘的容量尽管两种设备占用的空间差不多,但事实的确如此

640?wx_fmt=jpeg

照片来源:Victor Prado

内部和外部一种时新的使用线性磁带开放技术LTO的盒式磁带,它只包含一个卷轴,将它插入磁带系统后,磁带自动卷到传动装置内置的卷轴

当然除容量外,磁带和硬盘的性能特征是非常不同的。盒式磁带中带子长度通常为数百米导致平均数据访问时间为5060秒,而硬盘的平均数据访问时间仅为510毫秒。但是,令人惊讶的是,将数据写入磁带的速率是写入磁盘速度的两倍多。

在过去几年中,硬盘上数据的面密度增速已从其历史平均值每年约40放缓到10%至15之间。原因与一些基本物理事实有关:要在给定面积中记录更多数据,需要为每个比特分配一个更小的区域。这反过来会减弱读取这个比特时可以得到的信号的强度。如果信号在强度上降低过多,它消失在硬盘上涂有磁性颗粒因其颗粒特性而产生的噪音之中

通过使这些颗粒变小,可以减少背景噪音。但是很难将磁性颗粒缩小到一定的尺寸而不会损害它们以稳定的方式保持磁性状态的能力。在这个行业中,用于磁记录的最小可行尺寸被称为超顺磁极限。而硬盘制造商已经抵达了这个极限尺寸

直到最近,这种容量增速的放缓对消费者来说都并不明显,因为硬盘制造商能够通过每个硬盘中添加更多的磁头和盘片来进行补偿,从而在相同尺寸的包装中实现更高的存储容量。但现在,可用空间和增加更多磁头和盘片的成本限制了硬盘制造商所能获得的收益。增速放缓开始变得明显。

一些正在研发的技术可以使硬盘突破现今的超顺磁极限的限制。这些技术包括热辅助磁记录技术HAMR)和微波辅助磁记录技术MAMR),它们允许使用更小的颗粒,从而使磁盘的更小区域被磁化成为可能。但这些方法增加了成本并带来棘手的工程挑战。根据制造商的说法,即使这些技术研发成功,它们提供的容量增长可能也是有限。例如,最近宣布将在2019年开始出货MAMR硬盘西部数据公司预计说,MAMR技术只能使硬盘的面密度每年增加约15%。

相比之下,磁带存储设备目前使用的面密度还超顺磁极限之下。因此,磁带的摩尔定律可以持续十年或更长时间,而不会遇到这些基础物理层面的障碍。

然而,磁带是一种棘手的技术。它的可拆卸性使用薄的聚合物基板而不是刚性基片以及同时多达32平行轨道上记录,为设计人员带来了很大障碍。这就是我在IBM苏黎世研究实验室的研究团队一直努力寻找能使磁带容量持续扩展的方法(要么适应性采用磁盘技术,要么发明全新的方法)的原因。

2015年,我们和富士胶片株式会社的合作伙伴一起展示了通过使用垂直于带的超小钡铁氧体颗粒,可以使磁带的数据记录密度达到目前的商用技术可实现的密度的12倍以上。最近,我们与索尼存储介质解决方案公司合作展示了以大约20倍于目前最先进磁带的面密度来记录数据是可能的。如果能将这项技术商业化,那么现在可能需要一打盒式磁带来存档其所有数字材料的一部大制作电视节目,将来只用一盒磁带就能存得下来。


640?wx_fmt=jpeg

照片来源:David Parker/Science Source; 版权所有: IBM。

数据洪流现代磁带库可容纳数百PB,而1952年推出的IBM 726图)仅能存储几兆字节

我们技术上取得了很多进步,才实现了这样规模的存储容量。首先,我们提高了读写磁头沿着磁带上细长磁道移动的能力在我们最新的演示中,磁道宽度只有100纳米左右。

我们还不得不减小数据读取器——用于读取记录数据的磁道的磁阻传感器——的宽度,使从其当前的微米尺寸缩小小于50纳米的程度。结果,我们用这么小的读取获取到的信号非常嘈杂。我们通过提高介质本身的信噪比(它是磁性颗粒的尺寸和方向以及它们的成分、磁带表面的平滑度和光滑度的函数来补偿。为了进一步解决这个问题,我们改进了设备所采用的信号处理和纠错方案。

为了确保我们的新原型介质能够数据保存数十年,我们改变了记录层中磁性颗粒的性质使其更加稳定。但是改变使得记录数据变得更加困难,以至于普通的磁带传感器无法可靠地将数据写入新介质为此,我们使用了一种产生比传统磁头强得多的磁场的特殊磁头

结合使用这些技术,我们能够在我们的实验室系统中以每英寸818,000比特的线性密度读数据(由于历史原因,世界各地的磁带工程师以英寸为单位衡量数据密度)。结合使用新技术可以处理的每英寸246,200磁道,我们的原型装置达到了每平方英寸201千兆比特的面密度。假设一个磁带盒可以容纳1,140磁带(鉴于我们所使用的新磁带介质厚度小于以前的,这是一个合理的假设这一面密度对应于高达330 TB单盒磁带容量。这意味着一盒磁带可以记录的数据与装满一辆手推车的硬盘所能容纳的一样多

在2015年,信息存储产业联盟(一个由惠普、IBM、甲骨文、昆腾及若干学术研究团体共同成立的组织)发布了国际磁带存储路线图》(International Magnetic Tape Storage文中预测说,2025年,磁带存储的面密度将达到每平方英寸91 Gb。根据这一趋势推断,到2028年,磁带存储的面密度将超过每平方英寸200 Gb

该路线图的作者都对磁带存储的未来感兴趣。你不必担心他们过于乐观。我和我的同事最近进行的实验室实验表明,每平方英寸200 Gb的面密度完全有可能实现。因此,在我看来,在未来至少十年内,磁带完全有把握保持过去的容量增速。

实际上,磁带可能属于最后一批仍然遵循摩尔定律的信息技术——至少在未来十年内,它仍能遵循这一定律而这反过来只会增加磁带相对于硬盘和其他存储技术的成本优势。因此,即使你可能很少在黑白电影之外看到它,磁带在未来数年里依然会发挥重要作用

  • 本文刊登在20189印刷版IEEE SPECTRUM上,标题为Tape Storage Mounts a Comeback

  • 本文转自“IEEE电气电子工程师学会”

  • 本文作者Mark Lantz是IBM苏黎世研究实验室先进磁带技术经理。

参考文献

John GantzDavid Reinsel. The Digital Unviserse in 2020: Big Data, Bigger Digital Shadows, and Biggest Growth in the Far East - United States. Februry 2013. Available at 

https://www.emc.com/collateral/analyst-reports/idc-digital-universe-united-states.pdf 


温馨提示:

请识别二维码关注公众号,点击原文链接获取更多存储技术总结资料

640?wx_fmt=jpeg

640?wx_fmt=gif&wxfrom=5&wx_lazy=1


http://www.ppmy.cn/news/249356.html

相关文章

磁带非但没被淘汰,容量还比硬盘大了???

詹士 发自 凹非寺量子位 | 公众号 QbitAI 580TB数据能存一盘磁带上??? 没扯淡,这是已经实现的事。 IBM和富士胶片一项技术突破显示,他们已找到方法将单盒磁带容量提升到580TB。 这大约等同于12万张DVD存储量&#xff0…

hpux下netbackup无法认到所有磁带机

os:HP-UX-IA64 11.31 nbu:8.1.1 排查问题 1.首先检查系统层面,如果系统层面能识别到所有磁带机,那么不存在zone划的有问题,并且磁带机的链路也没问题 2.删除磁带机重新扫描 nbemmcmd -deletealldevices -machine…

Scality试图将对象存储转移到磁带和云中

Scality正在开发一款软件定义存储控制器(SDS)以实现对象存储转移到公有云或者使用S3协议的磁带上。 这个想法是要利用策略从本地的Scality RING存储系统中选择那些传送到S3目标的对象。关于这些对象的元数据可以保留在本地以辅助搜索。可以强制实施策略&…

存储专访:整合磁带与磁盘 昆腾为用户提供更灵活的选择

在昆腾进行的有403位IT人士参与的调查中发现,很多中型用户仍面临需要更高的备份性能、对传统的恢复状况不满意,远程机构磁带备份面临难题、手动进行容灾,介质管理困难重重并且费用高昂等众多问题。 在昆腾看来,具备重复数据删除功…

昆腾助用户步入大数据和云时代

5月24日,数据保护和大数据领域专家昆腾公司,在北京召开了2013年渠道暨用户大会,美国昆腾公司30年致力为用户提供出色数据保护和分层存储归档解决厂商,主要为物理环境、虚拟环境及云环境提供专业信息存储解决方案。在昆腾的帮助下,…

Veritas NetBackup 7.7.3 + Vistor 虚拟带库

Veritas Netbackup简介 Veritas NetBackup 简称 NBU 是一款商业化的备份和恢复软件,在金融行业占据了 86%以上的市场份额,除了软件产品以外也开始推自家的备份一体机。 NBU 的原理和三层架构部分,比较核心的内容当然是 Policy 部分。 Vistor简…

Mujoco210 Ubuntu 22.04配置安装

.1 下载 1.1 解压 先是下载软件包 然后 mkdir ~/.mujoco缩包所在位置(一般在下载目录下)在终端打开,输入以下命令将压缩包解压到.mujoco文件夹中: tar -zxvf mujoco210-linux-x86_64.tar.gz -C ~/.mujoco1.2 许可问题 有说mu…

java设计模式之:建造者模式

文章目录 建造者模式介绍建造者模式适用场景案例场景一坨坨代码实现重构代码 与工厂模式区别建造者模式优缺点总结 该说不说几乎是程序员都知道或者了解设计模式,但大部分小伙伴写代码总是习惯于一把梭。好的代码不只为了完成现有功能,也会考虑后续扩展。…