一、概述
随着AI大模型、云计算和大数据技术的快速发展,智能算力市场需求持续增长。今年7月由国家信息中心发布的《智能算力产业发展白皮书》指出,随着AI大模型等关键技术取得突破,算力需求正从通用计算转向智能计算。智能计算是指面向人工智能应用的高性能计算。算力可分为通用算力、智能算力、超级算力。不同的应用场景下所需的计算精度不同,也会采用不同的算力。目前,在人工智能快速发展的大背景下,智能算力、超级算力的规模和占比越来越大,算力需求逐步从通用计算转为智能与超级算力。
二、现状
当企业或高校大力发展研究AI时,在算法、数据和算力方面会存在一系列困境:
首先是算法方面,高校和企业在最新模型研究方面拥有强大实力及丰富的资源,在模型算法日渐复杂的情况下,基础算法模型能否快速稳定的实现“即插即用”,将极大影响算法模型的研究进程。
其次在数据方面,数据质量和可用性成为影响算法模型准确率的关键因素。AI系统的性能很大程度上依赖于训练数据的质量和多样性。数据不足、偏差或质量差可能导致模型表现不佳或产生偏见。
基于算法和数据,复杂的AI模型往往需要巨大的计算资源,而企业和高校在算力方面往往受到硬件条件的限制。同时由于研究成果和研究效益的驱动,算力资源往往被优先分配给热门或重要的研究项目,导致其他项目面临算力不足的情况。
三、算法、数据和算力的一体化体验
一名企业算法工程师或算法方向研究生,在日常的学习研发工作中,是否会遇到类似的困惑:有算法模型,但是缺少丰富的、有效的数据集来验证模型;获取到数据集后,缺少合适的工具进行数据预处理、数据清洗等基础操作;模型算法经过训练与测试后,效果稍差但又缺少稳定强大的算力平台来提升性能。
因此,要解决以上提到的诸多问题,就需要一个融合丰富的算法、海量的数据和强大的算力等特点的平台,为企业或高校等科研人员提供高效便捷的使用体验。在国家的大力扶持下,超算互联网平台逐渐被科研人员所了解。超算互联网连接产业生态中的算力供给、应用开发、运营服务、用户等各方能力和资源,并以互联网的思维运营超算中心,构建一体化的超算算力网络和服务平台。
在超算互联网平台的强力支持下,困扰科研人员的算法、数据和算力融合问题有了“满分答案”。
(1)丰富的数据集。超算互联网平台提供了近三百份数据类型商品,其中包括各种类型的高质量数据集、行业数据、API数据以及模型框架扩展包等等,涵盖了人工智能、航空航天、汽车、船舶、能源、高科技电子、机械制造、化工冶金、生命医药、材料计算、气象海洋环境、量子计算等各种领域。
同时,数据集类型商品的交付方式,便捷高效,购买后可直接在本地或用户目录中使用,让AI科研人员不再为寻找海量且可靠的数据集而浪费宝贵时间。
(2)高效的算法库。超算互联网平台在提供数据集的同时,还为用户集成了便捷高效的算法库。其中模型服务商品的算法模型涵盖自然语言处理、计算机视觉、多模态、语言等多种分类;源代码包更是提供了包括基础软件、物理化学、生命科学、气象海洋环境、地球科学等分类超四千余份商品。
算法模型商品购买后,提供了“一键试用”、“模型开发”等在线调试的入口与工具,可以帮助科研人员快速上手,高效省时得确认算法模型是否符合要求。可以添加前文获取的数据集作为训练数据,直接利用算力平台在线开发与参数调优。
(3)强大的算力。多样化的算力资源是超算互联网平台最核心的业务功能,拥有包括AI计算、高性能计算、存储、云服务器等多种计算资源商品。其中异构加速卡作为智能算力的热门商品,具有强大的并行计算能力,能够快速处理大量的数据。加速卡在科学计算、人工智能、深度学习等领域发挥着关键作用。
超算互联网平台以控制台为入口,集成计算资源、数据、算法及Notebook,能够让科研人员集中管理自己AI模型相关的所有资源,真正实现数据、算法、算力的融合。
四、总结
除了满足企业高校科研人员的算力算法需求外,超算互联网平台更是支撑超算基础设施网络化、服务化、产业化发展的核心运行载体。超算互联网不仅要在各算力中心之间形成高效数据传输网络,更要打造国家先进算力底座,为数字中国建设提供强有力支撑。AI大模型已经成为国家、企业和高校积极发展、重点投入的大方向,而普惠大众的智算、超算能力就是AI发展的基础资源,是实现科技创新的源泉。发展智算/超算对我们发展AI与数据要素、推动全方位发展有重要意义。