科创中心“核”动力|趋动科技:AI算力界的领跑者

embedded/2024/9/24 6:31:30/

近日,趋动科技与深信服正式推出联合解决方案。联合解决方案将深信服EDS的高性能存储与趋动科技OrionX AISuanLiZiYuanChiHua.html" title=AI算力资源池化>AI算力资源池化软件、以及GeminiAI训练平台有机结合,整合存力与算力资源的同时,帮助用户建好AI平台、管好AI资源、用好AI服务。

双方已完成生态联合方案适配

具体来说,联合解决方案的推出将为AI领域用户的基础设施建设带来以下改变。

高性能联合方案就绪,打造更高效的训练平台

随着AI大模型建设进度的加快,用户对AI模型训练效率的要求也越来越高。但由于GPU算力资源不足和底层存储小文件读写性能不足等问题,训练平台内大量的训练任务不得不排队等待。算力和存力上的能力缺失,拖慢了整个AI训练平台的训练效率。

针对此种情况,联合解决方案自上而下做了全面优化。针对上层训练平台的效率问题,趋动科技OrionX AISuanLiZiYuanChiHua.html" title=AI算力资源池化>AI算力资源池化软件通过打造算力资源池,帮助用户根据任务情况灵活分配GPU资源,实现资源的切分、聚合、远程调用、超分、任务排队、动态挂载和释放、以及国产芯片异构池化等能力,充分满足各项训练任务的算力开销,加速任务开展。同时,Gemini AI训练平台提供的调度能力优化了训练平台的管理机制,统一调度下,AI模型的训练更加高效。

针对底层存储的性能问题,通过EDS自研的启发式预读机制和多活元数据服务,可有效解决小文件性能难题,百亿数据集规模下也可提供高速的读写能力,从而减少GPU的等待时间,提高短期循环训练的吞吐能力和训练效率

容量与性能同步扩展,打造高性价比的存储方案

在日常的AI数据集训练过程中,为了让模型更加精准,常常需要用海量的图像、文本等数据对AI模型进行训练。飞速增长的数据给底层存储的容量和性能带来了巨大的压力,传统存储高成本、低效率的扩容模式愈发难以满足性能和容量的需求。

凭借矩阵式存储算法等全自研技术,EDS在存储图文、视频等小文件的过程中,可有效解决小文件写放大导致的空间浪费问题,最大化利用存储空间,三节点组成的集群即可满足一个中等规模的AI训练团队的存储需求。在性能的扩容方面,也得益于软件定义存储的架构优势,EDS在进行扩容时可实现容量与性能地同步扩展,灵活应对AI业务快速增长的性能需求。

统一管理,深度挖掘数据价值

在方案发布前,EDS已经通过NFS CSI、S3等协议与趋动科技的Gemini AI训练平台实现了无缝对接。深度适配下,Kubernetes容器编排平台可更快完成存储资源的动态分配,用户在部署时可直接跳过针对方案的可行性研究环节,快速上线AI训练任务。同时,EDS还支持多协议间的数据互通,多类型客户端可共用一套存储,各阶段成果数据无须跨存储拷贝即可实现高效流转,确保用户在任何训练阶段都可有效调用数据成果,更便捷地挖掘数据价值。

未来,双方还将在技术领域加强合作,以更高存储性能的联合方案助力用户加速完成AI训练平台的升级建设,帮助更多AI领域的用户在AI训练的道路上走得更快更稳。

关于合作伙伴

深信服科技股份有限公司是专注于企业级网络安全、云计算、IT基础设施及物联网的产品和服务供应商,拥有深信服智安全和信服云两大业务品牌,致力于让每个用户的数字化更简单、更安全。自2000年成立以来,公司先后被评为国家级高新技术企业、国家技术创新示范中心、下一代互联网信息安全技术国家地方联合工程实验室、广东省智能云计算工程技术研究中心等。目前在全球有50余个分支机构,员工规模超9000名。

趋动科技

趋动科技作为软件定义AI算力技术的领导厂商,专注于为全球用户提供国际领先的数据中心级AI算力虚拟化和资源池化软件及解决方案,已完成中关村高新、国高新、“专精特新”等企业认证。趋动科技的 OrionX 猎户座 AI 算力资源池化软件能够帮助用户提高资源利用率和降低TCO,提高算法工程师的工作效率。趋动科技双子座 GEMINI AI 训练平台,为客户提供强大的AI算力管理服务以及高效的算法开发和训练支持,能够化繁为简,帮助企业建好AI平台、管好 GPU、用好 AI 服务。依托全球领先的AI算力池化技术,趋动科技重磅推出趋动云VirtAI Cloud,为万千企业和AI开发者带来又便宜、又好用的AI算力池化云服务。

凭借标准化、可复制的产品架构,趋动科技得到了包括互联网、金融、电信运营商、自动驾驶、能源、科研机构和高校等大量行业头部客户的认可。资本市场对于趋动科技的发展充满信心——趋动科技成立两年多已经完成近亿美元的融资,顶级的投资机构持续支持趋动科技的发展,包括国开装备基金、沙特阿美旗下多元化风投基金Prosperity7 Ventures、元禾重元、招银国际、顺为、高瓴、嘉御、戈壁、讯飞和涌铧在内的国内外顶级VC正在见证趋动科技锐意进取的脚步。


http://www.ppmy.cn/embedded/97769.html

相关文章

游戏管理系统

目录 Java程序设计课程设计 游戏管理系统 1系统简介 1.1需求分析 1.2 编程环境与工具 2系统总体设计 2.1 系统的功能模块图。 2.2 各功能模块简介。 3主要业务流程 (1)用户及管理员登录流程图 (2)信息添加流程 &#x…

数据结构—— 初识二叉树

1.树概念及结构 1.1树的概念 树是由根和子树构成 树是一种非线性的数据结构,它是由n(n>0)个有限结点组成一个具有层次关系的集合。把它叫做树是因为它看起来像一棵倒挂的树,也就是说它是根朝上,而叶朝下的 1. 树有…

【MySQL 08】内置函数 (带思维导图)

文章目录 🌈 一、日期函数⭐ 1. 常见日期函数⭐ 2. 日期函数使用示例⭐ 3. 日期函数综合案例 🌈 二、字符串函数⭐ 1. 常见字符串函数⭐ 2. 字符串函数使用示例⭐ 3. 字符串函数综合案例 🌈 三、数值函数⭐ 1. 常见数值函数⭐ 2. 数值函数使用…

Java、python、php版的高考志愿填报辅助系统(源码、调试、LW、开题、PPT)

💕💕作者:计算机源码社 💕💕个人简介:本人 八年开发经验,擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等,大家有这一块的问题可以一起交流&…

Python实现水果忍者(开源)

一、整体介绍: 1.1 前言: 游戏代码基于Python制作经典游戏案例-水果忍者做出一些改动,优化并增加了一些功能。作为自己Python阶段学习的结束作品,文章最后有源码链接。 1.2 Python主要知识: (1&#xf…

江协科技STM32学习笔记(第11章 RTC实时时钟)

第11章 RTC实时时钟 实时时钟本质上是一个定时器,但是这个定时器是专门用来产生年月日时分秒,这种日期和时间信息的。学会了RTC实时时钟,就可以在STM32内部拥有一个独立运行的钟表。想要记录或读取日期和时间,就可以通过操作RTC来…

Chromium编译指南2024 - Android篇:开始编译(八)

1.引言 在前面的章节中,我们详细介绍了获取和配置 Chromium 源代码,以及安装编译 Android 版 Chromium 所需的各种构建依赖项。完成这些准备工作后,您已经为编译 Android 版的 Chromium 打下了坚实的基础。本篇文章将带您进入实际编译的阶段…

git 配置SSH

使用SSH建立Git 远程仓库和本地库连接_hsck仓库连接-CSDN博客