导语:日前,源启AI开发与服务平台发布了最新版本。在本次升级中,源启AI开发与服务平台在原有机器学习能力的基础上,提升了深度学习建模能力,优化了模型服务能力,新增了大模型开发工具链能力,全面支持大模型的训练、调优和部署,进一步适配了大模型时代行业用户智能化升级的发展需求。目前,新一代的源启行业AI平台已在金融和半导体行业投入使用。
01大小模型协同计算
以AI融合中台驱动企业智能化升级
源启AI开发与服务平台是基于MLOps理念,采用业内领先技术打造的全链路、端到端的AI算法开发套件和工具,是满足全栈复杂模型(机器学习、深度学习和大模型)研发和推理服务的一站式平台。平台重点提供AI的“开发”与“服务”两大功能:AI开发平台实现从数据准备、模型训练、模型管理、模型部署全流程可视化开发管理;AI服务平台支持第三方接口、模型文件和模型镜像包三类模型资源的统一化纳管,支持发布统一的标准化接口服务,对模型在线服务进行管理。源启AI开发与服务平台满足“便捷的算法开发、算力集约化管理、超大规模AI训练、AI PaaS服务化以及AI安全”等行业共性需求,助力行业客户实现智能化升级。
源启AI开发与服务平台聚焦于帮助企业搭建企业智能中台,通过平台+应用的整体规划,实现企业AI能力的沉淀和内化。在注入深度学习与大模型能力后,源启AI开发与服务平台进一步实现了以传统的小模型结合行业大模型的方式,通过机器学习建模、深度学习建模、大模型精调赋能决策、风控、分析、视觉、客服、运营、研发等多类场景应用,帮助行业用户达成决策智能化、流程自动化、交互便捷化的目标。
企业智能化设路径动态图(以金融机构为例)
02围绕企业应用痛点
打造大模型开发利器
企业应用大模型是一项系统工程,涉及到硬件环境、数据工程、训练框架、评估框架、推理框架等多个环节。当前,主流大模型平台多聚焦于训练框架,未形成能力闭环,企业需另行填补这些能力空白,从而使得企业进行大模型训练的途径不易、成本高企。中电金信围绕着让行业用户能用得上、用得起大模型的目标,聚焦业务场景与企业需求,通过系统性的方法对源启AI开发与服务平台进行升级,以覆盖大模型全生命周期的平台,推动企业在大模型应用方面降本增效。
源启AI开发与服务平台大模型能力架构图
数据工程:降低企业数据准备门槛,低成本全流程数据管理
源启AI开发与服务平台提供一整套低门槛的数据工程套件,集中解决企业大模型训练中样本数据量不足、数据质量模糊、数据难以管理等痛点问题。该套件通过增加数据量+提升数据质量+优化数据管理的方法为企业提供大模型数据处理能力,无需深入了解底层技术即可快速上手,全流程、低门槛地补足了企业在大模型数据管理方面的短板。
模型训练:界面化参数配置,轻松上手大模型训练
源启AI开发与服务平台重点发力SFT精调和RLHF两种训练方式,聚焦较小算力情况下,帮助企业快速训练数据自己的企业大模型。
■ SFT训练、RLHF训练:已支持Llama、Qwen、glm等多个开源模型系列的主流模型训练,并支持增量训练和恢复训练等多种训练能力。
模型评估:大模型赋能,让模型评估更丰富
源启AI开发与服务平台提供语义相似度评估和大模型裁判员评估两种评估能力。其中,大模型裁判员评估通过大模型赋能的方式,可以很好的补充传统评估方式在开放式问题上的评估缺陷,具有更广泛的适用性。
模型推理:一键压缩,体验大模型高效推理
源启AI开发与服务平台持续研究模型推理效率优化方法,在引入推理加速框架的基础上,围绕框架层、接口层、模型层等多个层面进行技术探索,实现各类模型可以与国产化算力进行适配,降低模型推理的成本。
基于上述所提供的新特性,源启AI开发与服务平台将帮助企业大幅降低大模型训练到推理的成本,实现全流程的产品化并进一步提升产品的智能化,帮助企业低门槛上手大模型项目,训练符合企业需求的智慧、高效、安全的大模型。