百度智能云千帆大模型平台引领企业创新增长

ops/2024/12/26 21:17:06/

本文整理自百度世界大会 2024——「智能跃迁 产业加速」论坛的同名演讲。

更多大会演讲内容,请访问:

https://baiduworld.baidu.com


首先,跟大家分享一张图,这个是我们目前大模型应用落地的场景分布。可以看到,大模型广泛渗透到各行各业,场景越来越丰富。

图片

24 年 9 月份,我们发布了百度智能云千帆大模型平台 3.0。包括:模型开发层、模型服务层、应用开发层。提供了最专业的应用开发工具、最丰富的大模型、最全面的工具链。

图片

在企业大模型落地的过程中,要解决很多的问题。最常见的有如何选择模型、如何构建 AI 原生应用、如何优化模型使用效果。我们给大家总结出了 3 大应用落地路径:

  • 模型推理;
  • 模型应用效果优化(包括提示词优化、模型精调、模型能力增强);
  • 大模型应用开发。

图片

首先,讲模型推理。

在模型选择的过程中,我们发现 3 个趋势:

  • 越来越追求效价比,效果更好兼顾成本更低;
  • 根据不同需求,进行大小模型协同;
  • 多模态模式协同工作;

百度智能云千帆大模型平台提供丰富的模型选择,有不同尺寸的大模型、精专垂类模型、以及传统多模态能力等。

图片

第二个路径,模型应用效果优化,分为 3 个手段。最常见的就是提示词优化,包含 Prompt 和 Few-shot 两种方式。

图片

举个例子,法律咨询场景,我给大模型一个指令「你是一个律师,请问经济合同纠纷案的解决流程是什么?」。可以看到大模型给出了一个基础的解决流程的答案。

要上生产环境用大模型代替律师工作,最简单就是通过提示词调优。

可以明显看到,右边增加了人设、风格、指令约束。输出结果更像真人律师,这就是提示词优化的作用。

图片

提示词优化看似容易,其实没有那么简单,有很多的原则来适应模型和应用的需求。

为了进一步降低客户使用门槛,我们今天发布 Prompt 模板。用户可以一键复制,只要稍作改写,大模型的输出效果就会更好。

图片

 

提示词优化有效果天花板。

如果想进一步提升应用场景下模型能力,第二招对模型进行模型训练,也就是我们经常说的模型精调。精调可以使模型风格、行为和应用需求对齐,有效提升模型效果。

图片

千帆 ModelBuilder 提供的就是全流程的、模型训练和模型精调的工具链,包含:数据管理、训练模式、开发工具、评估优化、推理部署、大模型周边系统。

图片

举个例子,宁波传媒使用千帆 ModelBuilder 模型精调工具,打造了一个小记者作文 AI 点评助手。通过视频来看下开发过程和应用效果。

图片

今天,基于我们平台越来越多的场景实践,沉淀了一系列的模型精调样板间,进一步降低模型调优门槛。

企业只需要跟随样板间的步骤,一步一步设置模型训练的参数,就可以训练出符合企业需求的场景化模型。

图片

我们在千帆 ModelBuilder 工具链不断迭代的过程中,又给大家提供了一个新的方法——模型蒸馏。

通过调用旗舰大模型产生的问答对,经过筛选得到有效的训练数据。在降低数据标注成本的同时,通过精调得到成本更低、耗时更优、效果趋近旗舰模型的轻量级大模型。

举个例子,百度电商数字人直播,通过模型蒸馏后,相比旗舰级模型效果能达到 90%,同时达到旗舰级 6 倍的速度,10% 的成本;更好的适应我们场景应用在效果、性能和成本之间的平衡。

图片

客户在使用面临一个问题:模型刚上线符合预期,过了一段时间模型应用效果下降。

为什么下降?——用户请求 query 结构会发生改变。

怎么办?——持续调优。通过千帆 ModelBuilder 提供的工具链,帮企业建立自己的数据飞轮,根据用户反馈,持续迭代模型,让模型越用越聪明。

图片

大模型应用效果优化第三招:模型能力增强。即给模型增加外部能力,比如检索增强能力和工具能力。

图片

这个例子,是北京大学通过千帆 AppBuilder 的企业级 RAG 能力,打造了一个智能 AI 校园助手「小北学长」。

可以看到,这个校园助手的创建,就是外挂了北京大学独有的 30 万+ 知识文件,满足校园内特定场景的知识问答,回答准确率高达 95% 以上。

图片

今天,千帆 AppBuilder 除了提供企业级 RAG 能力,还有企业级 Agent、企业级部署、企业级集成,共 4 大企业级能力。

图片

大家知道 Agent 具备自主思考、自主编排、记忆、反思等能力,能够自主的做任务规划,一定程度上为企业降本增效。

但也有一些场景,需要严格按照企业的 SOP,也就是设定好的工作流来进行任务执行,就是我们今天全新发布的工作流 Agent 能力。

下面我们来看个例子:通过工作流 Agent,模拟航空公司客服人员,做机票退改签。

通过工作流 Agent,可实现流程高可控、低代码灵活编排、全局知识兜底、丝滑话题切换。

图片

构建智能体应用,逐渐变成一个统一范式。

为了进一步降低应用开发门槛,我将带来今天的第三个发布:大模型应用样板间。

这些应用样板间,覆盖高达 100 多个场景。通过模板,一键复制到自己的工作台,稍作改写,就可以落地成企业自己的应用。

图片

除了智能体作为应用载体之外,还有非常多的企业级传统应用,过去是通过写代码的方式开发,今天我们通过大模型也实现了零代码分钟级开发,它就是 AI 速搭平台。

继 9 月份云智大会发布之后,今天又有了全面的能力升级,实现了移动端的适配。

图片

这个示例,是通过 AI 速搭一句话生成图书管理系统。

图片

今天我的发布到此结束,非常希望通过千帆平台,以及我们的一系列样板间,持续为大家提供最低门槛、最高效易用的大模型落地工具,加速企业落地的最后一公里。

希望大家使用千帆,一起来构建更多的企业级 AI 原生应用。

图片

应用已来,千帆助航。百度智能云千帆大模型平台愿在大模型的浪潮里,与企业一道乘风破浪,引领航向。

图片


http://www.ppmy.cn/ops/145210.html

相关文章

基于PXE与NFS共享的Ubuntu安装配置过程

假设存在服务器A、B、C 其中A为待装系统的服务器,DHCP(IP池:192.168.0.150~192.168.0.160),假设需要安装的系统为Ubuntu 22.04 Desktop 其中B为PXE服务端服务器,IP: 192.168.0.100,这里将以Cent…

Docker Compose 配置指南

目录 1. Docker Compose 配置1.1 基本配置结构1.2 docker-compose.yml 的各部分1.3 常用配置选项 2. Docker Compose 使用方法2.1 创建 Docker Compose 配置文件2.2 启动服务2.3 查看容器状态2.4 查看服务日志2.5 停止服务2.6 重新构建服务 3. Docker Compose 常用命令3.1 dock…

git merge 冲突 解决 show case

废话不多说,上 case!!! 1. 更新master分支 package org.example;public class Main {public static void main(String[] args) {System.out.println("--------Git冲突测试代码开始---------");System.out.println(&qu…

【硬件接口】MCU的IO模式

本文章是笔者整理的备忘笔记。希望在帮助自己温习避免遗忘的同时,也能帮助其他需要参考的朋友。如有谬误,欢迎大家进行指正。 一、基本分类 IO口分为GPIO(通用输入输出端口)口和专用IO口。其中,GPIO口具有高度的灵活…

Nginx性能优化全方案:打造一个高效服务器

提到前面:一个热衷技术,反对八股的资深研发,不卖课不引流,专注分享高质量教学博客。 如果觉得文章还不错的话,可以点赞收藏关注 支持一下,持续分享高质量技术博客。 如果有什么需要改进的地方还请大佬指出❌…

把一个Vue项目的页面打包后再另一个项目中使用

步骤: 1.项目1新建一个js文件,引入我们需要使用的vue页面: // 引入组件 import indexVue from ./index.vue// install indexVue.install function (Vue) {Vue.component("indexVue", indexVue)// Vue.component(FlowEditorVue.n…

了解RPC

本文来自智谱清言 --------- RPC(Remote Procedure Call,远程过程调用)是一种允许程序调用位于远程计算机上的子程序或服务的技术。这种技术使得构建分布式计算变得更加容易,因为它提供了强大的远程调用能力,同时保持…

MONI后台管理系统-系统三员的设计

前言: 本项目设计立足于等保测评(国家信息安全等级保护三级认证),国家信息安全等级保护三级认证中的“三员管理”是指为了确保信息系统的安全性、稳定性和可靠性,而设立的系统管理员、安全管理员和审计管理员三个独立角…