百度CTO王海峰:全栈AI技术加持,打造新一代大语言模型文心一言

news/2025/2/16 5:39:08/

3月16日,百度在北京总部召开新闻发布会,百度创始人、董事长兼首席执行官李彦宏和百度首席技术官王海峰出席,李彦宏展示了新一代知识增强大语言模型文心一言在文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成五个使用场景中的综合能力,王海峰解读了文心一言的技术特性及其背后的技术积累。

3dcc283f80451b1cfbba276d37de3eb4.jpg

01 厚积薄发,长期技术积累构建全栈 AI 技术

在人工智能时代,IT 技术栈可分为“芯片层、框架层、模型层、应用层”四层,百度自2010年起开始全面布局人工智能,是全球为数不多、进行全栈布局的人工智能公司。从昆仑芯片、飞桨深度学习平台、文心大模型到应用,百度在技术栈的各层都有领先业界的关键自研技术,实现了层与层反馈,端到端优化,大幅提升效率。

在框架层,飞桨是百度自主研发的中国首个开源开放的产业级深度学习平台,包括核心框架、产业级模型库、开发套件、工具组件,以及学习和实训社区,能够标准化、自动化地支撑模型生产和应用。在模型层,文心大模型包括 NLP、CV、跨模态等基础大模型,对话、跨语言、搜索、信息抽取等任务大模型,生物计算领域大模型,行业大模型,以及支撑大模型应用的工具平台,形成了基础-任务-行业三级大模型技术体系,具备知识增强和产业级两大特色。

王海峰认为,文心一言是百度多年技术积累和产业实践的水到渠成,尤其是飞桨深度学习平台和文心大模型的联合优化,为文心一言提供了坚实的技术支撑。飞桨有效支撑了大模型的灵活开发、高效训练和推理部署。文心大模型从2019年发布以来,已经从最初的自然语言理解大模型,发展成了跨语言、跨模态、跨任务、跨行业的能力完备的大模型平台。

02 核心技术加持,新一代知识增强大语言模型水到渠成

文心一言是新一代知识增强大语言模型,也是百度继文心一格之后的又一个生成式 AI 产品,具备对话交互、内容创作、知识推理、多模态生成等能力。王海峰表示,新一代知识增强大语言模型文心一言,是在 ERNIE 及 PLATO 系列模型的基础上研发的。它的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。前三项是这类大语言模型都会采用的技术,ERNIE 和 PLATO 中已经有应用和积累,在文心一言中又有了进一步强化和打磨;后三项则是百度已有技术优势的再创新,也是文心一言未来越来越强大的基础。

图片

知识增强方面,文心一言的知识增强主要是通过知识内化和知识外用两种方式。知识内化,是从大规模知识和无标注数据中,基于语义单元学习,利用知识构造训练数据,将知识学习到模型参数中;知识外用,是引入外部多源异构知识,做知识推理、提示构建等等。

检索增强方面,文心一言的检索增强,来自以语义理解与语义匹配为核心技术的新一代搜索架构。通过引入搜索结果,可以为大模型提供时效性强、准确率高的参考信息,更好地满足用户需求。

对话增强方面,基于对话技术和应用积累,文心一言具备记忆机制、上下文理解和对话规划能力,实现更好的对话连贯性、合理性和逻辑性。

百度构建了面向中文、服务应用、富含知识的多样化训练数据,对文心一言进行有监督精调,使其掌握的知识更精准,更懂中文和应用场景,并建立起人类反馈、奖励模型和策略优化之间的飞轮机制,随着真实用户的反馈越来越多,文心一言的效果会越来越好,能力越来越强。文心一言融合不同类型数据和知识,自动构造提示,包括实例、提纲、规范、知识点和思维链等,提供了丰富的参考信息,激发模型相关知识,生成高质量结果。

王海峰强调,飞桨深度学习平台支撑文心一言效果更好、效率更高、性能更强。对于开发训练,飞桨动静统一的开发范式,以及自适应分布式架构,可以实现大模型的灵活开发和高效训练。在推理部署方面,飞桨支持大模型高效推理,并提供服务化部署能力,包括计算融合、软硬协同的稀疏量化、模型压缩等等。如今,飞桨平台已凝聚535万开发者,服务20万企事业单位,基于飞桨创建了67万个模型。

文心大模型加上飞桨深度学习平台,夯实了产业智能化基座。随着文心一言与飞桨平台的进一步融合发展,人工智能技术和应用的研发将越来越标准化、自动化和模块化,加速人工智能的工业大生产,同时也反哺文心一言加速迭代进化,落地更多场景和行业,为千行百业智能化升级带来不竭动力。


http://www.ppmy.cn/news/33958.html

相关文章

学习系统编程No.7【进程替换】

引言: 北京时间:2023/3/21/7:17,这篇博客本来昨天晚上就能开始写的,但是由于笔试强训的原因,导致时间用在了做题上,通过快2个小时的垂死挣扎,我充分意识到了自己做题能力的缺陷和运用新知识的缺…

python基本语法——字符串相关

count() 方法用于统计字符串里某个字符或子字符串出现的次数。可选参数为在字符串搜索的开始与结束位置。 语法:str.count(sub, start 0,endlen(string)) sub – 搜索的子字符串 start – 字符串开始搜索的位置。默认为第一个字符,第一个字符索引值为0。 end – 字符…

【微服务】对Dubbo核心架构了解多少?

前言 在云原生时代,使用 Dubbo 开发的微服务原生具备相互之间的远程地址发现与通信能力,利用 Dubbo 提供的丰富服务治理特性,可以实现诸如服务发现、负载均衡、流量调度等 服务治理诉求。这让Dubbo成为了构建企业级微服务提供服务发现、流量治理、可观测、认证鉴权等能力、…

单片机中按键检测函数详细分析经典

​ 目录 一、如何进行按键检测 1.从裸机的角度分析 2.从OS的角度分析 二、最简单的按键检测程序 三、为什么要了解FIFO 四、什么是FIFO 五、按键FIFO的优点 六、按键 FIFO 的实现 1.定义结构体 2.将键值写入FIFO 3.从FIFO读出键值 4.按键检测程序 5.按键扫描 7.…

C++类中的三大函数(构造,析构,拷贝)

下面一段话与大家共勉:每个人的一生都会遇到很多边界,有些边界可以突破,有些则不能。那些无法突破的边界就是你的极限,而划分边界的标准就是“阈值”。每次突破阈值之后,人生轨迹就会发生剧烈变化,其间需要…

【2023春招】西山居游戏研发岗笔试AK

120min,一共三道算法、两道填空、10道不定项选择 算法题部分 T1-二叉树后序遍历 题面 一个节点数据为整数的二叉搜索树,它的遍历结果可以在内存中用一个整数数组来表示。比如,以下二叉树,它每个节点的左子节点都比自己小,右子节点都比自己大,对它进行后序遍历,结果可以…

JVM虚拟机垃圾回收机制

JVM虚拟机垃圾回收机制垃圾回收机制判断是否存活算法引用计数法可达性分析法最终判定垃圾回收算法分代收集机制空间分配担保垃圾回收机制 判断是否存活算法 java语言和我们之前学的c/c不同,c/c可以手动进行内存释放,那样随时随地就可以释放不必要的内存…

操作系统(2.4.5)--管程机制

1.管程的定义 利用共享数据结构抽象地表示系统中的共享资源,而把对该共享数据结构实施的操作定义为一组过程进程对共享资源的申请、释放和其它操作,都是通过这组过程对共享数据结构的操作来实现的,这组过程还可以根据资源的情况,或…