从小鹏看自动驾驶发展趋势

news/2024/9/18 14:55:21/ 标签: 自动驾驶, 人工智能, 机器学习, 算法, 线控底盘

 小鹏:端到端大模型量产落地,体验升级成下阶段主线

算法端,小鹏已量产国内首个端到端大模型,其模型采用分段式结构,分为神经网络 XNet、规控大模型 XPlanner 以及大语言模型 XBrain 三部分。数据闭环方面,小鹏的全栈数据闭环能够实现对数据的清晰处理以及高效的挖掘和解读,测试阶段实车测试与仿真测试并重,加快迭代节奏。云端算力方面,小鹏云端算力储备已达到 2.51EFlops。投入端,小鹏每年将投入 35 亿元用于智驾,其中 7 亿元用于算力训练。端到端架构下,小鹏 2024 年 7 月实现无限 XNGP 的全量推送,同时实现第一阶段的“全国都好用”,在 2024Q4 计划实现能够“门到门”的第二阶段“全国都好用”,最终在 2025 年实现用户“爱用”的升级。小鹏较早实现由提升覆盖度到优化体验的转变,XNGP 功能赢得用户的认可,面向用户体验的XNGP 有望渗透率进一步提高,或将加速销量拐点到来。

1、 小鹏:端到端大模型量产落地,体验升级成下阶段主线

1.1、 智驾技术加速演进,XNGP 即将实现“门到门”体验

小鹏无限 XNGP 实现全国都能开,即将步入“门到门”时代。小鹏高速 NGP 功能在 2021 年 1 月开始推送。2022 年 9 月 17 日,小鹏基于自研的智能辅助驾驶系统XPILOT,在广州试点推送城区 NGP,是国内最早推送城区 NGP 功能的整车厂。2023年 3 月,小鹏智能辅助驾驶系统迭代为 XNGP,先后在有高精地图覆盖的深圳与上海开放城市领航辅助功能,彼时 XNGP 功能的实现仍是基于高精地图,虽然基于此模式开发自动驾驶较为简单,但道路覆盖有限,用户体验不够完整。2024 年 2 月,小鹏使用无图智驾的无限 XNGP 向部分拥有智驾经验的用户推送,此后在 2024 年 7月,无图 XNGP 全量推送,实现全国都能开,并计划在 2024Q4 实现完全“门到门”的体验。短短三年半的时间,小鹏的自动驾驶持续突破,端到端大模型技术大大加速小鹏自动驾驶进程。

小鹏 2024Q4 实现真正的“门到门”体验

图片

1.2、 端到端大模型拓展能力边界,智驾领军车企坚定布局

1.2.1、 分段式端到端大模型量产上车,XNGP 能力加强

国内首个端到端大模型量产上车,神经网络 XNet+规控大模型 XPlanner+大语言模型 XBrain 形成合力。在小鹏上一代的自动驾驶系统中,只有感知一个模块用到 AI模型,其余的模块基本都是人工定义的规则,这需要大量的人工定义的规则,在人力、时间、维护成本上均具有劣势。较为稳定的传统量产智驾系统,大约有 10 万条左右各类人工定义的规则,而一个无限接近人类司机的自动驾驶系统,大概等效于10 亿条规则,这对于需要快速更新迭代的自动驾驶系统来说是难以承担的。端到端技术范式是指数据输入端和指令输出端通过完全数据驱动,让 AI 学习人类成熟驾驶行为,从而实现快速迭代、减少成本。小鹏在 2021 年开始转向端到端,目前其端到端大模型由神经网络 XNet+规控大模型 XPlanner+大语言模型 XBrain 三部分组成。

图片

小鹏端到端大模型由 XNet、 XPlanner、XBrain 三部分组成

(1)神经网络 XNet:XNet 是深度视觉感知神经网络,是“静态 XNet”“动态 XNet”与“纯视觉 2K 占用网络”的集成,可以比作智能驾驶的眼睛。其中“静态 XNet”可以对感知到的数据进行实时 3D 建图,使智驾系统摆脱掉对高精地图的依赖,提高智驾系统的适应能力;“动态 XNet”则具有对周边环境和交通参与者的行为进行预测与博弈的能力,并给出合理的决策,能够处理复杂的交通情况,提高驾驶的安全性和舒适性;“纯视觉 2K 占用网络”通过摄像头信息的分析,来构建 3D 体素来规划出空间内被占用和未被占用的路线,对现实世界中的可通行空间进行 3D 高真实度还原。深度视觉感知神经网络 XNet 的上车,能够对现实世界环境的重建更为精准,同时预测能力和行驶规划的能力也会更强,汽车感知范围提升 2 倍,面积可达 1.8 个足球场大小,能精准识别 50 个以上目标物。

图片

小鹏 XNet 2.0 成功引入占用网络,感知范围、通用障碍物识别能力大幅提升

(2)规划大模型 XPlanner:XPlanner 同样基于神经网络,具备长时序、多对象、强推理的特点,能够结合分钟级以上的时序连续分析动机,并依据周边环境信息及时变通,生成最佳的运动轨迹,可以比作智能驾驶的小脑。通过海量“五星司机”的驾驶数据对规划大模型 XPlanner 进行训练,基于数据驱动模式迭代,取代人类手写规则代码,能让智驾系统的驾驶策略向着拟人化进化。效果上,规划大模型XPlanner 能够让小鹏汽车的智驾系统在真实道路体验中减少 50%的前后顿挫、60%的违停卡死以及 40%的安全接管。

图片

基于神经网络的 Xplanner 具备长时序、多对象、强推理的特点

(3)大语言模型 XBrain:XBrain 的能力就是让智驾系统拥有类似人类大脑的学习和理解的能力,以此来赋予智驾系统处理复杂场景甚至未知场景的泛化处理能力,以及对现实世界中宏观逻辑的推理能力。XBrain 侧重于整个大场景的认知,XNet侧重于感知和语义。在 XBrain 的赋能下,小鹏汽车的智驾系统能够清晰地分辨出待转区、潮汐车道、特殊车道甚至是路牌文字,秒懂各种令行禁止、快慢缓急的行为指令,进而做出兼顾安全、性能的拟人驾驶决策,做出兼顾安全和效率的拟人驾驶决策。

图片

利用大模型,小鹏智驾能“看懂”更多路标等信息

小鹏端到端技术逐步渐进,当前模型采用分段式结构。端到端大模型不是只有神经网络,而是将感知、策略和规控统一在相同的 Transformer 架构下,保证模型有足够解释性的前提下,逐渐提升各部分的一体化程度。小鹏的端到端大模型可分为三大部分,采用的分段式方案,据汽车新技术资料,相对于 One Model 方案,分段式端到端技术难度更低,同时对于算力和数据的要求也低的多:单一大模型的端到端智驾至少需要 3 万台量产车提供数据,而分段式可能只需要 1/10 的量。

1.2.2、 端到端大模型下迭代速度显著加快,助力体验升级

端到端时代,小鹏智驾迭代速度显著加快。迭代速度端到端小鹏高速 NGP 功能在2021 年 1 月开始推送,并在 2021 年开始转向端到端范式, 21 个月之后,在 2022年 10 月开通个别城市的城市 NGP,又过了 13 个月,在 2023 年 11 月,XNGP 正式无图推送,城市智驾开放 25 城,而仅仅 8 个月之后的 2024 年 520 AI DAY 发布会上,宣布量产上车国内首个端到端大模型,AI 智驾取代传统智驾,XNGP 开放到所有城市,全面无图时代到来。2025 年实现城区智驾比肩高速智驾体验:平均 1000 公里接管一次。自 AI 天玑系统 5 月 20 日全球首次发布以来,70 天内累计推送 5 次全量更新,实现至少 35 个版本迭代。

图片

端到端技术的使用使得小鹏自动驾驶的进步大大加速

AI 智驾时代,庞大训练数据是智驾能力快速迭代的底座。

基于折算超 10 亿公里的视频训练(2023 年 5 月)、超 756 万累计公里数的实车测试(2023 年 7 月)、超 2.16亿累计公里数的仿真测试(2023 年 5 月),小鹏端到端大模型能够做到“每 2 天一次版本迭代,每 2 周一次体验升级”,在未来 18 个月内智驾能力提升 30 倍。值得注意的是,除了实车数据之外,小鹏的数据量中也一定程度使用了仿真的合成数据,帮助小鹏在端到端时代数据量不足的情况下能够有效迭代。

对数据的清晰处理以及高效的挖掘和解读是小鹏高效迭代的重要抓手。

纯数据驱动的神经网络算法要实现升级迭代,数据闭环体系的构建是关键。通过收集实车数据、云端模型训练并结合仿真能力,自动驾驶算法的长尾场景应对能力将大幅提升。小鹏将数据闭环分为“数据收集、标注、训练和部署”四个环节,根据 2022 年小鹏 1024科技日数据,小鹏彼时已在近 10 万辆的小鹏车型上部署了超过 300 个触发器,形成了一个“全闭环、自成长的 AI 和数据体系”,全栈数据闭环能力使城市场景被动接管率降低 38%,仿真能力使小鹏能够创造出更多的长尾场景,保护程度能提升 4 倍,数据获取及算法测试成本将大幅下降。

图片

实车测试与仿真测试为小鹏训练的重要部分 全栈数据闭环使城市场景被动接管率降低 38%

1.2.3、 智驾领军车企,围绕智驾相关领域坚定布局

小鹏在自动驾驶研发投入、团队组织、云端算力、硬件自研方面坚定布局。

(1)在研发投入层面,小鹏 2024 年将投入 35 亿元用于研发“以智驾为核心的AI 技术”,此后每年的相关投入只增不减。

(2)在团队组织层面,在 2024 年 1 月,小鹏以智驾为核心的 AI 技术团队已超3000 人,并新招募 4000 名专业人才。同时在组织架构上,据红色星际消息,小鹏在2024 年 8 月将负责算法研发的技术开发部分拆为三大部门,分别为 AI 端到端、AI应用、AI 能效,其中 AI 端到端部门负责端到端模型的研发,AI 应用部门负责交付,以提升端到端自动驾驶演进的效率。

图片

(3)在算力层面,2024 年 7 月,小鹏 AI 算力储备已达 2.51EFlops,同时此后每年算力训练投入将超 7 亿元,其中在 2024 年峰值算力达到 7000 张训练卡以上。

(4)在硬件层面,据 36 氪 Pro 消息,小鹏从 2020 年开始搭建芯片团队,2022年选择索喜为芯片设计合作方,承包芯片后端设计,目前芯片已经流片,预计 8 月回片。除芯片之外,小鹏推出了首个驾舱融合的车载计算中心 XCCP 作为 XEEA 3.5架构的核心计算节点,集成了包括智能驾驶、座舱、仪表、网关、IMU、功放等功能,实现 40%的成本节约,同时性能提升 50%。

图片

小鹏布局舱驾融合车载计算中心 XCCP

1.3、 XNGP 体验升级,智驾成小鹏“长期马拉松”关键

1.3.1、 阶段目标“全国都好用”,向“全球都好用”进发

XNGP 正从提高城市覆盖度向体验升级转变。小鹏天玑 XOS 5.2.0 下的 XNGP 已经实现了全国都能开,而下一阶段的目标在于全国都好用,何小鹏提出“全国都好用”的三大标准:不限城市、不限路线、不限路况。

图片

(1)不限城市:不限城市,指的是 XNGP 覆盖范围扩大至全国所有城市,真正摆脱高精地图束缚,将高阶智驾引入端到端大模型时代。仅仅是满足“不限城市”,小鹏汽车就走了接近 20 个月,这也是中国智能驾驶从高精地图,到无图,演进至端到端全面追逐落地的竞争走势。XNGP 早在 2024 年年初就已具备“全国都能开”的能力,但为了确保智驾的安全性,小鹏汽车花费半年以上时间展开大规模的实车测试。截至 2023 年 7 月,XNGP 是行业唯一实车测试验证超 2595 个城市(含中国地级市及县级市区域),累计测试里程超 756 万公里,且 AI 训练泛化扩充全国所有城市的智驾系统,以业内罕见的饱和式智驾测试传递对智驾安全的高度重视。

(2)不限路线:不限路线,指的是 XNGP 可应用于国内所有公开道路,“能导航的地方,就能 AI 智驾”。小鹏汽车用了两年时间,走过了“城市快速路→部分主干道→所有城市主干道→所有公开道路”的路网覆盖之旅。

从“白名单”到“黑名单”,小鹏开城方案转变。在技术、成本、数据、时间甚至政策等因素影响下,开城往往不是某个城市“全域开放”,而是“白名单式”开放:只对城市里部分白名单道路开放,或只招募部分满足一定门槛的白名单用户开放,如此将会遇到自动驾驶系统仍未覆盖的路段和场景(如掉头、环岛等复杂场景),城市NOA 功能将会自动降级为 LCC 或退出要求接管。小鹏采取“黑名单式”开放:除了部分特定场景无法开(如保密区域等),其余全国所有路都能开,且对全量用户开放。在 XNGP 的最新公测版本中,AI 代驾已经能够自动通过 ETC 收费站。预计到2024 年第四季度,XNGP 将打通包括 ETC 收费站、停车场闸机、园区内部道路在内的智驾“断点”,实现真正的“门到门”体验。

图片

(3)不限路况:不限路况,指的是 XNGP 可适应包括掉头、环岛及狭窄小路等在内的复杂路况,成为首个复杂路况全覆盖的 AI 智驾。以往基于规则代码的智能驾驶辅助系统,面对环岛、掉头等复杂场景,只能通过工程师大量编写相应的规则代码来“预先适应”,且通过率极低。而在已量产上车的端到端大模型赋能下,XNGP有效增强了“脑补”学习能力,可实现“边看边开”,面对复杂多变的环岛、掉头场景,都能够实时应对。

图片

XNGP 可适应掉头、环岛及窄路等复杂路况 小鹏汽车的智驾处于“全国都好用”的第一阶段

端到端与无图化帮助小鹏自动驾驶推向全球。小鹏正着手将 XNGP 推向世界,7 月小鹏宣布面向全球用户发起 AI 天玑 XOS 5.2.0 尝鲜招募,覆盖小鹏 G9、P7i、G6与 X9 车主各 1000 人,共计 4000 人,实现国内和海外用户首度同步体验,并于 8月 15 日在德国、挪威、丹麦、瑞典、荷兰、法国等 10 个国家推送。小鹏已在 2024年进入 30 多个国家,根据小鹏的计划,小鹏将于 2025 年研发全球范围的 XNGP。

依赖规则做到智驾全球化的需要人工编写各地的不同规则,落地成本较高,要实现全球都能开的自动驾驶,端到端和无图化是必由之路。

图片

1.3.2、 从好用到爱用,小鹏销量拐点或将到来

智驾成为小鹏有力竞争优势,XNGP 功能赢得了用户的认可。何小鹏在 2024 年 8 月曾表示,在过去 12 个月,小鹏越高阶的车,用户选择智驾版的比例越高,侧面反应出用户对小鹏智驾能力的认可。2024 年 7 月,小鹏 XNGP 城区智驾月度活跃用户渗透率达 84%,而 2024 年 6 月小鹏 X9 用户报告显示,小鹏 X9 销售比例的 71%为配备高阶 XNGP 功能的 Max 版本车型。当智能驾驶的体验能够做到足够优秀,销量的关键拐点有望很快到来,而目前正在处于变化的起点。用户对小鹏 XNGP 功能认可不断提高。

图片

从能用、好用到爱用,面向用户体验的 XNGP 有望渗透率进一步提高。小鹏汽车的智驾处于“全国都好用”的第一阶段,预计 2024 年第四季度实现“全国都好用”第二阶段的能力。小鹏预计其 XNGP 将在 2025 年底至 2026 年初进入全新阶段,做到提前应对潜在风险、通行效率优于人驾,大幅减少用户的安全接管与效率接管次数,同时做到加减速变道超车等操作丝滑流畅,提升用户体验,让用户真正爱用智驾。面向用户的 XNGP 将有望赢得用户认可,激活消费者智驾需求,渗透率有望进一步提高。


http://www.ppmy.cn/news/1517178.html

相关文章

【linux】sar -d 磁盘性能

概述 sar -d 命令是 sysstat 包的一部分,用于收集、报告和保存系统活动信息。使用 -d 选项时,sar 会提供有关系统磁盘活动的详细报告。 以下是 sar -d 命令输出的主要字段及其含义: DEV: 报告的设备(例如 sda, sdb)…

009 批量删除

文章目录 前端后端 https://element.eleme.cn/#/zh-CN/component/button 前端 <el-button type"danger" click"batchDelete">批量删除</el-button><el-treeref"menuTree"batchDelete() {console.log("批量删除菜单..."…

在浏览器输入URL回车之后发生了什么?

首先浏览器解析URL 中的协议部分&#xff08;例如http://或https://&#xff09;来确定使用哪种通信方式。浏览器从 URL 中提取域名&#xff08;例如www.example.com&#xff09;和路径&#xff08;例如/page&#xff09;&#xff0c;路径部分指向网站的具体资源。输入的 URL 会…

自动驾驶中的模仿学习

自动驾驶中的模仿学习是一种关键技术&#xff0c;用于使自动驾驶系统能够学习和模仿人类驾驶行为。通过模仿驾驶员的操作&#xff0c;自动驾驶车辆可以在复杂的道路环境中实现类似人类的驾驶决策和操作&#xff0c;从而提升安全性、舒适性和可靠性。 1. 什么是模仿学习&#x…

Wails实现桌面番茄钟应用

0.项目背景 最近在优化自己的工作流&#xff0c;在工作方法上开始使用番茄钟来实现时间控制&#xff0c;一直觉得番茄钟的方式有点silly&#xff0c;直到自己用过之后才发现&#xff0c;番茄钟是真的好用&#xff0c;它不止是工作的方法&#xff0c;更是休息的艺术&#xff0c…

代码随想录算法训练营第62天|Floyd 算法精讲、A * 算法精讲 (A star算法)

打卡Day62 1.Floyd 算法精讲2.A * 算法精讲 &#xff08;A star算法&#xff09; 1.Floyd 算法精讲 题目链接&#xff1a;Floyd 算法精讲 文档讲解&#xff1a; 代码随想录 本题是多源最短路&#xff0c;即求多个起点到多个终点的多条最短路径。Floyd算法对边的权值正负没有要…

sophon bm1684x 运行qwen2

1、用户名/密码 登录 linaro linaro2、删除安装文件 sudo mv /var/lib/dpkg/info/wps-office.* /tmp3、更新 sudo apt-get update sudo apt-get upgrade4、Qwen2实例 LLM-TPU-main.zip /data/LLM-TPU-main/models/Qwen2/python_demo5、安装依赖 pip3 install transformers…

Nginx: 代理场景下Nginx接收用户请求包体的处理

Nginx 反向代理图 当用户发过来一个request body的时候&#xff0c;Nginx 是如何处理这样一个body这个body 它对应的就是我们客户请求的一些具体内容 1 &#xff09;proxy_request_bufering 指令 接收包体的两种方式 接收完全部包体再发送一边接收包体一边发送 接收包体的两种…

Android 息屏录音

问题 解决Android录音的息屏之后无法录制声音的问题&#xff0c;看日志发现&#xff0c;录音程序并没有中断&#xff0c;但是录制到的数据均是byte为0的数据&#xff0c;即空数据。 测试机为Android 13系统 废话 网上一搜一大堆&#xff0c;ai也是一问也回答得头头是道&…

【Selenium】UI自动化实践——输入验证码登录

文章目录 实战题目解题方案 实战题目 使用pythonselenium实现输入验证码的UI自动化。登录页面如图&#xff1a; 解题方案 验证码登录需要导入相关模块和库&#xff0c;本文使用的是opencv和ddddocr模块组合&#xff0c;导入方式采用pip3 install opencv-python、pip3 insta…

速盾:cdn是什么发展前景?

CDN&#xff08;Content Delivery Network&#xff09;是内容分发网络的缩写&#xff0c;是一种通过将内容存储在离用户最近的服务器上&#xff0c;以提高网站访问速度和内容可用性的技术。CDN的发展前景非常广阔&#xff0c;下面将从技术进步、用户需求和商业价值三个方面来详…

如何满足业主多元需求?开发物业APP,打造智能社区生活

随着智能科技的快速发展&#xff0c;物业管理也逐渐迈入数字化时代。物业app开发成为了提升社区管理效率、改善居民生活质量的重要途径&#xff0c;许多物业管理公司纷纷开发物业App&#xff0c;以提升管理效率、改善用户体验。一款出色的物业APP能够整合居民需求、提升企业服务…

如何选择开放式耳机?2024五大市场热卖推荐

在嘈杂的环境中&#xff0c;选择一款合适的耳机可以让我们既享受音乐又能保持对周围环境的警觉。开放式耳机因其设计特点&#xff0c;允许声音通过空气振动传播&#xff0c;不堵塞耳道&#xff0c;这样既保证了佩戴的舒适性&#xff0c;又能让我们感知周围的声音&#xff0c;提…

探索微服务架构中的动态服务发现与调用:使用 Nacos 与 Spring Cloud OpenFeign 打造高效订单管理系统

1. 背景 在现代微服务架构中&#xff0c;服务之间的通信与协作是非常重要的。Spring Cloud Alibaba 提供了一套完整的微服务解决方案&#xff0c;其中包括 Nacos 用于服务注册与发现&#xff0c;OpenFeign 用于声明式服务调用&#xff0c;Spring Cloud LoadBalancer 用于负载均…

基于asp.net的茶叶销售系统网站附源码

这个一个基于asp.net的webform框架的茶叶销售系统源码&#xff0c;包含前后台&#xff0c;具体详情如下 1.主要功能 主要功能包含用户注册、茶叶浏览、我的购物车、购物订单、商品评论、个 人中心、后台登录、用户管理、商品管理、订单管理、评论管理、发布商品 等等模块。2.…

从国产 3A 大作《黑神话·悟空》的横空出世,深入分析国产游戏在图形渲染、物理引擎、AI等方面的技术亮点,以及这些技术如何推动了游戏体验的提升

深入分析国产游戏在图形渲染、物理引擎、AI等方面的技术亮点&#xff0c;以及这些技术如何推动了游戏体验的提升。 一、图形渲染技术在游戏行业的进步显著推动了视觉效果的提升&#xff0c;增强了玩家的沉浸感。以下是图形渲染领域的一些重要技术及其对游戏体验的影响&#xff…

DORIS - 执行 git submodule update --init --recursive 的目的是什么?

前言 以前&#xff0c;我们学习源码的时候只需要执行克隆命令即可&#xff0c;如下&#xff1a; git clone https://github.com/rocky/doris.git 当我学习DORIS的时候&#xff0c;发现执行完上面的命令后&#xff0c;还需要执行如下命令: git submodule update --init --recur…

[论文笔记]Improving Retrieval Augmented Language Model with Self-Reasoning

引言 今天带来一篇百度提出的关于提升RAG准确率的论文笔记&#xff0c;Improving Retrieval Augmented Language Model with Self-Reasoning。 为了简单&#xff0c;下文中以翻译的口吻记录&#xff0c;比如替换"作者"为"我们"。 检索增强语言模型(Retrie…

linux常见基础命令

Linux基础命令 (下面这些命令都是最常见的命令.更复杂的会在之后的C语言学习陆续深入) 1、 pwd 功能&#xff1a; print work directory的缩写&#xff0c;显示当前目录的绝对路径 2、 cd 功能&#xff1a; change directory的缩写&#xff0c;切换目录 绝对路径&#xff1a;以…

【KDD2024】大数据基础工程技术集群异常检测论文入选

近日&#xff0c;由阿里云计算平台大数据基础工程技术团队主导&#xff0c;与浙江大学合作的论文《Cluster-Wide Task Slowdown Detection in Cloud System》被数据挖掘领域顶会ACM SIGKDD2024接收&#xff0c;该论文从集群整体作业执行情况分布入手&#xff0c;旨在解决集群整…