2024 年年初，特斯拉 FSD V12 推送首个端到端模型方案，车载大模型开始成为行业的热议话题。5 月，小鹏 AI 天玑系统全量推送，包括国内首个端到端 AI 智驾和大语言模型 AI 小 P。

2024 年 9 月 3 日，在第四届智能汽车域控制器与中央计算平台创新峰会上，小鹏汽车嵌入式架构总师唐黾表示，自动驾驶迎来了端到端大模型。对此，小鹏汽车推出了 XNet、XBrain、XPlanner，智驾升级端到端大模型——能力提升 2 倍，XNGP 全国都好用。同时唐黾系统分享了小鹏全栈自研控制器、小鹏 AI 计算平台软件架构。唐黾提出，需要注意的是，大模型也对计算、存储、音视频处理、信息安全、带来了挑战。同时需要思考——大模型时代，舱驾融合还有价值吗 ?

展望未来，小鹏开展 All in AI 战略。唐黾介绍，将全面覆盖 AI 机器人、AI 芯片、AI 汽车、AI 大模型、飞行汽车等方面。

唐   黾   | 小鹏汽车嵌入式架构总师

以下为演讲内容整理：

汽车行业迎来大模型时代

近年来，大模型成为热议焦点，尤其在车载应用上发展迅速。年初，特斯拉率先推出 FSD V12 版本，是行业首个端到端模型方案。随后，华为发布 ADS   3.0，同样标榜端到端能力。5 月，小鹏 AI 天玑系统全量推送，包括国内首个端到端 AI 智驾和大语言模型 AI 小 P。理想、讯飞等企业亦纷纷跟进，发布大模型方案。小鹏在十周年庆典上，宣布了基于大模型的纯视觉 AI 鹰眼方案，标志着从激光雷达向纯视觉转型的新阶段。

自动驾驶领域，端到端大模型架构由 " 大脑 "" 小脑 " 与 " 眼睛 " 组成，分别负责意图理解、规划与感知。大脑依托大模型，精准解读交通参与者意图；小脑采用 XPlanner 神经网络规划，提升驾驶平顺性；眼睛则实现超广感知范围。大模型训练虽难，但迭代迅速，预计 18 个月内能力将提升 30 倍，XNGP 因此实现全国覆盖与高效运行。

图源：演讲嘉宾素材

座舱方面，AI 小 P 升级，增强需求推理与多模态能力，如百科问答、用车辅助及创意生成，同时通过车内外摄像头实现智能感知，提升用户体验。未来，AI 小 P 将向多模态感知与云一体架构发展，成为座舱乃至整车智能化的核心。

小鹏车载计算平台采用全栈自研策略，基于英伟达与高通平台，实现中央 + 域控架构，领先业内。软件架构上，融合多操作系统，构建统一通信协议与 SOA 服务框架，支持跨域交互与复杂逻辑处理。同时，云端大模型辅助车端，弥补算力不足，实现边缘云一体。未来，小鹏将继续迭代中央计算平台与云原生应用，推动整车智能化进程。

大模型对车载计算平台的挑战

大模型的兴起对当前计算平台构成了多方面的挑战。

从计算角度看，以 LLaMA 为代表的解码器架构中，Softmax 算子成为核心，其并行化能力低于传统卷积算子，对计算芯片提出新要求，需提升 Softmax 计算效率。

同时，大模型导致存储成为瓶颈，特别是存储密集型模型如 GPT，对存储带宽要求高，现有芯片常面临 " 存储墙 " 问题。

多模态大模型处理多源数据（如视频、图像等）时，前端处理增加延迟，需优化以降低推理延迟。此外，车端算力有限，需利用云端资源，但数据传输受限于 5G 限制，编码器的性能与压缩率直接影响模型性能。

信息安全方面，大模型中的提示词工程易遭注入攻击，公开或供应数据可能存在数据中毒、后门等安全隐患，需加强防护。汽车行业对安全重视不足，需提升安全防护能力。

舱驾融合方面，大模型时代座舱与智能驾驶对 NPU 和内存的需求激增，CPU 需求相对下降。现有舱驾融合芯片设计需重新评估，可能无法同时满足两者需求，且成本高昂。未来需考虑是否继续坚持舱驾融合策略，或探索更经济的解决方案。

未来计算平台展望

小鹏汽车在迎来 10 周年之际，明确了以 AI 为核心的战略方向，聚焦于 AI 机器人、AI 汽车及飞行汽车三大核心产品。为支撑这一战略，我们发布了首款专为大模型定制的 " 图灵芯片 "，该芯片支持高达 30B 大模型的运行，并针对我们自主研发的模型和框架进行了深度优化，实现了效率与能效比的双重提升。

在此基础上，我们正构建一套统一的 AI 计算架构，旨在跨足汽车、机器人及飞行汽车三大领域，同时满足 L4 级自动驾驶的高功能安全与高冗余要求。这标志着我们将致力于打造一个高度集成、高效运行的中央计算系统。

面对大模型时代的挑战，我们深知算力与芯片面积需求的激增，以及半导体工艺快速发展伴随的高昂成本。鉴于国内在先进工艺上的限制，我们探索了小芯片堆叠作为替代方案，以在现有条件下实现类似大芯片的性能。此外，量子计算的潜在突破也为我们提供了长远的解决方案视角，期待其未来能解决传统计算难以逾越的难题。

在存储方面，虽然服务器领域已有内存磁化技术解决容量问题，但其车载应用的可行性尚待验证。内存带宽的提升同样面临技术瓶颈，现有标准如 LPDDR5X 已难以满足大模型需求，而未来技术如 GDDR7、LPDDR6 等虽有进步，但增长有限。HBM 技术在汽车领域的应用前景亦不明朗。

我们特别关注存内计算这一新兴路径，尽管目前国内外厂商多处于研究阶段，且面临技术与战略融合的挑战。我们期望未来能有更多国产厂商加入这一领域，在存内计算上取得突破性进展，为行业带来变革。

（以上内容来自小鹏汽车嵌入式架构总师唐黾于 2024 年 9 月 3 日在第四届智能汽车域控制器与中央计算平台创新峰会发表的《大模型时代的车载计算平台思考》主题演讲。 )