知识点 › 模型训练

VLA / 多模态大模型

VLA

模型训练Lv.3

定义

视觉-语言-动作模型:用自然语言描述场景与意图,输出驾驶决策。优势是可解释、可用语言监督、能处理「没见过但能描述」的场景;代价是推理延迟与数据要求。

关键要点

  • 训练数据需要「场景描述 + 决策理由」,这类标注只能靠大模型自动生成 + 人审
  • 车端部署要蒸馏/量化到可接受延迟(百毫秒级)
  • 对闭环的影响:数据从「框」变成「问答对」,标注形态彻底改变

面试怎么答

讲「语言监督带来的可解释性」与「延迟/数据成本」的权衡。

相关知识

  • 蒸馏 — 大模型(教师)教小模型(学生):软标签、特征对齐、关系蒸馏。智驾里主要用于「云端大模型 → 车端小模型」,也是自动标注…
  • 端到端模型 — 从传感器输入直接输出轨迹/控制,中间不显式建模检测与预测(UniAD、VAD、DriveGPT 类)。优势:减少信息损…
在星图上打开这颗星 →