知识点 › 模型训练
蒸馏
Distillation
定义
大模型（教师）教小模型（学生）：软标签、特征对齐、关系蒸馏。智驾里主要用于「云端大模型 → 车端小模型」，也是自动标注闭环的关键一环。
关键要点
- 蒸馏能传递「暗知识」（类别间相似度），比硬标签更有效
- 教师质量决定上限，教师有偏学生会继承
- 车端部署时蒸馏 + 量化常一起用
面试怎么答
讲「云端大模型 → 车端小模型」的链路，与自动标注串起来。
相关知识
- 模型压缩 — 量化（FP16/INT8/INT4）、剪枝（结构化/非结构化）、蒸馏、算子融合、低秩分解。目标是「在车端算力与功耗约束…
- 教师模型与伪标签 — 用大模型（或集成模型）在离线数据上生成标签，再蒸馏给小模型。伪标签的噪声会累积，需要置信度过滤、一致性校验、以及「只在…
- VLA / 多模态大模型 — 视觉-语言-动作模型：用自然语言描述场景与意图，输出驾驶决策。优势是可解释、可用语言监督、能处理「没见过但能描述」的场…
- 数据闭环 — 把「真实世界产生的数据」持续转化为「车端模型能力」的工程体系：车端采集 → 回传 → 存储治理 → 场景挖掘与标注 →…