知识点 › 仿真与评测
离线评测
Offline Eval
定义
用固定数据集算指标，快速筛模型。优点是便宜、可重复；缺点是「开环」——模型测的是「重建历史」，不是「自己开车」。离线涨点不等于实车涨点，必须用闭环兜底。
关键要点
- 离线评测的三要素：固定测试集、固定预处理、固定指标口径
- 要能按场景切片看指标，否则一个大类会掩盖所有长尾退化
- 离线指标的意义是「快速否掉坏模型」，不是「证明好模型」
面试怎么答
讲「离线只做否定、闭环才做肯定」，这个判断很加分。
相关知识
- 测试集构建 — 测试集要「代表真实分布 + 覆盖长尾 + 绝对隔离」。构建方式：分层抽样 + 场景配额 + 人工精挑 + 冻结版本。测…
- 感知指标 — 检测：mAP、NDS（nuScenes 综合分）、按距离/类别/遮挡分层；分割：mIoU；占用：IoU、RayIoU。…
- 跟踪指标 — AMOTA / AMOTP / IDF1 / HOTA：衡量「跨帧 ID 稳定」与「轨迹精度」。ID switch 在…
- 预测指标 — minADE / minFDE（多模态最小误差）、Miss Rate、brier-minFDE。注意 minADE 会…
- 规划指标 — 碰撞率、接管率、舒适度（jerk、加速度）、通行效率（耗时/速度）、合法性（压线/闯红灯）、平顺性。规划没有唯一正确解…
- 开环评测 — 给模型历史输入，比较输出与「人类真实动作」的差距。便宜、可重复，但存在「因果混淆」：模型输出错了，历史依然按人类轨迹走…
- 数据闭环 — 把「真实世界产生的数据」持续转化为「车端模型能力」的工程体系：车端采集 → 回传 → 存储治理 → 场景挖掘与标注 →…