知识点 › 仿真与评测
测试集构建
Test Set
定义
测试集要「代表真实分布 + 覆盖长尾 + 绝对隔离」。构建方式：分层抽样 + 场景配额 + 人工精挑 + 冻结版本。测试集规模不必大，但要「每一条都有存在理由」。
关键要点
- 测试集要定期「换血」：模型在旧测试集上饱和后，指标失去区分度
- 要防止「测试集训练化」：反复针对测试集调参等于泄漏
- 要建「挑战集」：故意挑模型弱项，用于发现退化而非评估平均水平
面试怎么答
讲「代表性 + 挑战集 + 定期换血」，避开「越大越好」的误区。
相关知识
- 训练/验证/测试划分 — 不能随机按帧划分——同一段视频的相邻帧高度相似，随机划分会造成「信息泄漏」，指标虚高。正确做法：按片段/按行程/按地理…
- 场景库 — 把挖掘出的场景实例化、去重、分层管理的资产库：每个场景有标签、难度、归属 ODD、出现频次、关联标注、关联测试用例。它…
- 离线评测 — 用固定数据集算指标，快速筛模型。优点是便宜、可重复；缺点是「开环」——模型测的是「重建历史」，不是「自己开车」。离线涨…
- 数据闭环 — 把「真实世界产生的数据」持续转化为「车端模型能力」的工程体系：车端采集 → 回传 → 存储治理 → 场景挖掘与标注 →…