知识点 › 数据基础设施
数据集构建
Dataset Construction
定义
从海量片段中抽样、配比、切片，产出训练/验证/测试集。关键决策：场景分层（按 ODD/天气/道路/难度）、采样权重、去重、标注覆盖、版本冻结。
关键要点
- 训练集追求覆盖与配比，验证集追求代表性，测试集追求「绝不参与训练」
- 要建「场景分层表」，保证每个桶都有足够样本，否则指标会被大类淹没
- 数据集要有「用途说明」：这份数据能证明什么、不能证明什么
面试怎么答
讲「分层抽样 + 冻结测试集 + 用途声明」三件事。
相关知识
- 训练/验证/测试划分 — 不能随机按帧划分——同一段视频的相邻帧高度相似，随机划分会造成「信息泄漏」，指标虚高。正确做法：按片段/按行程/按地理…
- 数据交付与导出 — 把数据集交付给训练：格式转换（WebDataset/LMDB/自定义）、分片、shuffle、预取、缓存到训练集群本地…
- 场景库 — 把挖掘出的场景实例化、去重、分层管理的资产库：每个场景有标签、难度、归属 ODD、出现频次、关联标注、关联测试用例。它…
- 样本中心与样本工厂 — 样本 = 基础文件的组合：基础文件含 TV 视频、PCD 点云、GPS、autolabel、manual_label …
- 数据闭环 — 把「真实世界产生的数据」持续转化为「车端模型能力」的工程体系：车端采集 → 回传 → 存储治理 → 场景挖掘与标注 →…