知识点 › 数据基础设施

数据版本管理

Dataset Versioning

数据基础设施Lv.2

定义

数据集要像代码一样有版本：不可变快照 + 变更日志，能回答「这个模型是用哪版数据训的」「这版数据比上版多了什么」。工具：lakeFS / DVC / 自研 manifest。

关键要点

  • 不要复制数据做版本（PB 级复制不起），用 manifest + 内容寻址引用
  • 版本要绑定：数据版本 + 代码 commit + 配置 + 模型权重 = 一次可复现实验
  • 「悄悄改数据」是复现灾难的头号原因，必须禁止原地修改

面试怎么答

讲 manifest 引用而非复制，并给出「数据/代码/配置/权重」四元组。

相关知识

  • 可复现性 — 同配置重跑得到同结果：固定随机种子、确定性的 CUDA 算子、锁版本（驱动/框架/镜像）、数据顺序可复现。做不到 10…
  • 数据血缘 — 记录「原始片段 → 清洗 → 标注 → 数据集 → 训练 → 模型 → 车端版本」的全链路指向关系。用于问题归因（模型…
  • 数据闭环 — 把「真实世界产生的数据」持续转化为「车端模型能力」的工程体系：车端采集 → 回传 → 存储治理 → 场景挖掘与标注 →…
在星图上打开这颗星 →