知识点 › 算子

打包与导出算子

Pack & Export

算子Lv.3

定义

把样本组装成训练可读的格式：WebDataset shard、LMDB、TFRecord、自定义二进制；带索引、校验和、shuffle 分片。直接影响 GPU 等待时间。

关键要点

  • 小文件太多会拖垮 IO，打包成大 shard 是标准解法
  • shard 大小要匹配并行度，兼顾 IO 碎片与负载均衡
  • 导出要带 manifest，训练中途才发现缺数据是最贵的错误

面试怎么答

讲「打包解决 IO 碎片」，并给一个 GPU 利用率提升的例子。

相关知识

  • 数据交付与导出 — 把数据集交付给训练：格式转换（WebDataset/LMDB/自定义）、分片、shuffle、预取、缓存到训练集群本地…
  • 数据加工算子链 — 从原始包到可用样本的一条算子链：解析/解包 → 解码 → 时间对齐与标定 → 脱敏 → 质检 → 自动打标 → 抽帧切…
在星图上打开这颗星 →