知识点 › 模型训练
数据加载与 IO
DataLoader
定义
训练中最容易被忽视的瓶颈：解码、增广、shuffle 都在 CPU 侧，喂不饱 GPU 就是白烧钱。方案：预解码为 LMDB/WebDataset shard、多进程预取、GPU 解码、本地 NVMe 缓存。
关键要点
- 经验值：GPU 利用率低于 70% 先查数据管道，别急着换模型
- shard 大小要匹配并行度，太小导致 IO 碎片，太大导致负载不均
- 增广放在 GPU 上做，可显著降低 CPU 压力
面试怎么答
讲「先查数据管道」的排查顺序，并给一个利用率提升的例子。