知识点 › 模型训练
分布式训练
Distributed Training
定义
DDP / FSDP / DeepSpeed / Megatron：数据并行、张量并行、流水并行、ZeRO 分片。智驾模型（BEV、端到端）参数量大、输入分辨率高，显存是主要瓶颈。
关键要点
- 先判断瓶颈：显存不够 → 分片/激活重算；吞吐不够 → 增大 batch/通信优化
- 通信是扩展性的天花板：IB/RoCE、NVLink、梯度压缩
- 小模型用 DDP 就够，别为了「先进」上 Megatron
面试怎么答
能根据「显存 or 吞吐」选并行策略，说明你真的训过大模型。
相关知识
- 训练平台 — 把「任务提交 → 数据挂载 → 分布式训练 → 日志监控 → 权重归档」做成自助服务。关键能力：多机多卡调度、断点续训…