知识点 › 数据基础设施
计算引擎
Compute
定义
批处理 Spark（元数据 ETL、统计）、流处理 Flink（实时告警、在线打标）、分布式 Python Ray（模型推理打标、视频解码）。视频解码是隐藏的算力大户，常需 GPU 硬解。
关键要点
- 解码/转码用 GPU（NVDEC）比 CPU 快一个数量级，成本差异巨大
- 自动标注是 GPU 密集型，要和训练抢资源，需要队列与配额
- 数据管道的瓶颈常在 IO 与解码，不在「算法」
面试怎么答
能指出「解码是瓶颈」的人，通常真跑过大规模数据处理。
相关知识
- 数据管道 — 把「解析 → 质检 → 脱敏 → 打标 → 入库 → 切片 → 导出」串成可重跑的有向无环图（DAG）。要求：幂等、可…
- 大数据处理与 ETL 调优 — Spark 批处理 + Flink 流处理构建 TB 级管道。瓶颈通常在 shuffle、小文件 IO 与视频解码，而…
- 解码算子 — 把压缩视频/点云还原成帧与点：H.264/H.265 用 GPU 硬解（NVDEC/VAAPI），点云走 Draco …