知识点 › 数据基础设施

存储与算力成本治理

Cost Governance

数据基础设施Lv.2

定义

PB 级数据的成本治理:冷热分层、生命周期删除、去重、压缩、按需转码、算力错峰、GPU 利用率。目标是「单位有效训练样本的成本」持续下降。

关键要点

  • 先算清账:存储/带宽/算力/标注四项各占多少,再谈优化
  • 常见浪费:原始数据永不删、评测集重复存多份、GPU 空转等任务
  • 成本要下沉到团队/项目维度,否则没人有动力省

面试怎么答

给「四项成本占比 + 两个具体动作 + 降本比例」的结构化回答。

相关知识

  • 数据量估算 — 估算口径:8 路 1080p H.265 ≈ 10–20 GB/h;1 路 128 线激光雷达 ≈ 30–70 GB/…
  • 对象存储与分层 — 海量非结构化数据(视频/点云/图片)的底座:S3 协议(AWS S3 / 阿里 OSS / MinIO),按桶/前缀组…
  • 数据治理四件套 — 标准(命名/口径/枚举)、质量(完整性/一致性/有效性/唯一性/及时性)、安全(分级/脱敏/权限/审计)、成本(生命周…
在星图上打开这颗星 →