知识点 › 数据基础设施

对象存储与分层

Object Storage

数据基础设施Lv.2

定义

海量非结构化数据(视频/点云/图片)的底座:S3 协议(AWS S3 / 阿里 OSS / MinIO),按桶/前缀组织,配生命周期策略做冷热分层(热存 30 天 → 温存 → 归档/磁带)。

关键要点

  • 成本结构:标准存储 ≈ 0.1 元/GB/月量级,归档可低一个数量级,但取回有延迟与费用
  • 大文件要分片上传 + 校验,小文件要打包(否则元数据开销超过数据本身)
  • 多副本 vs 纠删码:3 副本成本 ×3,纠删码 1.3–1.5 倍但恢复慢

面试怎么答

讲「分层 + 纠删码 + 生命周期」三件套,并给一个 PB 级的月度成本估算。

相关知识

  • 存储与算力成本治理 — PB 级数据的成本治理:冷热分层、生命周期删除、去重、压缩、按需转码、算力错峰、GPU 利用率。目标是「单位有效训练样…
  • 数据回传 — 把车端数据传到云端:4G/5G 蜂窝、场站 WiFi(换电站/停车场/矿区基站)、专网。工程要点:断点续传、分片校验、…
  • 数据闭环 — 把「真实世界产生的数据」持续转化为「车端模型能力」的工程体系:车端采集 → 回传 → 存储治理 → 场景挖掘与标注 →…
在星图上打开这颗星 →