知识点 › 数据基础设施

数据湖与湖仓一体

Data Lake / Lakehouse

数据基础设施Lv.2

定义

把原始文件 + 结构化元数据统一管理:Iceberg / Hudi / Delta Lake 提供 ACID、时间旅行、schema 演进;上层用 Spark/Trino 做分析。智驾的数据湖管的是「片段级」而非「行级」数据。

关键要点

  • 关键:把「一次采集片段」建模成一行记录(车、时间、地点、触发原因、标签、质量、路径)
  • 时间旅行对复现极有价值:能回到「某天训练用的那版数据」
  • 小文件问题是通病,需要 compaction 任务定期合并

面试怎么答

说清「片段即一行」的建模思路,这是智驾数据平台与互联网数仓最大的不同。

相关知识

  • 元数据体系 — 描述每段数据的「是什么、在哪、何时、什么车、什么版本、什么质量、什么标签」。元数据是检索、去重、复现、成本归因的基础;…
  • 智驾数仓分层 — ODS 存解析后的原始片段/事件;DWD 是帧级/片段级明细(传感器、标签、模型输出);DWS 按场景/车/天/区域汇…
  • 数据闭环 — 把「真实世界产生的数据」持续转化为「车端模型能力」的工程体系:车端采集 → 回传 → 存储治理 → 场景挖掘与标注 →…
在星图上打开这颗星 →