知识点 › 数据基础设施
数据湖与湖仓一体
Data Lake / Lakehouse
定义
把原始文件 + 结构化元数据统一管理:Iceberg / Hudi / Delta Lake 提供 ACID、时间旅行、schema 演进;上层用 Spark/Trino 做分析。智驾的数据湖管的是「片段级」而非「行级」数据。
关键要点
- 关键:把「一次采集片段」建模成一行记录(车、时间、地点、触发原因、标签、质量、路径)
- 时间旅行对复现极有价值:能回到「某天训练用的那版数据」
- 小文件问题是通病,需要 compaction 任务定期合并
面试怎么答
说清「片段即一行」的建模思路,这是智驾数据平台与互联网数仓最大的不同。