知识点 › 数据基础设施
数据管道
Data Pipeline
定义
把「解析 → 质检 → 脱敏 → 打标 → 入库 → 切片 → 导出」串成可重跑的有向无环图（DAG）。要求：幂等、可重试、可观测、按需回填。
关键要点
- 幂等是命门：同一片段重跑不能产生重复记录或重复计费
- 要支持「回填」：新标签体系上线后，历史数据要能批量补打
- 可观测：每个环节的吞吐、失败率、积压时长要有看板
面试怎么答
讲「幂等 + 回填 + 可观测」，再举一个管道积压导致训练数据延迟的例子。
相关知识
- 计算引擎 — 批处理 Spark（元数据 ETL、统计）、流处理 Flink（实时告警、在线打标）、分布式 Python Ray（模…
- 调度与编排 — Airflow / DolphinScheduler / Argo Workflows：定时、依赖、重试、告警、回填。…
- 可观测性 — 日志、指标、链路追踪三件套。数据链路的 SLO：数据到达延迟、管道成功率、检索 P99、导出耗时。没有可观测性，闭环就…
- 大数据处理与 ETL 调优 — Spark 批处理 + Flink 流处理构建 TB 级管道。瓶颈通常在 shuffle、小文件 IO 与视频解码，而…
- 系统全景（车云两段） — 车端：传感器（视频/CAN/Lidar）→ 编码解码管理系统（信号采集）→ 编码解码系统（trigger 触发录制）→…
- 数据预处理系统 — 解析后的清洗与加工：抽帧（关键帧/等间隔）、裁剪、脱敏、质检（模糊/曝光/丢帧）、生成缩略图与预览、切片成「样本候选」…
- 数据加工算子链 — 从原始包到可用样本的一条算子链：解析/解包 → 解码 → 时间对齐与标定 → 脱敏 → 质检 → 自动打标 → 抽帧切…
- 数据闭环 — 把「真实世界产生的数据」持续转化为「车端模型能力」的工程体系：车端采集 → 回传 → 存储治理 → 场景挖掘与标注 →…