知识点 › 数据基础设施
调度与编排
Orchestration
定义
Airflow / DolphinScheduler / Argo Workflows：定时、依赖、重试、告警、回填。智驾场景还要支持「按数据到达触发」（事件驱动）与「按模型版本触发」（训练完成后自动评测）。
关键要点
- 事件驱动比定时更实时：数据一到就跑质检，问题当天暴露
- 要防止「雪崩」：下游故障时上游要能限流，而不是无限重试
- 编排日志是排查「数据为什么没到」的第一现场
面试怎么答
说清「定时 + 事件」混合编排，以及失败重试的退避策略。
相关知识
- 数据管道 — 把「解析 → 质检 → 脱敏 → 打标 → 入库 → 切片 → 导出」串成可重跑的有向无环图（DAG）。要求：幂等、可…