知识点 › 算子
DAG 编排与任务粒度
DAG Orchestration
定义
一个采集片段 = 一个 DAG 实例；每个节点是一次算子调用（Job 或服务调用），输出写到内容寻址路径；DAG 状态存数据库，Pod 无状态可随时重来。断点续跑只重跑失败节点，不重跑整条链。
关键要点
- 数据在算子间传「引用 + schema」，不传数据本体，否则网络就是瓶颈
- 节点幂等 + 内容寻址 = 天然断点续传；重复执行只会命中已存在的输出
- 编排引擎选 Airflow/Argo/DolphinScheduler 都行，关键是「按数据到达事件触发」而不是定时扫全量
面试怎么答
讲「一个片段一个 DAG 实例 + 内容寻址断点续跑」，这是工程化的关键设计。
相关知识
- 算子部署形态 — 三种形态：①「一 Pod 一算子」——每个算子一个镜像，DAG 为每个（数据分片×算子）起一个 Job；②「一 Pod…