知识点 › 系统架构
数据预处理系统
Preprocessing
定义
解析后的清洗与加工：抽帧（关键帧/等间隔）、裁剪、脱敏、质检（模糊/曝光/丢帧）、生成缩略图与预览、切片成「样本候选」。任务编排（DAG）+ 调度（依赖/重试/回填）是这一层的骨架。
关键要点
- 抽帧策略直接决定标注成本：关键帧 + 跨帧传播能省一个数量级
- 预处理必须「可重跑」：规范或算法升级后要对历史数据批量重算
- 「下一步到样本中心」：预处理输出的是候选，不是最终样本
面试怎么答
讲「抽帧策略如何决定标注成本」，这是预处理最有价值的决策点。
相关知识
- 数据管道 — 把「解析 → 质检 → 脱敏 → 打标 → 入库 → 切片 → 导出」串成可重跑的有向无环图（DAG）。要求：幂等、可…
- 数据加工算子链 — 从原始包到可用样本的一条算子链：解析/解包 → 解码 → 时间对齐与标定 → 脱敏 → 质检 → 自动打标 → 抽帧切…
- 系统全景（车云两段） — 车端：传感器（视频/CAN/Lidar）→ 编码解码管理系统（信号采集）→ 编码解码系统（trigger 触发录制）→…