知识点 › 算子
数据加工算子链
Data Pipeline Operators
定义
从原始包到可用样本的一条算子链：解析/解包 → 解码 → 时间对齐与标定 → 脱敏 → 质检 → 自动打标 → 抽帧切片 → 采样去重 → 打包导出。每个算子都是 DAG 上的一个节点，有输入输出契约与版本。
关键要点
- 链路的正确性靠「契约」保证：输入格式、输出 schema、时间戳口径必须先定死
- 每个算子必须能单独重跑：改一个脱敏规则不应该触发全链路重算
- 平台视角：算子 = {名称, 版本, 参数, 实现(CPU/GPU), 成本, 输入输出 schema}
面试怎么答
把链路按「解析→解码→对齐→脱敏→质检→打标→切片→打包」讲一遍，并说清哪一步最贵。
相关知识
- 数据管道 — 把「解析 → 质检 → 脱敏 → 打标 → 入库 → 切片 → 导出」串成可重跑的有向无环图（DAG）。要求：幂等、可…
- 数据预处理系统 — 解析后的清洗与加工：抽帧（关键帧/等间隔）、裁剪、脱敏、质检（模糊/曝光/丢帧）、生成缩略图与预览、切片成「样本候选」…
- 解码算子 — 把压缩视频/点云还原成帧与点：H.264/H.265 用 GPU 硬解（NVDEC/VAAPI），点云走 Draco …
- 对齐与标定算子 — 把多传感器拉到同一时空：时间戳重采样与插值、PTP 偏差校正、相机去畸变、外参变换、点云→图像投影、BEV 栅格化、地…
- 脱敏算子 — 人脸检测 + 模糊/马赛克、车牌检测 + 打码、语音消除、门牌与证件区域处理、地理信息偏转。要求不可逆、可审计、且不破…
- 质检算子 — 自动判断一段数据能不能用：清晰度（拉普拉斯方差）、曝光直方图、遮挡与脏污、丢帧率、时间戳单调性、点云反射率分布、标定健…
- 自动打标算子 — 用离线大模型在数据上跑推理，产出检测/跟踪/分割/占用/轨迹标签：检测头 → 时序跟踪融合 → 投影回各帧 → 置信度…
- 采样与去重算子 — 按场景分层与配额抽样；用感知哈希 / CLIP 向量 / 轨迹 DTW 做近邻去重；类别平衡与长尾过采样。决定「进训练…
- 打包与导出算子 — 把样本组装成训练可读的格式：WebDataset shard、LMDB、TFRecord、自定义二进制；带索引、校验和…
- 幂等与可重放 — 同一输入 + 同一算子版本 → 同一输出；重复执行不产生副作用（不重复计数、不重复落库、不重复计费）。是数据可复现的前…
- 算子（两种含义） — 数据闭环里「算子」指两样东西：①数据侧——加工流水线里可组合、可重跑、幂等的最小执行单元（解析、解码、脱敏、质检、切片…