知识点 › 算子

采样与去重算子

Sampling & Dedup

算子Lv.3

定义

按场景分层与配额抽样;用感知哈希 / CLIP 向量 / 轨迹 DTW 做近邻去重;类别平衡与长尾过采样。决定「进训练的数据分布」,比单个模型改动影响更大。

关键要点

  • 去重是「去冗余不去多样性」,阈值决定保留粒度
  • 采样算子要版本化:配比变了,指标不可比
  • 向量近邻在亿级规模要上 ANN 索引(HNSW/IVF),精确检索扛不住

面试怎么答

讲「分层 + 去重 + 过采样」三件套,并给一个去重率。

相关知识

  • 数据配比 — 决定训练集里各类场景的采样权重:简单场景做基底、长尾场景过采样、新开城/新车型加权、旧场景防遗忘。配比错了,模型会在「…
  • 聚类与去重 — 把相似场景聚合,避免重复标注:特征(CLIP 图像特征、点云描述子、轨迹形状)→ 降维(UMAP/PCA)→ 聚类(H…
  • 数据加工算子链 — 从原始包到可用样本的一条算子链:解析/解包 → 解码 → 时间对齐与标定 → 脱敏 → 质检 → 自动打标 → 抽帧切…
在星图上打开这颗星 →