知识点 › 算子
采样与去重算子
Sampling & Dedup
定义
按场景分层与配额抽样;用感知哈希 / CLIP 向量 / 轨迹 DTW 做近邻去重;类别平衡与长尾过采样。决定「进训练的数据分布」,比单个模型改动影响更大。
关键要点
- 去重是「去冗余不去多样性」,阈值决定保留粒度
- 采样算子要版本化:配比变了,指标不可比
- 向量近邻在亿级规模要上 ANN 索引(HNSW/IVF),精确检索扛不住
面试怎么答
讲「分层 + 去重 + 过采样」三件套,并给一个去重率。
知识点 › 算子
Sampling & Dedup
按场景分层与配额抽样;用感知哈希 / CLIP 向量 / 轨迹 DTW 做近邻去重;类别平衡与长尾过采样。决定「进训练的数据分布」,比单个模型改动影响更大。