知识点 › 场景挖掘与标注

场景检索

Scenario Retrieval

场景挖掘与标注Lv.2

定义

四类入口:标签/结构化查询、图像相似(以图搜图)、轨迹相似(DTW/形状匹配)、自然语言(「找雨天夜里电动车逆行」)。检索质量决定挖长尾的效率上限。

关键要点

  • 自然语言检索(CLIP/多模态大模型)是近两年最大的体验跃迁
  • 检索结果要能「按相似度排序 + 显示缩略图」,否则没法快速筛
  • 要支持「排除已标注」,避免重复劳动

面试怎么答

讲「标签 + 向量 + 文本」三入口,并说清各自适合什么场景。

相关知识

  • 检索与索引 — 三类检索:①结构化(SQL/标签/时间/地理);②向量(图像/点云/轨迹特征相似度);③混合(先标签过滤再向量排序)。…
  • Milvus 向量数据库 — 分布式向量数据库:Proxy 接入与路由、Query Node 检索、Index Node 建索引、Data Node…
  • 长尾样本挖掘 — 专门捞「低频高危害」:规则枚举(异形车/施工区/动物)、相似度扩展(以图搜图找同类)、场景组合生成、失败案例聚类。长尾…
  • 预训练与自监督 — 在大规模无标注数据上预训练(MAE、对比学习、掩码点云建模、视频预测),再下游微调。智驾里可显著降低对标注的依赖,尤其…
  • 数据挖掘与检索 — 在解析后的数据上做「找人」:UGC 检索(用户/安全员上报的片段)、向量检索(以图搜图、场景相似)、标签组合检索。输出…
  • 难例挖掘 — 从海量数据中把「模型表现差」的片段捞出来:基于失败事件(接管/AEB)、基于模型指标(低置信/高损失)、基于一致性、基…
在星图上打开这颗星 →