知识点 › 场景挖掘与标注
场景检索
Scenario Retrieval
定义
四类入口:标签/结构化查询、图像相似(以图搜图)、轨迹相似(DTW/形状匹配)、自然语言(「找雨天夜里电动车逆行」)。检索质量决定挖长尾的效率上限。
关键要点
- 自然语言检索(CLIP/多模态大模型)是近两年最大的体验跃迁
- 检索结果要能「按相似度排序 + 显示缩略图」,否则没法快速筛
- 要支持「排除已标注」,避免重复劳动
面试怎么答
讲「标签 + 向量 + 文本」三入口,并说清各自适合什么场景。
相关知识
- 检索与索引 — 三类检索:①结构化(SQL/标签/时间/地理);②向量(图像/点云/轨迹特征相似度);③混合(先标签过滤再向量排序)。…
- Milvus 向量数据库 — 分布式向量数据库:Proxy 接入与路由、Query Node 检索、Index Node 建索引、Data Node…
- 长尾样本挖掘 — 专门捞「低频高危害」:规则枚举(异形车/施工区/动物)、相似度扩展(以图搜图找同类)、场景组合生成、失败案例聚类。长尾…
- 预训练与自监督 — 在大规模无标注数据上预训练(MAE、对比学习、掩码点云建模、视频预测),再下游微调。智驾里可显著降低对标注的依赖,尤其…
- 数据挖掘与检索 — 在解析后的数据上做「找人」:UGC 检索(用户/安全员上报的片段)、向量检索(以图搜图、场景相似)、标签组合检索。输出…
- 难例挖掘 — 从海量数据中把「模型表现差」的片段捞出来:基于失败事件(接管/AEB)、基于模型指标(低置信/高损失)、基于一致性、基…