知识点 › 数据基础设施

检索与索引

Indexing & Retrieval

数据基础设施Lv.2

定义

三类检索:①结构化(SQL/标签/时间/地理);②向量(图像/点云/轨迹特征相似度);③混合(先标签过滤再向量排序)。索引决定了「挖长尾」的效率。

关键要点

  • 向量库:Milvus / FAISS / pgvector;规模到亿级要考虑分片与量化
  • 以图搜图、以轨迹搜场景、以文本搜场景(CLIP)是三大高频入口
  • 检索质量要用「召回率@K」评估,别只看 demo 效果

面试怎么答

给「标签过滤 + 向量召回 + 人工确认」的混合检索链路,并说清各段的作用。

相关知识

  • 场景检索 — 四类入口:标签/结构化查询、图像相似(以图搜图)、轨迹相似(DTW/形状匹配)、自然语言(「找雨天夜里电动车逆行」)。…
  • Milvus 向量数据库 — 分布式向量数据库:Proxy 接入与路由、Query Node 检索、Index Node 建索引、Data Node…
  • 时空索引 — 按「时间 + 空间」快速圈选片段:GeoHash / 网格做粗筛,R-tree / UBTree 做范围查询,Z-or…
  • StarRocks 千亿级检索 — 用 StarRocks(MPP + 向量化 + 物化视图 + bitmap/前缀索引)承载千亿行级元数据检索:按车/时…
  • 数据挖掘与检索 — 在解析后的数据上做「找人」:UGC 检索(用户/安全员上报的片段)、向量检索(以图搜图、场景相似)、标签组合检索。输出…
  • 元数据体系 — 描述每段数据的「是什么、在哪、何时、什么车、什么版本、什么质量、什么标签」。元数据是检索、去重、复现、成本归因的基础;…
在星图上打开这颗星 →