知识点 › 系统架构

StarRocks 千亿级检索

StarRocks OLAP

系统架构Lv.2

定义

用 StarRocks(MPP + 向量化 + 物化视图 + bitmap/前缀索引)承载千亿行级元数据检索:按车/时间/区域/标签/场景组合查询,支撑秒级圈选与聚合统计。

关键要点

  • 为什么不用 ES 全扛:ES 强在全文与日志,大规模聚合与多表 join 弱,写入放大严重
  • 资源估算用「并发 × 单查询扫描量」反推:100 QPS 中等查询可能要数百核;实际业务常 10 QPS 量级,300 核左右
  • 关键设计:按天/车分区、高基数键分桶、前缀索引、物化视图预聚合、冷热分离
  • 千亿行的难点在写入与 Compaction,不在查询

面试怎么答

讲「为什么选它 + 分区分桶 + 资源怎么估」,并给出 QPS 与核数的对应。

相关知识

  • 检索与索引 — 三类检索:①结构化(SQL/标签/时间/地理);②向量(图像/点云/轨迹特征相似度);③混合(先标签过滤再向量排序)。…
  • 存储选型与分工 — MySQL(元数据/业务)、OSS(原始文件/大对象)、HBase(海量稀疏 KV,如轨迹点、信号)、ES(全文/日志…
  • 智驾数仓分层 — ODS 存解析后的原始片段/事件;DWD 是帧级/片段级明细(传感器、标签、模型输出);DWS 按场景/车/天/区域汇…
  • 系统全景(车云两段) — 车端:传感器(视频/CAN/Lidar)→ 编码解码管理系统(信号采集)→ 编码解码系统(trigger 触发录制)→…
在星图上打开这颗星 →