知识点 › 系统架构

存储选型与分工

Storage Choices

系统架构Lv.3

定义

MySQL(元数据/业务)、OSS(原始文件/大对象)、HBase(海量稀疏 KV,如轨迹点、信号)、ES(全文/日志/检索)、Hive(离线数仓/归档)、StarRocks(OLAP 标签检索)、Redis(缓存/队列辅助)、Greenplum(历史数仓)、JuiceFS(训练侧共享文件系统)。

关键要点

  • 选型逻辑:按「写入模式 + 查询模式 + 成本」定,不是按流行度
  • HBase 适合「按车+时间戳」的高写入稀疏数据;ES 不适合做大规模聚合
  • 同一份数据多处冗余是成本黑洞,要有「单一事实源」

面试怎么答

讲「一种数据一个主存 + 若干派生」,并说清为什么 StarRocks 和 ES 并存。

相关知识

  • StarRocks 千亿级检索 — 用 StarRocks(MPP + 向量化 + 物化视图 + bitmap/前缀索引)承载千亿行级元数据检索:按车/时…
  • 影子系统四层架构 — ①前端业务:模型管理、发布任务管理、应用编排、日志/灰度发布、模型升级回滚、配置管理、批次/标签/文件管理、trigg…
在星图上打开这颗星 →