知识点 › 系统架构
存储选型与分工
Storage Choices
定义
MySQL(元数据/业务)、OSS(原始文件/大对象)、HBase(海量稀疏 KV,如轨迹点、信号)、ES(全文/日志/检索)、Hive(离线数仓/归档)、StarRocks(OLAP 标签检索)、Redis(缓存/队列辅助)、Greenplum(历史数仓)、JuiceFS(训练侧共享文件系统)。
关键要点
- 选型逻辑:按「写入模式 + 查询模式 + 成本」定,不是按流行度
- HBase 适合「按车+时间戳」的高写入稀疏数据;ES 不适合做大规模聚合
- 同一份数据多处冗余是成本黑洞,要有「单一事实源」
面试怎么答
讲「一种数据一个主存 + 若干派生」,并说清为什么 StarRocks 和 ES 并存。
相关知识
- StarRocks 千亿级检索 — 用 StarRocks(MPP + 向量化 + 物化视图 + bitmap/前缀索引)承载千亿行级元数据检索:按车/时…
- 影子系统四层架构 — ①前端业务:模型管理、发布任务管理、应用编排、日志/灰度发布、模型升级回滚、配置管理、批次/标签/文件管理、trigg…