知识点 › 数据基础设施
数据治理四件套
Data Governance
数据基础设施Lv.2
定义
标准(命名/口径/枚举)、质量(完整性/一致性/有效性/唯一性/及时性)、安全(分级/脱敏/权限/审计)、成本(生命周期/冷热/去重)。治理的最终产出不是文档,而是一个「能自助找到并信任数据」的资产目录。
关键要点
- 标准先行:口径不统一,后面所有看板与模型指标都不可信
- 质量要前置到入库拦截,事后清洗的成本高一个数量级
- 成本要下沉到团队/项目维度核算,否则没人有动力省
- 治理必须有 owner 与例会,否则必然退化成文档工程
面试怎么答
讲「标准-质量-安全-成本」四件套,各举一个落地动作,再给一个指标。
相关知识
- 数据目录与资产化 — 把数据集当资产管理:每个数据集有 owner、用途、版本、规模、质量分、使用记录、过期策略。让「找数据」从问人变成搜索…
- 数据质量体系 — 从「事后发现」转为「入库即拦截」:完整性(帧率/文件数)、一致性(时间戳/标定)、有效性(模糊/遮挡/曝光)、准确性(…
- 存储与算力成本治理 — PB 级数据的成本治理:冷热分层、生命周期删除、去重、压缩、按需转码、算力错峰、GPU 利用率。目标是「单位有效训练样…
- 数据平台整体架构 — 分层:接入层(回传网关/解析)→ 存储层(对象存储 + 数据湖)→ 治理层(元数据/质量/权限)→ 加工层(管道/打标…
在星图上打开这颗星 →