知识点 › 范式与价值
数据规模与 Scaling Law
Scaling Law
定义
在感知与端到端任务上,数据量、模型量、算力量同步增长时性能呈幂律提升,但存在拐点:重复的简单数据几乎无增益,长尾与高质量标注数据的边际收益高得多。
关键要点
- 「多少数据才够」没有绝对值,取决于任务难度与数据多样性(有效数据量 ≠ 原始里程)
- 端到端/VLA 模型对数据量的胃口远大于模块化方案,这是路线选择的核心权衡
- 工程上要看「每增加 10 万帧带来的指标增量/成本」,而不是总里程
面试怎么答
先承认幂律,再补「边际收益递减 + 多样性比数量重要」,最后给一个你算过的性价比数字。
相关知识
- 数据飞轮 — 越多的车 → 越多的数据 → 越好的模型 → 更好的产品 → 更多的车。飞轮的转速由「闭环周期」决定,而不是由数据总量…