知识点 › 场景挖掘与标注
教师模型与伪标签
Teacher / Pseudo-label
定义
用大模型(或集成模型)在离线数据上生成标签,再蒸馏给小模型。伪标签的噪声会累积,需要置信度过滤、一致性校验、以及「只在高置信区采用」。
关键要点
- 置信度阈值决定标注率与准确率的权衡曲线,要画出来给业务看
- 教师模型自身会「确认偏误」:它漏掉的类别,伪标签永远学不会
- 要留一部分纯人工标注做校准锚点
面试怎么答
能说出「确认偏误」和「人工锚点」,说明你踩过坑。
知识点 › 场景挖掘与标注
Teacher / Pseudo-label
用大模型(或集成模型)在离线数据上生成标签,再蒸馏给小模型。伪标签的噪声会累积,需要置信度过滤、一致性校验、以及「只在高置信区采用」。