研究探讨人工智能基准需要多少名评分者

谷歌研究团队提出评估数据设计框架，研究有限预算下应增加测试条目还是增加每条的人工评分者。项目关注人类…

谷歌研究团队提出评估数据设计框架，研究有限预算下应增加测试条目还是增加每条的人工评分者。项目关注人类判断存在分歧时，如何让机器学习基准更稳定、更容易复现。

作者指出，仅取多数意见会掩盖评分分布中的差异。框架尝试在样本覆盖与多视角标注之间取得平衡，使团队比较模型时既能控制成本，也能保留对模糊或有争议内容的细致理解。