评分卡内奖励分歧：恢复与平衡潜在维度
来自 arXiv · 期号 2026-10-20
摘要
基于评分卡（rubric）的强化学习有一个隐藏问题：模型为了总分更高，会牺牲某些子维度的质量。 本文把评分卡拆成子维度，发现两个现象：一是维度不平衡——模型只优化权重高的维度；二是维度缺失——评分卡没覆盖到的质量维度，模型完全不管。 作者提出两个方法：FRDA 让各子维度分别竞争，缓解不平衡；RSDC 从整体偏好信号里挖出隐含的评估维度，补全评分卡。在聊天、科学、医疗三个领域，FRDA 让评分卡作弊更少、提升更稳定，RSDC 比单奖励训练和简单多奖励聚合都更好。 论文附了开源代码。