Swyx 提到一个在 frontier model
来自 Swyx · 期号 2026-07-21
摘要
Swyx 提到一个在 frontier model 训练里被低估的问题：benchmark 污染不一定来自直接训练测试集，也可能来自训练高度相似的“测试集仿制品”，从而把分数“调”到想要的结果。他转发了 Alex Zhang 和 Omar Khattab 关于隐藏任务轨迹距离分析的工作，同时也强调目前“没有终极解决方案”。另外两条主要是链接型转发，可独立解读的信息有限。
来自 Swyx · 期号 2026-07-21
Swyx 提到一个在 frontier model 训练里被低估的问题：benchmark 污染不一定来自直接训练测试集，也可能来自训练高度相似的“测试集仿制品”，从而把分数“调”到想要的结果。他转发了 Alex Zhang 和 Omar Khattab 关于隐藏任务轨迹距离分析的工作，同时也强调目前“没有终极解决方案”。另外两条主要是链接型转发，可独立解读的信息有限。
本站只做摘要与索引，全部内容版权归原作者所有。