HyperBrowseComp:多语言多模态压力测试
来自 arXiv · 期号 2026-10-03
摘要
现有跨语言网页搜索 benchmark 多针对单一语言或简单任务,难以评估 agent 在复杂多步线索和多源证据(如视频、扫描文档、地图)下的表现。 HyperBrowseComp 应运而生:423 道人工编写并验证的多模态问题,覆盖 13 种语言,每道题需要从公开网页中定位隐藏证据,经过多步推理才能回答。问题还经过闭卷模型过滤,确保不能靠参数知识直接回答。 对多个高级模型的评估结果显示表现有限,论文同时提供人类评估基线作为参照。