Q2D-Web：面向 agentic RAG 的大规模检
来自 arXiv · 期号 2026-09-08
摘要
生产环境 RAG 系统的第一级检索器需要一个同时具备大规模语料和大量 agent 改写查询的评测基准。现有基准要么语料大但查询少，要么查询多但语料小，而且大多评估的是人类写的查询，不是 agent 改写后的查询。 Q2D-Web 填补了这个空缺：一个 1.9 亿文档的网页语料库，加上 7 万条 agent 搜索查询，覆盖十种语言，全部来自真实用户查询的改写。它提供三套相关性标注：agent 引用、生产排序、以及两者合并后再用 LLM 标注未标注文档以减少漏标的组合集。 在 13 个检索器（包括词法、稠密、延迟交互模型）上的评测显示，模型相对排序对标注集的选择不敏感，但在不同主题领域、查询语言和查询类型上差异很大。用三分之一的语料做子集采样（通过互逆排名融合选取），就能保持全语料上的模型排序，同时 Recall@1000 只提高 3 到 7 个百分点。
深读
导读 生产环境中的 RAG 系统需要一个能同时提供大规模语料和大量 agent 改写查询的检索评测基准，而现有基准要么语料大但查询少，要么查询多但语料小，且大多只评估人类写的查询。Q2D-Web 填补了这个空缺，它提供了一个 1.9 亿文档的网页语料库和 7 万条 agent 搜索查询，覆盖十种语言，并附有多套相关性标注。读完这篇论文可以了解当前主流检索器在 agent 改写查询场景下的表现差异，以及如何通过子集采样加速评测。 关键信息 - Q2D-Web 包含 1.9 亿个文档的网页语料库和 7 万条 agent 搜索查询，覆盖十种语言，所有查询均来自真实用户查询的改写。 - 提供了三套相关性标注集：agent 引用、生产排序、以及两者合并后再用 LLM 标注未标注文档以减少漏标的组合集。 - 在 13 个检索器（包括词法、稠密、延迟交互模型）上的评测显示，模型相对排序对标注集的选择不敏感，但在不同主题领域、查询语言和查询类型上差异很大。 - 用三分之一的语料做子集采样（通过互逆排名融合选取），就能保持全语料上的模型排序，同时 Recall@1000 只提高 3 到 7 个百分点。 逐节讲解 现有基准的不足 论文指出，评估生产环境 RAG 系统的第一级检索器需要一个同时具备大规模语料和大量 agent 改写查询的基准，并且要为每个查询标注多个相关文档。现有的公开基准无法满足这一需求：大规模语料库通常只提供少量评估查询，而拥有大量查询的基准又往往只有百万级文档。此外，大多数基准评估的是人类编写的查询，而 agentic RAG 管道中的第一级检索器处理的是机器改写后的查询，其分布与人类搜索行为不同。 Q2D-Web 的构建 Q2D-Web 由 1.9 亿文档的网页语料库和 7 万条 agent 搜索查询组成，覆盖十种语言，这些查询是从生产系统中的真实用户查询改写而来。论文提供了三套固定的相关性标注集：第一套来自 agent 引用的文档，第二套来自生产排序结果，第三套是前两者的并集，并额外用 LLM 对未标注的池化文档进行标注以减少漏标（false negatives）。 检索器评测与子集采样 论文在 13 个检索器上进行了基准测试，包括词法模型、稠密模型和延迟交互模型。结果显示，这些模型的相对排序对标注集的选择不敏感，但在不同主题领域、查询语言和查询类型上表现差异显著。为了加速评测，论文还研究了子语料库采样作为全语料库评估的近似方法：通过互逆排名融合从多个检索器的池化结果中选取语料，保留三分之一的语料即可保持全语料库下的模型排序，同时 Recall@1000 仅提高 3 到 7 个百分点。 值得注意 论文只提供了摘要，没有展开具体检索器的名称、评测结果表格或各领域/语言上的详细差异数据。这些细节需要阅读全文才能获得。