WOVEN：为多模态大模型编织视觉世界建模
来自 arXiv · 期号 2026-10-09
摘要
多模态大模型在空间、具身、物理和时序推理上表现不佳。 作者认为这些失败有一个共同根源：视觉状态转换推理能力不足。他们提出了 WOVEN，一个包含 36,076 个样本的数据集，覆盖 20 种场景、5 种动作和 8 种推理类型，样本由视频预训练模型生成。 在 38 个前沿多模态大模型（包括 GPT-5.4 和 Qwen3-VL-235B）上的评测显示，这是一个系统性的缺陷：即使最强的模型也远低于人类水平。 用 WOVEN 训练后，能力可以广泛迁移：每个约 2000 样本的子集，就能让 26 个外部 benchmark 中的 22 个提升最多 27.3 个百分点；WOVEN 数据还能替代任务自身 30-50% 的训练数据，达到相近的准确率。 论文还总结了一套训练配方：按推理操作类型选择监督数据，而不是按动作、场景或领域；优先选择视觉状态变化更大的样本，以获得更好的鲁棒性。
深读
导读 多模态大模型在空间、物理和时序推理上表现不佳，这篇论文认为这些失败有一个共同根源：视觉状态转换推理能力不足。论文提出了 WOVEN，一个包含 36,076 个样本的数据集，并证明用该数据集训练后，能力可以广泛迁移到 26 个外部 benchmark 中的 22 个。读完这篇，你能了解一个系统性的训练配方：如何通过视觉状态转换推理，让多模态模型获得可复用的世界建模能力。 关键信息 - WOVEN 数据集包含 36,076 个样本，覆盖 20 种场景类型、5 种动作类型和 8 种推理类型，样本由视频预训练生成模型生成。 - 在 38 个前沿多模态大模型（包括 GPT-5.4 和 Qwen3-VL-235B-A22B）上的评测显示，即使最强的模型也远低于人类水平，且失败跨模型家族普遍存在、随规模扩大依然持续。 - 每个约 2000 个样本的训练子集，能让 26 个外部 benchmark 中的 22 个提升最多 27.3 个百分点。 - WOVEN 数据可以替代任务自身 30-50% 的训练数据，达到相近的准确率。 - 训练配方：按推理操作类型选择监督数据，而不是按动作、场景或领域；优先选择视觉状态变化更大的样本以获得更好的鲁棒性。 逐节讲解 问题与假设 多模态大模型在空间、具身、物理和时序推理上表现不佳。作者假设这些失败有一个共同根源：视觉状态转换推理能力不足，即模型无法理解视觉场景从一个状态到另一个状态的变化。他们想验证这种能力能否作为一种可复用的训练基元，让不同模型从不同监督源学习，并跨不同任务复用。 WOVEN 数据集 现有 benchmark 分别记录了这些缺陷，但不支持跨场景、动作和推理操作的控制比较。因此作者构建了 WOVEN，一个用于视觉状态转换推理的训练源和 benchmark。它使用视频预训练生成模型生成多样化、真实的 rollout，包含 36,076 个样本，按场景、动作和推理类型组织：20 种场景类型、5 种动作类型、8 种推理类型。 评测与训练效果 作者首先在 38 个前沿多模态大模型（包括 GPT-5.4 和 Qwen3-VL-235B-A22B）上评测，发现存在显著且系统性的缺陷：即使最强的模型也远低于人类水平，失败跨模型家族普遍存在，且随规模扩大依然持续。随后，他们在多个规模上训练模型，发现模型学到了可共享的能力并广泛迁移：每个约 2000 个样本的子集，能让 26 个外部 benchmark 中的 22 个提升最多 27.3 个百分点；WOVEN 数据还能替代任务自身 30-50% 的训练数据，达到相近的准确率。 训练配方 通过控制比较，作者总结出一套视觉世界建模的训练配方，并在保留的 benchmark 上得到前瞻性验证：按推理操作类型选择监督数据，而不是按动作、场景或领域；优先选择视觉状态变化更大的样本，以获得更好的鲁…