SpaceCast-Bench：评估视觉语言模型的预测性
来自 arXiv · 期号 2026-10-09
摘要
现有的空间推理基准主要测试空间感知能力：从输入中直接读取可见的空间关系。但现实世界的空间智能需要预测性空间推理：根据观察构建场景，预测干预如何改变它，并推理出未见的结果。 SpaceCast-Bench 是第一个直接、诊断性地评估这种能力的基准。它基于“观察-变换-推理”框架构建，包含来自 182 个真实场景的 3,862 个问题，涵盖 16 种任务类型，分为三个层级：静态感知、局部预测和全局预测，逐步要求场景理解、空间状态更新和对未观察结果的推理。 评估 21 个模型暴露了巨大差距：最强模型仅达到 58.0%，而人类表现为 87.2%；空间专用模型的表现接近随机。控制分析进一步表明，桥接视角对于整合分散的观察至关重要，而显式的 3D 证据比生成的图像或视频更可靠地帮助模型。在程序生成的数据上微调，将 Qwen3-VL-4B 从 34.0% 提升至 65.7%，并在六个域外基准上取得了宏观平均提升。
深读
导读 现有视觉语言模型的空间推理基准大多只测试“感知”——从图像中直接读出可见的空间关系。但现实世界需要的是“预测性空间推理”：根据分散的观察构建场景，预判干预如何改变它，并推理出未直接看到的结果。SpaceCast-Bench 是第一个专门、诊断性地评估这种能力的基准，它揭示了当前最强模型与人类之间近 30 个百分点的差距，并指出了提升方向。 关键信息 - 基准包含来自 182 个真实场景的 3,862 个问题，覆盖 16 种任务类型，分为三个层级：静态感知、局部预测和全局预测。 - 评估 21 个模型，最强模型（未公开名称）仅达到 58.0%，而人类表现为 87.2%。 - 空间专用模型（如专门为空间任务设计的模型）在基准上的表现接近随机水平。 - 在程序生成的数据上微调后，Qwen3-VL-4B 从 34.0% 提升至 65.7%，并在六个域外基准上取得宏观平均提升。 逐节讲解 现有基准的局限与预测性空间推理的定义 论文指出，现有的空间推理基准（如 VSR、BLINK、MMVP）主要测试的是“空间感知”——从单张图像中直接读取可见的空间关系，例如“球在桌子的左边”。但现实世界的空间智能要求模型具备“预测性空间推理”：根据多个分散的观察构建出场景的心理模型，预测一个干预（如移动一个物体）会如何改变空间状态，并推理出未直接观察到的结果。这是机器人操作、自动驾驶、物理世界交互等应用的核心能力，而现有基准无法衡量它。 SpaceCast-Bench 的构建框架与任务层级 SpaceCast-Bench 基于“观察-变换-推理”框架构建。每个问题从一个真实场景出发，模型先获得若干观察（如多视角图像或 3D 点云），然后被告知一个变换（如“把红色方块推到蓝色方块左边”），最后需要回答一个关于变换后场景的推理问题（如“红色方块现在在蓝色方块的哪一侧？”）。问题分为三个递进层级：静态感知（直接读取可见关系）、局部预测（预测单个物体变换后的位置）、全局预测（推理多个物体变换后未直接观察到的空间关系）。这种设计使得基准能够诊断性地定位模型在哪个环节失败。 评估结果与关键发现 在 21 个模型上的评估暴露了巨大差距：最强模型仅达到 58.0%，而人类表现为 87.2%。空间专用模型的表现接近随机，说明它们虽然擅长感知静态空间关系，但无法进行预测性推理。控制实验进一步揭示了两个关键因素：一是“桥接视角”（bridge views）——即能够连接分散观察的中间视角，对于整合信息至关重要；二是显式的 3D 证据（如点云或深度图）比生成的图像或视频更可靠地帮助模型进行推理。最后，论文展示了在程序生成的数据上微调 Qwen3-VL-4B 的效果：从 34.0% 提升至 65.7%，并且在六个域外基准上取得了宏观平均提升，表明这种训练数据可以带来泛化收益。 值得注意 论文的摘要中未公开…