行动前先改写：VLA 模型的措辞敏感性
来自 arXiv · 期号 2026-10-08
摘要
视觉-语言-动作模型（VLA）对指令措辞极其敏感，一个词的改动就能让成功率波动数十个百分点。例如，π₀.₅ 对「打开炉子」的成功率是 100%，对「打开电热板」只有 2%。 这种敏感是系统性的，可以用显式规则来描述。作者让大语言模型从少量训练任务的多种措辞中提炼出十几条改写规则，部署时对每条新指令按规则改写一次。无需重新训练，无需逐步骤验证。 在 12 个未见任务上，这套规则让冻结的 π₀ 相对提升 16% 到 27%，收益集中在分布外任务上。在 π₀.₅ 和 LIBERO 上，微调内成功率从 93.6% 提升到 97.8%。
深读
导读 这篇论文系统性地揭示了视觉-语言-动作模型（VLA）对指令措辞的极端敏感性，一个词的改动就能让成功率从 100% 跌到 2%。作者没有去修改模型本身，而是让大语言模型从少量训练数据中提炼出十几条改写规则，部署时对每条新指令做一次规则改写，无需重新训练即可让冻结的 VLA 模型在未见任务上相对提升 16% 到 27%。这项工作为 VLA 的实用部署提供了一种轻量级的鲁棒性增强方案。 关键信息 - π₀.₅ 对「switch on the stove」的成功率是 100%，对「switch on the hot plate」只有 2%，仅一个词之差。 - 一个经过改写增强微调的 π₀ 检查点，不同措辞之间的成功率波动仍高达 61 个百分点。 - 仅凭措辞优化，就能几乎抹平分布内任务与分布外任务之间 21 个百分点的成功率差距。 - 作者让大语言模型从少量训练任务的多种措辞中提炼出 10 到 20 条改写规则。 - 在 12 个未见任务上（涵盖对抗性、VLM 生成和人类生成的措辞），规则让冻结的 π₀ 相对提升 16% 到 27%，收益集中在分布外任务上。 - 在 π₀.₅ 和 LIBERO 基准上，微调内成功率从 93.6% 提升到 97.8%。 逐节讲解 VLA 对措辞的极端敏感性 论文首先通过实验量化了 VLA 模型的「语言敏感性」。作者发现，VLA 模型并没有继承其底层视觉-语言模型（VLM）的语言鲁棒性。他们设计了两种分析方法：一是统计单次编辑（替换一个词）带来的成功率波动，二是通过「oracle 短语搜索」寻找最优和最差的措辞。结果显示，仅凭措辞优化就能几乎抹平分布内与分布外任务之间 21 个百分点的性能差距，说明措辞本身是影响 VLA 表现的关键因素。 用显式规则改写指令 由于这种敏感性是系统性的，作者提出可以用显式规则来描述。具体流程是：对少量训练任务收集多种措辞并评分，然后让一个大语言模型（LLM）从这些评分数据中提炼出 10 到 20 条改写规则。部署时，对每条新指令按这些规则做一次改写，再送入 VLA 模型。该方法不需要重新训练模型，也不需要逐步骤验证。 零样本迁移与实验验证 在 12 个未见任务上，这套规则让冻结的 π₀ 模型在对抗性、VLM 生成和人类生成的三种措辞上分别获得 16% 到 27% 的相对提升，收益主要集中在分布外任务上。在 π₀.₅ 和 LIBERO 基准上，微调内成功率从 93.6% 提升到 97.8%。该方法可以零样本地应用于未见任务和未见指令。 值得注意 论文的摘要中提到了「oracle 短语搜索」和「统计检验的单次编辑波动」等分析方法，但由于原文是摘要，这些方法的具体实现细节（如如何定义 oracle 搜索、统计检验的具体指标）并未展开。此外，改写规则由 LLM 从少量训练任务中提炼，其在不同 VLA 架构或…