Mamba-3 的非交换状态跟踪
来自 arXiv · 期号 2026-09-23
摘要
状态跟踪需要同时做到保留旧信息和按顺序合成新操作。 Mamba-3 的逐元素状态更新无法处理操作顺序相关的任务，因为它的状态坐标之间没有交互。这篇论文在 Mamba-3 的逐元素更新上叠加了一个输入相关的低秩修正项，让状态坐标能沿输入决定的耦合方向一起更新，从而在一个 Mamba-3 块内实现非对角的状态转移。 实验覆盖了离散输入的群组单词问题和连续观测的 shell game。在 shell game 中，模型需要跟踪一个物体在多个容器间的连续交换，且交换时机有随机抖动。带修正项的 Mamba-3 在更长的交换序列上保持了更高的跟踪成功率，优于标准 Mamba-3。 论文附了训练用的分块并行化实现。
深读
导读 状态跟踪任务要求模型同时记住旧信息并按顺序合成新操作，但标准 Mamba-3 的逐元素状态更新无法处理操作顺序相关的任务。这篇论文在 Mamba-3 的逐元素更新上叠加了一个输入相关的低秩修正项，使状态坐标能沿输入决定的耦合方向一起更新，从而在一个块内实现非对角的状态转移。实验表明，带修正项的 Mamba-3 在离散输入的群组单词问题和连续观测的 shell game 中均优于标准 Mamba-3。 关键信息 - 修正项是秩为一的低秩反射项（rank-one reflection term），将 Mamba-3 的对角状态转移扩展为输入相关的非对角转移。 - 修正项保留了 Mamba-3 原有的三个组件：指数梯形离散化（exponential-trapezoidal discretization）、旋转位置编码（RoPE）和读出机制（readout）。 - 训练方面，论文采用了分块计算（chunkwise computation）来并行化每个块内的循环。 - 实验覆盖两个任务：离散输入的群组单词问题（group word problems）和连续观测的 shell game（物体在多个容器间交换，交换时机有随机抖动）。 - 在 shell game 中，带修正项的 Mamba-3 在更长的交换序列上保持了更高的跟踪成功率，优于标准 Mamba-3。 逐节讲解 问题背景与 Mamba-3 的局限 状态跟踪需要同时做到两件事：保留旧信息，以及按顺序合成新操作。当操作的顺序影响结果时（即非交换状态跟踪），模型必须能处理操作间的顺序依赖。标准 Mamba-3 的状态更新是逐元素进行的，每个状态坐标独立更新，坐标之间没有交互，因此无法表示非对角的转移矩阵，这正是处理非交换操作所必需的能力。 提出的修正项 论文在 Mamba-3 的对角状态转移上叠加了一个输入相关的低秩修正项。这个修正项是秩为一的反射项，它沿着输入决定的耦合方向同时更新多个状态坐标，从而在单个 Mamba-3 块内实现非对角的转移。修正项不改变 Mamba-3 的指数梯形离散化、旋转位置编码和读出机制，因此可以看作一个轻量级的扩展。 训练方法与实验设置 为了训练带修正项的 Mamba-3，论文改进了分块计算策略，在每个块内并行化循环计算。实验覆盖两个场景：离散输入的群组单词问题，以及连续观测的 shell game。在 shell game 中，模型需要通过行为克隆（behavioral cloning）学习跟踪物体在多个容器间的连续交换，且交换时机带有随机抖动。论文从固定时序下表现良好的模型中选出对比对象。 实验结果 在 shell game 中，带修正项的 Mamba-3 在更长的交换序列上保持了更高的跟踪成功率，优于标准 Mamba-3。论文认为，这表明所提出的方法在评估的非交换跟踪任务上达…