Gander：全双工交互的端到端模型
来自 arXiv · 期号 2026-09-09
摘要
现有 AI 交互大多是「你一句我一句」的回合制，打断、插话、同时说话都不自然。 Gander 是一个端到端模型，把全模态感知、实时交互和 agent 能力统一到一个框架里。它持续接收视频、语音、文本的流式输入，用户随时可以打断，模型也能主动给出中间反馈或追问。 架构上采用「小脑-大脑」协作：小脑负责实时交互和全模态对话，大脑处理复杂推理和高级 agent 任务，两者通过工具调用和编排运行时持续通信。小脑内部是流式 Thinker-Talker 架构，输入输出被拍平为有序的 token 块，实现低延迟连续交互。 内部评测显示，Gander 在对话自然度上追平了开源 SOTA，在全模态交互上也有竞争力，在背景噪声、多人对话等场景下表现稳健。模型、代码和数据均已开源。
深读
导读 Gander 是一个端到端模型，旨在打破当前 AI 交互中“你一句我一句”的回合制限制，实现更自然的人机对话。它统一了全模态感知、实时交互和 agent 能力，用户可随时打断，模型也能主动反馈。读完本文能了解其“小脑-大脑”协作架构和流式 Thinker-Talker 设计，以及它在对话自然度、全模态交互和鲁棒性方面的初步评测结果。 关键信息 - Gander 采用“小脑-大脑”协作框架：小脑负责实时交互和全模态对话，大脑负责复杂推理和高级 agent 任务，两者通过工具调用和编排运行时持续通信。 - 小脑内部基于流式 Thinker-Talker 架构，将用户输入和模型输出拍平为有序的 token 块，以实现低延迟的连续交互。 - 内部人工评测显示，Gander 在对话自然度上追平了开源 SOTA 模型，并在全模态交互上具有竞争力。 - 模型在背景噪声干扰、多人对话和回馈通信等挑战性场景下表现出稳健性。 - 模型、代码和数据均已开源。 逐节讲解 问题与目标：超越回合制交互 现有 AI 交互大多基于“turn-based”范式，即用户说一句、模型回一句，打断、插话和同时说话都不自然。Gander 的目标是构建一个端到端模型，将全模态感知、实时交互和 agent 能力统一到一个框架中，实现全双工（full-duplex）的自然交互。 架构设计：小脑-大脑协作与流式 Thinker-Talker Gander 的架构有两个核心设计。第一是“小脑-大脑”协作框架：小脑负责处理实时交互和全模态对话，大脑则承担复杂推理和高级 agent 任务，两者通过工具调用和 agent 编排运行时持续通信。第二是小脑内部的流式 Thinker-Talker 架构，它将用户输入和模型输出在 chunk 级别拍平为有序的 token 流，从而为低延迟的连续交互提供统一表示。 评测与结果 Gander 在对话能力、全模态理解、交互能力和 agent 智能四个维度上进行了全面评测。内部人工评测表明，Gander 保持了开源 SOTA 模型自然且富有表现力的口语对话能力，同时在全模态交互上取得了有竞争力的表现。此外，Gander 在背景噪声干扰、多人交互和回馈通信等真实世界挑战场景中表现出稳健性。 值得注意 本文仅提供了论文摘要，没有展示具体的评测方法、数据集、对比基线或量化指标（如延迟、准确率等）。因此，关于 Gander 性能的结论（如“追平开源 SOTA”“有竞争力”）均基于作者声称，无法从本文中验证其具体程度和适用范围。