AMIE 向专家级音视频临床问诊迈进
来自 Google Research · 期号 2026-08-12
摘要
Google 将对话式诊断 AI 系统 AMIE 升级为支持音频与视觉输入，使其能同时听取患者描述并观察皮疹、舌苔等体征。 在模拟临床测试中，AMIE 在诊断准确率、问诊完整度和患者沟通质量上均达到或超过初级保健医生的水平。 论文附了详细的评估方法与对话示例。
深读
导读 Google 将对话式诊断 AI 系统 AMIE 升级为支持实时音视频问诊，使其能同时听取患者描述并观察皮疹、舌苔等非语言体征。在 100 个临床场景、300 场模拟问诊的随机对照试验中，AMIE (Video) 在诊断准确率、问诊完整度和沟通质量上均达到或超过初级保健医生水平。这篇论文展示了多模态 AI 在临床场景中达到专家级表现的首个证据。 关键信息 - AMIE (Video) 采用异步多智能体架构，将对话、诊断推理和音视频感知拆分为三个并行工作的专用智能体（Talker、Planner、Perception），以平衡实时响应与深度推理之间的矛盾。 - 研究设计了 100 个临床场景，覆盖心肺、腹部、头眼耳鼻喉、神经精神及肌肉骨骼五大系统，由 15 名专业患者演员完成 300 场标准化问诊。 - 对照设置三个臂：AMIE (Video) 视频问诊、AMIE (Text) 纯文本基线、以及 10 名经委员会认证的初级保健医生通过相同视频界面问诊。 - 临床评估者（20 名资深 PCP）的评分显示，AMIE (Video) 在病史采集完整性、诊断准确性、治疗方案合理性及沟通质量上与 PCP 持平。 - 在体征观察与虚拟体格检查引导方面，AMIE (Video) 平均得分显著高于 PCP 和 AMIE (Text)；患者演员对视频界面的易用性和沟通效果评分也显著优于纯文本。 逐节讲解 从文本到音视频：AMIE 的演进与瓶颈 AMIE 最初是一个基于文本的对话式诊断 AI，在模拟诊断对话中达到专家级表现，并已被用于辅助临床鉴别诊断。后续研究将其能力扩展到肿瘤、心脏病、眼科等专科评估，以及多模态诊断推理。然而，纯文本界面丢弃了临床实践中关键的视觉和听觉维度：患者需将复杂的身体症状转述为文字描述，这一过程既丢失诊断信息，也对数字或健康素养较低的患者不利；系统无法独立观察非语言线索，也无法引导患者完成体格检查。 异步多智能体架构：解决实时性与推理深度的矛盾 AMIE (Video) 基于 Gemini 和 Project Astra 构建，采用三个并行工作的智能体：Talker 负责低延迟的语音交互，维持自然对话节奏；Planner 在后台持续更新鉴别诊断和管理计划，识别信息缺口并重新排定临床目标优先级；Perception 持续分析音视频流，识别临床相关的非语言线索（如痛苦表情、呼吸音等）并将其融入对话上下文。这种解耦设计使系统能在保持自然对话延迟的同时完成诊断推理和音视频感知。自动化评估确认每个智能体都对病史采集、临床推理、治疗方案及对话质量指标有显著贡献。 自动化评估与大规模随机视频研究 研究团队从医学文献中梳理出与远程医疗相关的临床音视频能力分类体系，并构建了自动化评估套件，包含单轮音视频感知测试和多轮模拟音频问诊。在最终的人体评估中，研究采用大规模随…