NVIDIA Cosmos3-H-Dreams
来自 Hugging Face · 期号 2026-10-21
摘要
NVIDIA 发布了 Cosmos3-H-Dreams，一个基于临床胆囊切除术录像训练的生成式手术模拟器。 过去的手术模拟器只能在桌面环境里操作简单的缝合任务，背景单一。这次直接拿 CMR Surgical Versius 手术机器人在人体内的真实操作录像来训练，模型要处理组织拉伸、反光变化、烟雾遮挡这些真实场景。 模型基于 160 亿参数的 Cosmos3-H-Embodied-Nano，支持 28 个动作维度（左右臂的位姿、夹爪、能量控制等）。通过蒸馏得到四步和两步两个学生模型，配合 FlashDreams 推理加速库，单张 RTX PRO 6000 就能实时运行。 开发者可以拿自己的手术录像和控制器来适配。NVIDIA 提供了完整的微调与蒸馏教程。 这是研究用模拟器，不是经过验证的临床系统。
深读
导读 NVIDIA 发布了 Cosmos3-H-Dreams，一个基于真实临床胆囊切除术录像训练的生成式手术模拟器。它不再局限于桌面缝合任务，而是能实时生成人体内部组织拉伸、反光变化、烟雾遮挡等复杂场景，并响应操作指令。对于关注手术机器人、世界基础模型或生成式仿真的人来说，这是了解该领域从概念验证走向临床场景的关键进展。 关键信息 - 模型基于 160 亿参数的 Cosmos3-H-Embodied-Nano 预训练模型，并在 CMR Surgical Versius 手术机器人的临床胆囊切除术录像和运动学数据上微调。 - 支持 28 个动作维度，包括左右臂的位姿、夹爪信息、能量控制、摇杆轴和摇杆按钮。 - 训练视频分辨率为 832 x 480，动作采样频率为 10 Hz。 - 通过蒸馏得到两个学生模型：四步去噪模型和两步去噪模型，后者并非前者的简化版，而是单独训练的。 - 配合 FlashDreams 推理加速库和 FadeMem 缓存管理模块，可在单张 NVIDIA RTX PRO 6000 GPU 上实时运行。 逐节讲解 从桌面任务到临床场景 此前发布的 Cosmos-H-Dreams 基于 Cosmos-Predict2.5，在 dVRK 桌面缝合任务上验证了生成式仿真的可行性。它不显式建模场景几何、组织变形和物理交互，而是直接从同步的视频和机器人运动学数据中学习视觉动态。然而，桌面环境背景简单，而人体内部场景复杂得多：器械小幅移动就能牵拉组织、改变反光、产生遮挡和烟雾。生成式模拟器必须能捕捉这些响应，同时保持解剖结构和器械外观在长时间生成中的一致性。视觉真实感只是起点，模型还必须让生成的画面准确跟随操作指令（平移、旋转、夹爪开合），且生成延迟必须足够低以支持实时交互。 Cosmos3-H-Dreams 的新特性 基础模型与更丰富的控制。 模型以 Cosmos3-H-Embodied-Nano 为基础，在精选的胆囊切除术视频和运动学数据上微调出一个双向教师模型。数据筛选标准是画面中必须有两把可见且正在操作的器械（左手的 Cadiere 抓钳和右手的单极电钩），并限制摄像头移动以突出器械驱动的交互。 从教师到学生模型的蒸馏。 教师模型先学习预测 24 帧未来画面，再扩展到 72 帧（对应 2.4 秒和 7.2 秒）。随后通过蒸馏将双向教师转化为因果学生模型，使其能在新动作到来时逐块生成视频。蒸馏过程分为两步：先用真实上下文进行因果教师强制训练，再用模型自己生成的上下文进行自强制训练，并由教师模型和学习到的评判器指导，以缓解长时间交互中的误差累积。最终发布两个版本：四步去噪模型和两步去噪模型，后者推理更快但视觉质量略低。 FlashDreams 流式推理。 FlashDreams 提供加速的流式推理运行时。长时间生成需要管理模型的注意力历史，Cosmos…