NVIDIA Cosmos-H-Dreams
来自 Hugging Face · 期号 2026-07-27
摘要
训练手术机器人需要反复在真实设备上操作，成本高且容易损坏器械。NVIDIA 发布了 Cosmos-H-Dreams，一个实时生成式手术模拟器。 它把 Cosmos-H-Surgical-Simulator 的能力蒸馏成一个因果学生模型，通过 FlashDreams 推理库在单张 RTX PRO 6000 GPU 上运行。输入一帧初始画面和实时的机器人运动数据，模型就能生成下一段手术场景，供人或策略模型闭环控制。 NVIDIA 还与 CMR Surgical 合作，将其集成到了 Versius 手术控制台上。
深读
导读 训练手术机器人需要反复在真实设备上操作，成本高且容易损坏器械。NVIDIA 发布了 Cosmos-H-Dreams，一个实时生成式手术模拟器，将世界模型蒸馏成因果学生模型，在单张 RTX PRO 6000 GPU 上即可交互运行。读完可以了解这套系统的架构、蒸馏方法、推理优化以及当前局限。 关键信息 - 基础模型 Cosmos-H-Surgical-Simulator 基于 NVIDIA Cosmos-Predict2.5-2B，在 Open-H-Embodiment 数据集上后训练，使用统一的 44 维动作表征。 - 蒸馏后的学生模型支持最少 2 步扩散（每潜在帧），而非教师模型的完整多步扩散过程。 - 通过 FlashDreams 推理库的流式 KV 缓存、CUDA Graph 捕获和模型编译等优化，推理速度从约 10 fps 提升至约 160 fps（单张 RTX PRO 6000 GPU）。 - 教师模型在 JHU dVRK 桌面缝合数据集上微调，训练时逐步将时间窗口从 12 帧增加到 72 帧，并包含失败和分布外样本（如掉针、未完成的打结）。 - 已与 CMR Surgical 合作，集成到 Versius 手术控制台上。 逐节讲解 从世界模型到交互式模拟器 Cosmos-H-Surgical-Simulator 是一个动作条件的世界基础模型，输入手术场景帧和未来机器人轨迹，生成对应的视频输出，用于离线策略评估和合成数据生成。Cosmos-H-Dreams 将其推向实时：从多形态手术先验出发，专门针对 da Vinci Research Kit (dVRK) 桌面缝合任务进行蒸馏，得到一个因果学生模型。该模型接收初始 RGB 帧和实时机器人运动数据，自回归地生成下一段画面。 实时蒸馏的关键技术 蒸馏的核心挑战是在降低生成成本的同时保留有用的手术动力学。流程分三步：首先，教师模型在 JHU dVRK 桌面混合数据集上微调，包含成功演示和失败样本，训练时逐步延长时间窗口至 72 帧。其次，因果学生模型从教师模型初始化，通过预计算的去噪轨迹进行热身训练，学习因果注意力和流式 KV 缓存。最后，采用自强制蒸馏：训练中学生模型使用自己生成的上下文进行滚动，冻结的教师模型提供分布匹配监督，解决训练时看到干净上下文、部署时依赖自身不完美输出的不匹配问题。 FlashDreams 实时推理引擎 FlashDreams 是 NVIDIA 的加速推理库，通过流式 KV 缓存、CUDA Graph 捕获和模型编译等优化，将蒸馏后的学生模型转化为低延迟流式系统。浏览器客户端可通过 WebRTC 发送键盘命令并接收生成帧，Meta Quest 客户端可将追踪的控制器运动映射为机器人动作并通过 WebXR 显示合成场景。同一模型也可接入学习策略，在闭环中交换生成观测和预…