NVIDIA Dynamo 用 Shadow
来自 NVIDIA Developer · 期号 2026-08-26
摘要
LLM 推理引擎崩溃后，标准恢复流程需要冷重启：从存储加载权重、编译内核、捕获 CUDA 图，大模型初始化可能耗时数分钟。NVIDIA Dynamo 的 Shadow Engine Recovery（预览功能）在每个 GPU 上预分配一个备用引擎，主引擎失效时可在数秒内接管，避免流量中断。
来自 NVIDIA Developer · 期号 2026-08-26
LLM 推理引擎崩溃后，标准恢复流程需要冷重启：从存储加载权重、编译内核、捕获 CUDA 图，大模型初始化可能耗时数分钟。NVIDIA Dynamo 的 Shadow Engine Recovery（预览功能）在每个 GPU 上预分配一个备用引擎，主引擎失效时可在数秒内接管，避免流量中断。
本站只做摘要与索引，全部内容版权归原作者所有。