NVIDIA Minerva 如何将遥测混乱转化为峰值
来自 NVIDIA Developer · 期号 2026-10-27
摘要
AI 工厂的故障诊断面临一个根本矛盾：GPU、网络、存储、调度器各有各的遥测数据，但一个故障的症状分散在不同团队的仪表盘上。 NVIDIA Minerva 的做法是把所有遥测统一接入一个动态知识图谱，实时映射基础设施与运行中的作业。基于此，它用有监督和无监督模型检测“灰色故障”——比如 40 万个 NVLink 接口中有一个悄悄降速，或者某块 GPU 在相同负载下比同级芯片温度更高。 拓扑感知的关联引擎把事件风暴归并为单一事件：一次暂停帧风暴产生的 81 条告警被合并成一条可操作事件，修复时间从数小时缩短到分钟级，预计节省了 54 小时集群正常运行时间。 内置的 AI agent Sherlock 和 MCP 服务器让运维人员可以用自然语言查询实时证据，也能把运营上下文接入外部 agent 工作流。 在真实案例中，Minerva 提前检测到一次罕见的 SuperNIC PCIe 故障和一次 NVMe 电源状态故障，在客户作业落地之前排空受影响节点，避免了数百到数千 GPU 小时的浪费。 原文是技术详解，附了部署指南和产品页面链接。
深读
导读 AI 工厂的故障诊断正面临一个根本矛盾：GPU、网络、存储、调度器各有各的遥测数据，但一个故障的症状分散在不同团队的仪表盘上。NVIDIA Minerva 的做法是把所有遥测统一接入一个动态知识图谱，实时映射基础设施与运行中的作业，再用有监督和无监督模型检测“灰色故障”，并通过拓扑感知的关联引擎把事件风暴归并为单一事件。读完本文能理解为什么传统监控在 AI 工厂规模下失效，以及 Minerva 在真实案例中如何将修复时间从数小时缩短到分钟级。 关键信息 - Minerva 处理每小时数十亿的指标和日志数据点，使用有监督和无监督模型检测灰色故障。 - 在一次暂停帧风暴中，81 条独立告警被拓扑感知关联引擎合并为一条可操作事件，修复时间缩短，预计节省了 54 小时集群正常运行时间。 - 通过提前检测到一次罕见的 SuperNIC PCIe 故障，在客户工作负载落地前排空受影响节点，避免了数百 GPU 小时的浪费。 - 一个因 NVMe 设备无法从低功耗状态唤醒导致的 straggler 问题，经 Minerva 诊断后排空节点并退货，预计节省了 5,530 小时作业运行时间。 - Minerva 内置的 AI agent Sherlock 让运维人员可以用自然语言查询实时遥测和知识图谱，进行根因分析。 逐节讲解 为什么传统监控在 AI 工厂规模下失效 AI 工厂由数十万 GPU、Spectrum-X 以太网和 NVLink 网络、分布式调度器组成，各层作为一个生产系统协同运作。在同步分布式训练中，一个作业的进度由最慢的 rank 决定，一块降级的 GPU、一个降速的接口或一条故障的交换路径，都会浪费大量健康资源的有效时间。 传统基于规则的监控假设已知指标越过已知阈值表示已知故障。这对明确故障有效，但对“灰色故障”无能为力：组件仍可用，问题只在负载下或与同类对比时才显现。绝对阈值可能漏掉偏移，激进的阈值又会在正常负载变化时产生大量告警。更糟的是，一个物理故障会在不同团队的仪表盘上表现为接口错误、暂停帧、拥塞指标、GPU 利用率变化和作业进度变慢等多条看似无关的告警，运维人员需要手动关联这些事件，在噪声中寻找信号。 构建基础设施与作业的实时模型 Minerva 从 GPU、Spectrum-X 和 NVLink 交换机、SuperNIC、DPU、存储、NCCL、调度器和 AI 工作负载中摄取指标、日志和拓扑数据。自动发现功能补充原始遥测缺少的关系，构建出一个动态知识图谱，实时映射基础设施、调度器和工作负载元素，并随环境变化更新关系。这个图谱支持从工厂级视图导航到单个接口。 基于图谱，运维人员可以从一个异常接口出发，找到其所在节点、服务的网络路径、当前作业位置以及同一故障域内的邻近组件；ML 工程师也可以从一个作业 ID 出发，追踪工作负载经过 GPU、主机、网…