NVIDIA PAIR 虚拟推理路由器扩展本地网络算力
来自 NVIDIA Developer · 期号 2026-09-04
摘要
AI agent 越来越多地需要协作完成任务，但本地 GPU 资源往往分散且利用率不均。 NVIDIA 发布 PAIR（对等 AI 推理路由器），一种虚拟推理路由器，能自动发现局域网内可用的 GPU，并将推理请求路由到空闲设备上。多 agent 工作流因此可以利用原本闲置的计算资源，无需集中调度。 PAIR 以 Docker 容器形式部署，支持自动发现、负载均衡和故障转移。
深读
导读 AI agent 多智能体协作时，本地 GPU 资源分散且利用率不均，单个设备容易成为推理瓶颈。NVIDIA PAIR 是一个虚拟推理路由器，能自动发现局域网内的可用 GPU 并将独立推理请求路由到空闲设备上，无需修改 agent 代码。读完可了解 PAIR 如何通过 mDNS 发现、MTLS 加密和实时调度，将多 agent 工作流的完成时间从 18 分钟缩短到 8 分 48 秒。 关键信息 - PAIR 支持 NVIDIA GeForce RTX 20 系列及更新 GPU、RTX PRO 工作站 GPU（Turing 架构及更新）、DGX Spark 以及 Apple M4+ 芯片。 - 在五子 agent 演示中（Hermes Desktop + Ollama，使用 Qwen 3.6 35B A3B 模型），单台 RTX Spark 笔记本平均耗时 18 分钟，而包含 RTX Spark 笔记本、DGX Spark 和 RTX 5090 的三设备 PAIR 集群平均耗时 8 分 48 秒。 - PAIR 使用 mDNS 进行局域网自动发现，节点间通信通过 MTLS 和生成的证书加密。 - PAIR 不合并 GPU 或池化 VRAM，也不跨机器分片单个模型或拆分一次推理请求；每个请求完整分配给一个节点执行。 - PAIR 以 Docker 容器形式部署，支持 Windows、macOS 和 Linux 系统，项目开源。 逐节讲解 多 agent 推理瓶颈与 PAIR 的定位 AI agent 越来越多地通过协作完成任务：主 agent 将复杂任务拆解为子任务，分配给多个子 agent 并行执行。这种广度优先的方式能加快任务完成并提升回答质量，但大量推理请求同时涌向 GPU 时，单设备会成为瓶颈。PAIR 的作用不是替代 Ollama 或 LM Studio 等推理引擎，而是在它们之上充当调度层：发现参与节点、跟踪各节点就绪状态、调度独立任务，并将响应返回给发起请求的应用。agent 通过熟悉的本地接口发送请求，PAIR 通过代理接收请求，识别引擎和模型需求，选择一个符合条件的节点执行，agent 始终只看到一个连接。 PAIR 的调度与弹性集群设计 PAIR 专为家庭环境设计，与数据中心不同，家庭硬件是动态的：游戏 PC 可能正在运行游戏，笔记本可能休眠或离开网络，不同机器上可能装有不同模型。PAIR 通过 mDNS 发现局域网内的系统，用户批准配对请求后建立信任节点集，节点间通信通过 MTLS 加密。调度器在每次新请求时考虑以下因素：节点是否在线并就绪、支持的推理引擎是否启用、请求的模型是否存在于该节点、当前节点和引擎的工作负载（包括活跃任务数）、当前 GPU 利用率（是否有图形密集型应用在运行）。节点可以随时加入或离开可用池，无需将家庭环境改造…