用 Green Contexts 控制 GPU 资源划分
来自 NVIDIA Developer · 期号 2026-10-06
摘要
GPU 上多个任务同时跑时，延迟敏感的小任务常被大任务堵住。 CUDA 13.1 的 Green Contexts 让应用在进程内显式划分 SM 和工作队列，把一部分 SM 专门留给关键任务。 测试显示，在 148 SM 的 Blackwell GPU 上，关键内核延迟从 0.140 ms（仅用流优先级）降到 0.007 ms（分配 8 个 SM 给关键任务）。 Green Contexts 是轻量的，创建销毁不会隐式同步无关的 GPU 工作，且可增量采用。