AI2 用 GPU 时间预算替代优先级调度
来自 Hugging Face · 期号 2026-10-09
摘要
AI2 的 GPU 集群面临需求远超供给的困境：每块 GPU 有 2-3 个任务在争抢。旧的优先级调度器导致用户占着 GPU 跑空循环、优先级通胀、运维人员花大量时间协调停机。 团队用 GPU 时间预算取代了优先级调度。管理层像投资人一样，按项目预期影响力分配 GPU 时间份额，而不是手动排任务。调度器跟踪过去 7 天的实际占用率，让欠用的组优先获得资源。 同时引入“调度契约”：任务必须声明最小运行时间，到期后调度器可以自动抢占并重新排队。这既保证了研究者的进度，也让 GPU 不会因为长任务被锁死。结果是研究者反馈“感觉多了 30% 的算力”。 原文是工程复盘，给出了完整的调度架构和设计思路。