是石科技 TokenFleet 调度框架
来自 量子位 · 期号 2026-10-20
摘要
大模型推理时，用户等第一个 token 出来的时间（首 Token 延迟）直接影响体验。是石科技发布的 TokenFleet 调度框架，专门优化这一环节。 它的做法是动态路由和预测性资源分配：在请求到达前就预估需要的算力，提前分配，避免排队。官方称首 Token 延迟降低了 32.4%，同时集群整体吞吐量也有提升。 这是国产推理基础设施在调度层面的一个进展。
来自 量子位 · 期号 2026-10-20
大模型推理时，用户等第一个 token 出来的时间（首 Token 延迟）直接影响体验。是石科技发布的 TokenFleet 调度框架，专门优化这一环节。 它的做法是动态路由和预测性资源分配：在请求到达前就预估需要的算力，提前分配，避免排队。官方称首 Token 延迟降低了 32.4%，同时集群整体吞吐量也有提升。 这是国产推理基础设施在调度层面的一个进展。
本站只做摘要与索引，全部内容版权归原作者所有。