GLM 自建推理基础设施

摘要

GLM 没有直接租用云 GPU，而是自建了整套推理基础设施。从硬件选型（自研服务器、定制网络）到调度系统（动态批处理、KV 缓存管理），全栈自研。目标是降低推理成本，同时提升吞吐和延迟表现。有评论指出，自建基础设施的初期投入很高，但长期来看，对于推理量大的公司，成本优势会逐渐显现。