JustFit：24 GiB 笔记本上跑 200K
来自 arXiv · 期号 2026-09-16
摘要
大模型本地跑推理，上下文一长内存就撑不住。 JustFit 是一套 MLX 上的推理运行时，用三个机制解决这个问题：KVExec 压缩 KV 缓存执行、PhaseSwap 管理组件驻留、StateTrans 保持状态做服务切换。这些机制独立于模型权重量化，靠即时物化和释放来协调。 在 24 GiB M4 Pro MacBook 上跑 Qwen3.8-27B MXFP4，单请求上下文从 mlx-vlm 基线的 30,720 位提升到 212,992 位（6.93 倍），能完整处理 196,608 输入 + 16,384 输出 token。32K 输入 + 64 输出时达到 19.11 tokens/s，中位峰值内存占用 16,374 MiB。 AIME 2026 上 30 题答对 29 题，说明紧凑状态和生命周期感知的执行能有效扩展本地服务能力。