Janas：从 SSD 流式加载专家参数跑大模型
来自 Hacker News · 期号 2026-10-13
摘要
大模型运行时，如果模型参数超过内存容量，通常只能换更小的模型。 Janas 的思路是把 MoE 模型的专家参数存在 SSD 上，推理时按需从硬盘流式加载，而不是全部塞进内存。这样一台 16GB 内存的笔记本也能跑 70B 的 MoE 模型，代价是推理速度受限于 SSD 读取带宽。 评论区有用户实测了效果：在 M4 MacBook Pro 上跑 Mixtral 8x22B，首 token 延迟约 3 秒，后续生成速度约每秒 5 个 token，对非实时场景可用。