Granite Switch 4.1
来自 Hugging Face · 期号 2026-10-16
摘要
IBM 把聊天、决策和语音识别塞进了一个模型。 Granite Switch 4.1 有 8B 和 30B 两个版本，一个端点同时处理三类请求。它带三个适配器：一个通用决策 aLoRA、一个安全专用 Guardian aLoRA（在安全任务上超过 Jev 1.13 等闭源模型），以及 OpenASR 排行榜上最快的语音识别模型 Granite-Speech-5.0-Turbo-CTC。 因为适配器共享基座模型的 KV 缓存，加功能几乎不额外占显存。一个 3B 版本的 Granite Switch 在玩 Doom 时每秒做出 60-100 次决策，而 Jev 的公开数据是每秒 10 次。 任何人都可以用 Granite Libraries 里的适配器拼出自己的 Switch 模型。IBM 计划后续发布 Adapter SDK。
深读
导读 IBM 将聊天、通用决策、安全审核和语音识别整合进单一模型端点，推出 Granite Switch 4.1。其核心价值在于通过共享基座 KV 缓存和缓存高效 aLoRA 适配器，在不显著增加显存占用的前提下叠加多种专业能力。读完可了解这套模块化方案如何用更少 GPU 实现更多功能，以及它在决策速度和专业分类任务上对比 Jev 等闭源模型的具体优势。 关键信息 - Granite Switch 4.1 提供 8B 和 30B 两个版本，一个端点同时处理自然语言对话、通用决策、安全决策和语音转文字三类请求。 - 模型集成了三个适配器：通用决策 aLoRA、安全专用 Guardian aLoRA（在安全任务上平均超过 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash），以及 OpenASR 排行榜上最快的语音识别模型 Granite-Speech-5.0-Turbo-CTC。 - 由于适配器共享基座模型的 KV 缓存，叠加多个功能后 GPU 显存占用与基座模型单独运行时大致相同。 - 一个 3B 参数的 Granite Switch 模型在玩 Doom 时每秒做出 60–100 次决策，而 Jev 的公开数据为每秒 10 次；该模型还能在游戏过程中同时进行叙述和回答问题。 - 在包含 5 步 RAG 工作流的实际任务中，Granite-Switch-4.1-30B（冻结基座 + 4 个专用 aLoRA）完成速度显著快于 Jev-27B（冻结 Qwen 基座 + 1 个通用决策 LoRA）。 逐节讲解 单一端点整合三类任务 Granite Switch 4.1 将三种能力组合进一个模型：通用决策 aLoRA（面向 v1/systemone 等场景）、安全专用 Guardian aLoRA（在安全决策任务上超越多个闭源模型），以及嵌入式语音识别模型 Granite-Speech-5.0-Turbo-CTC。这三者与基座模型组合后，显存占用与基座模型单独运行时大致相同。背后的技术支撑是缓存高效的 Activated LoRA——基座模型生成的 KV 缓存可被后续任何适配器复用，加上团队在 vLLM 中针对低秩适配器推理的加速贡献以及共置的 ASR 编码器，使得模型能在聊天、决策和语音请求之间高速切换。 专业适配器 vs 通用决策模型 IBM 指出，虽然 Jev 等闭源决策模型追求通用性，但 Granite Libraries 中的许多专用适配器在特定分类任务上能超越通用模型。由于适配器共享基座 KV 缓存，在通用决策适配器旁添加专用适配器几乎不增加成本，从而兼顾通用覆盖范围和关键任务的高精度。文章用一张图表展示了 granitelib 适配器与通用决策模型在专用分类任务上的对比结果。 可组合…