Apertus 1.5 发布说明
来自 Hugging Face · 期号 2026-10-15
摘要
Apertus 1.5 在 1.0 基础上继续预训练，8B 模型新增 4 万亿 token、70B 模型新增 2 万亿 token，总量分别达到 19T 和 17T。 核心变化是原生多模态：图像和音频通过 Emu3.5 和 WavTokenizer 分词器转为离散 token，与文本 token 在同一序列中处理，架构不变，训练速度与纯文本一致。模型只理解图像和音频，输出仍为文本。 新增思考模式，可在回答前进行推理，提升 AIME 等推理基准的表现。上下文窗口从 65k 扩展到 262k tokens。指令遵循和工具调用能力也有改进。 后训练分五阶段：SFT → 长上下文 SFT → RLVR → DPO → 宪章对齐（SDPO）。多模态推理痕迹在后续纯文本强化学习中仍保留优势。 评测方面，8B 模型在指令遵循和多语言任务上优于同尺寸开源模型，多模态能力接近 Gemma 4 12B。在瑞士法律任务上与领先开源模型持平，8B 的机器翻译能力匹配 GPT-OSS-20B 并超过 Claude Haiku 4.5。 所有评测结果以 EvalEval 联盟的 EEE 格式发布，记录运行者、模型访问方式、生成设置等细节，支持复现。该格式可覆盖 EU AI Act 第 55 条等监管框架 60 项报告要素中的 56 项。 模型权重、中间检查点、训练数据混合和配方全部公开。社区已集成到 Proton Lumo 和 Infomaniak Euria 等应用中，API 由 Swisscom、Infomaniak 等提供。团队在苏黎世 AI+X 峰会上公布了 Apertus 2.0 路线图：稀疏 MoE 架构、约 600B 参数，优先 agent、数学和编码。