IBM 发布 SOTA 时间序列模型 Granite
来自 Hugging Face · 期号 2026-09-09
摘要
IBM 发布了 Granite Time Series PatchTST-FM-r2 模型，在时间序列预测任务上达到 SOTA。该模型采用 PatchTST 架构，将时间序列分割成多个 patch 进行建模，能捕捉长期依赖。模型采用商业友好的开源许可发布，可在 Hugging Face 下载。
深读
导读 IBM 发布了 Granite Time Series PatchTST-FM-r2，一个约 3.85 亿参数的时间序列基础模型，在零样本预测基准 GIFT-Eval 上达到同类模型（可复现、零样本、商业友好许可）中的最佳成绩。读完本文可以了解该模型的架构改进（从 Transformer 到 Conformer）、训练数据构成、许可方式，以及如何用几行 Python 代码在自己的数据上做预测。 关键信息 - 截至 2026 年 9 月 8 日，PatchTST-FM-r2 在 GIFT-Eval 基准的零样本、可复现模型中排名第二（CRPS 几何均值 0.467，MASE 几何均值 0.6846），在采用宽松许可的同类模型中排名第一。 - 模型参数约 3.85 亿，支持最长 8,192 步的上下文长度，可输出 99 个分位数的概率预测。 - 架构从 PatchTST-FM-r1 的标准 Transformer 层改为 Conformer 层，在多头自注意力之外加入时序卷积，交替使用卷积核大小 3 和 5（模式 {5, 5, 3, 3}）。 - 采用 50% 重叠的 patch 与 Hamming 窗加权，以及 overlap-and-add 预测策略来平滑 patch 边界。 - 训练数据来自四个来源：GiftEvalPretrain 中的部分数据集、基于 KernelSynth 的合成数据、TSMixup 语料（限制在 GIFT-Eval 评估集之外）、约 50 万条 CauKer 合成序列（每条长度 4,096）。 - 采用 Apache 2.0 和 OpenMDW 1.0 双许可，用户可任选其一。 逐节讲解 零样本性能与基准对比 GIFT-Eval 是一个覆盖多种数据集和预测场景的综合基准。在限制为可复现、零样本、无测试泄露的模型类别中，PatchTST-FM-r2 的 CRPS 和 MASE 均排名第二，仅次于 TimesFM-3。即使放宽限制，允许那些在预训练中使用了 GIFT-Eval 训练数据的模型参与比较，PatchTST-FM-r2 仍排在 CRPS 第三、MASE 第四，超越了 Chronos-2、Timer-S1 和 Toto 系列等模型。 架构改进：从 Transformer 到 Conformer PatchTST-FM-r2 保留了 PatchTST 系列将时间序列分割成 patch 的核心思路，但内部架构重新设计。r1 的每个 block 由多头自注意力加前馈网络组成；r2 改为 Conformer 风格的 block，包含两个半步前馈网络、多头自注意力和一个时序卷积层。自注意力负责建模 patch 间的长程关系，卷积则提供捕捉局部时序结构的归纳偏置。实验显示，Conformer 版本的自注意力图明显更关注远距离（非对角线…