OPEN-1B：一个完全可审计的训练过程
来自 arXiv · 期号 2026-09-16
摘要
开源大模型有一个可复现性难题：权重、数据、配方都公开了，但因为浮点运算的非结合性，没人能证明某个 checkpoint 确实是用声明的配方训出来的。 这篇论文提出「完全可审计」标准——在异构商用硬件上，对训练中的每一步操作都能以比特级精度独立复现。做法是给 GPU kernel 归约、数据批次顺序、跨节点通信这些非确定性来源定一个确定的执行顺序，让单台普通机器也能重放分布式训练中的任意一步。 因为在一台机器上重放整个训练不现实，论文还设计了一套集体验证机制：多个独立审计者各自验证一部分步骤，合起来覆盖全程。 作者用这套流程训练并发布了 Open-1B 模型，同时公开了完整预训练数据集、所有中间 checkpoint、训练代码和审计工具。
深读
导读 开源大模型面临一个根本性信任问题：权重、数据、配方都公开了，但没人能证明某个 checkpoint 确实是用声明的配方训出来的。这篇论文提出「完全可审计」标准，在异构商用硬件上，对训练中的每一步操作都能以比特级精度独立复现，并以此标准训练并发布了 Open-1B 模型。 关键信息 - 问题根源：浮点运算的非结合性导致同一训练配方在不同硬件上无法产生相同结果，现有 proof-of-learning 或 proof-of-training-data 技术无法排除未披露数据、注入偏差或后门。 - 解决方案：对训练中的三个非确定性来源——GPU kernel 归约、数据批次顺序、跨节点集体通信，施加确定执行顺序，使单台普通机器也能以比特级精度重放分布式训练中的任意一步。 - 集体验证机制：由于在一台机器上重放整个训练不现实，论文设计由多个独立审计者各自验证一部分步骤，合起来覆盖全程。 - 发布成果：Open-1B 模型、完整预训练数据集、所有中间 checkpoint、训练代码和审计工具全部公开。 逐节讲解 开源模型的复现困境 论文首先点明：开源大模型虽然公开了权重、数据和配方，但没有任何一个能被证明是可复现的。原因在于浮点运算的非结合性，同样的计算顺序不同会得到不同结果。深度学习框架通常提供确定性执行模式，但这只在同一台机器上有效，跨硬件时确定性不成立。这意味着用户无法验证一个发布的 checkpoint 是否真的用声明的配方训练出来，给未披露数据、注入偏差或后门留下了空间。 完全可审计的标准 论文引入「fully auditable」（完全可审计）这一新透明度层级。核心思路是：对训练中每个数据样本上的每一步操作，都能在异构商用硬件上以比特级精度独立复现。做法是对训练非确定性的来源施加确定顺序：GPU kernel 归约、数据批次顺序（跨数据并行集群）、以及节点内/节点间的集体通信。这使得在单台普通机器上就能重放大规模分布式训练中的任意一步，并与发布的轨迹进行比对。 集体验证与 Open-1B 发布 因为在一台机器上重放整个训练不现实，论文配套设计了集体验证方案：多个独立审计者各自验证一部分步骤，合起来覆盖整个训练过程。作者用这套流程训练并发布了 Open-1B 模型，同时公开了完整预训练数据集、所有中间 checkpoint、训练代码和审计工具，使任何步骤都能被复现和验证。 值得注意 论文目前只给出了方法框架和 Open-1B 的发布声明，摘要中没有涉及具体实现细节，例如：对 GPU kernel 归约施加确定顺序的具体工程手段、集体验证方案的审计者数量要求和信任模型、以及 Open-1B 本身的性能基准。这些细节需要阅读全文才能评估该方案的实用性和开销。