扩散起草，自回归验证：用自推测解码加速文档OCR
来自 arXiv · 期号 2026-09-23
摘要
自回归 OCR 模型精度高，但每个 token 必须依次解码，速度慢。 GravityOCR 用参数共享的扩散模块并行生成多个候选 token，再通过自回归路径验证后才提交，平均每轮可提交 9.7 个 token。自回归路径还支持 GRPO 强化学习，用序列级 OCR 奖励更新参数，不影响扩散起草效率。 在 OmniDocBench v1.6 上，GRPO 将 Overall 从 94.92 提升到 95.16，最终模型接近原 GLM-OCR 的 95.48。SGLang 部署中，区域裁剪解码加速 3.94 倍，整页处理加速 1.32 倍（相比于纯自回归解码）。
深读
导读 原文信息有限，以下基于论文摘要。这篇论文提出GravityOCR，通过扩散模块并行起草多个候选token、再由自回归路径验证后提交，在不牺牲OCR精度的前提下大幅提升解码速度。摘要的核心结论是：区域裁剪解码加速3.94倍，整页处理加速1.32倍，模型精度接近当前SOTA的GLM-OCR。 关键信息 - GravityOCR用参数共享的扩散模块并行生成候选token，自回归路径逐轮验证后才提交，平均每轮提交9.7个输出token，无需独立的起草网络。 - 自回归路径支持GRPO强化学习，用序列级OCR奖励更新参数，同时不影响扩散起草效率；在OmniDocBench v1.6上，GRPO将Overall得分从94.92提升至95.16。 - 最终模型得分（95.16）接近原GLM-OCR的95.48，即加速后精度损失不足0.3个百分点。 - SGLang部署实测：区域裁剪（region crop）解码相比纯自回归快3.94倍，整页端到端处理快1.32倍。 逐节讲解 背景与问题 自回归OCR视觉语言模型能将文档图像准确转换为文本和结构化标记，但必须逐token顺序解码，限制了推理速度。与开放域文本生成不同，OCR输出紧密依赖输入图像，因此扩散模型的并行生成天然适合该任务。然而，一次扩散步骤预测多个token时，每个token只能在其相邻token未知的情况下生成，直接提交这些token可能引入累积错误。 方法：GravityOCR 作者提出GravityOCR，一种参数共享的自回归块-扩散模型（AR-block-diffusion model），联合训练用于并行起草和因果自回归验证。起草阶段用扩散模块生成候选token，验证阶段用因果自回归路径检查后决定提交，从而每轮提交多个token，且不依赖额外的起草网络。因果自回归路径还支持GRPO强化学习：使用序列级和结构级OCR奖励更新共享参数，无需估计扩散轨迹似然。 实验结果 在OmniDocBench v1.6基准上，仅用自回归路径上的GRPO训练（不降低扩散起草效率），GravityOCR的Overall得分从94.92提升至95.16，最终模型得分接近原始GLM-OCR的95.48。在SGLang部署环境中，GravityOCR平均每轮前向传播提交9.7个输出token；相比纯自回归解码，区域裁剪（小区域）解码加速3.94倍，整页端到端处理加速1.32倍。