无需语言预训练的文生图模型
来自 arXiv · 期号 2026-10-20
摘要
现代文生图系统几乎都依赖互联网规模的语言预训练。这篇论文问了一个直接的问题：语言预训练真的是必要的吗？ 作者从头训练了 Halcyon 系列模型，只用 1 亿图文对，不做任何语言预训练。Halcyon-0.52B 的 gFD 是 48.0，好于 LlamaGen-XL/8 的 63.3，预训练算力只有后者的 1/18。Halcyon-1.6B 的 gFD 是 35.3，好于 JiT-T2I-XXL/8++ 的 41.0，算力只有 1/275。 控制实验表明，单独加文本预训练对文生图质量没有帮助。Halcyon 还能通过 I2T 监督学会图像描述，在相同预算下不牺牲生成质量。 论文附了开源代码和模型权重。