Code World Model：编码 agent 作为
来自 arXiv · 期号 2026-08-26
摘要
世界模型通常从视频中学习环境演化规律，但视频只呈现结果，不揭示背后的规则与机制。 Code World Model 将世界演化与视觉呈现分离：一个编码 agent 作为“世界大脑”，用代码维护持久的世界状态并执行符合规则的演化；再通过一种代理表示将状态编译成代理视频，引导视频模型渲染出高保真画面。 在游戏数据上微调后，MiniMax-H3 能根据编码 agent 构建的简单交互世界，生成符合代理时空规范的视频，同时保留丰富的视觉细节。 论文附了数据构建管线与开源代码。
深读
导读 世界模型通常依赖视频学习环境演化，但视频只呈现结果，不揭示背后的规则与机制。这篇论文提出 Code World Model 框架，将世界演化与视觉渲染分离：用代码 agent 维护持久状态并执行规则一致的演化，再通过代理表示引导视频模型生成高保真画面。读完能理解一种将代码推理与视频生成结合、构建可持久演化的世界模型的新思路。 关键信息 - 论文提出 Code World Model 框架，核心思路是将世界演化与视觉呈现分离。 - 框架中，一个编码 agent 作为“世界大脑”，通过生成可执行代码来维护持久的世界状态，并执行符合规则的演化。 - 引入“代理表示”（proxy representation），将帧级时空约束编码后编译成代理视频，用于条件化视频模型生成高保真视觉观测。 - 论文开发了从游戏视频和真实世界视频中构建对齐的代理-观测数据对的数据管线。 - 在游戏数据上微调后，MiniMax-H3 模型能根据编码 agent 构建的简单交互世界，生成符合代理时空规范的视频，同时保留丰富的视觉细节与动态。 逐节讲解 现有世界模型的局限 现有基于视频的世界模型主要从视觉观测中学习环境动态。论文指出，视频只呈现演化结果，而不揭示背后的知识、规则和机制。这使得模型难以维持持久的后果，也无法支持连贯、开放式的演化。 Code World Model 框架 论文提出 Code World Model，将世界演化与视觉实现分离。框架结合了语言模型的推理与编码能力，以及视频模型的生成先验。一个编码 agent 充当“世界大脑”，负责推理事件及其后果，并生成可执行代码来维护持久的世界状态，执行与规则一致的演化。为了将可执行状态与视觉生成连接起来，论文引入了“代理表示”，它将帧级时空约束编码后编译成代理视频，该视频作为条件引导视频模型渲染出高保真的视觉观测。 数据管线与实验验证 论文进一步开发了数据管线，用于从游戏视频和真实世界视频中构建对齐的代理-观测数据对。在游戏数据上微调后，MiniMax-H3 模型能够遵循编码 agent 构建的简单交互世界中的代理时空规范，生成视频，同时保留丰富的视觉细节和动态。这些结果展示了将代码用于持久世界演化与视频模型用于灵活视觉实现相结合的潜力。 值得注意 论文目前只提供了摘要，没有展示具体的实验设置、定量 benchmark 结果、与基线方法的对比，以及编码 agent 如何构建“简单交互世界”的细节。这些关键信息需要阅读全文才能获得。