自动化连贯长视频生成
来自 Google Research · 期号 2026-09-25
摘要
长视频生成一直有两个老问题：角色衣服变来变去、场景前后对不上。现有方案靠链式模块拼凑，早期错误一路传下去，最后只能靠人手动修。 Google Research 发了一套多 agent 框架来解决。核心是四块：AI video co-director 用多臂老虎机算法全局规划创意方向，保证整条 pipeline 按统一视觉方案走；CANVAS 维护角色和场景的持久化视觉记忆，切镜头时不会丢身份；A²RD 按片段逐段生成，在推进剧情和锚定已有实体之间自动切换；VQQA 用视觉问答当语义梯度，自动发现并修复画面瑕疵。 框架跑在 Gemini 和 Veo 之上，自带 SynthID 水印。对比测试里，它在多镜头叙事一致性和角色保持上明显好于 AutoStudio 和直接调 Gemini-3.1-Pro。 四篇论文分别被 COLM 2026 和 EMNLP 2026 接收。
深读
导读 长视频生成长期受困于角色身份漂移和场景前后不一致，现有链式 pipeline 中早期错误会逐级放大，最终需要大量人工修复。Google Research 发布了一套多 agent 框架，将长视频生成重新定义为全局优化与世界状态追踪问题，在多个 benchmark 上实现了可测量的连贯性提升。读完能理解这套框架如何通过四个独立但协同的模块，创意规划、视觉记忆、自回归生成、闭环修正，来维持分钟级视频的视觉一致性。 关键信息 - 框架运行在 Gemini 和 Veo 之上，原生继承 SynthID 水印机制。 - AI video co-director 使用多臂老虎机（MAB）算法在创意策略、叙事模式和美学原型三个维度上搜索最优配置，在 GenAD-Bench 上达到 81.4 的峰值质量分。 - CANVAS 通过持久化视觉记忆维护角色和场景的结构化表征，在 HardContinuityBench 的博物馆盗窃场景中，角色服装、空间几何和物体状态的一致性明显优于 AutoStudio 和直接调用 Gemini-3.1-Pro。 - A²RD 采用逐段生成模式，在 extrapolation（推进剧情）和 interpolation（锚定已有实体）之间自适应切换，成功生成了连续十分钟的视频。 - VQQA 将 VLM 的视觉问答输出作为语义梯度，通过迭代优化文本 prompt 来修复属性绑定错误和时间不一致，无需白盒访问模型内部。 - 四篇论文分别被 COLM 2026 和 EMNLP 2026 接收。 逐节讲解 全局创意编排：AI video co-director 现有 agentic pipeline 依赖独立手写 prompt 的链式模块，面临语义漂移（角色衣着或场景在镜头间细微变化）和级联失败（上游资产缺陷污染下游合成）。作者将问题归因为经典的信用分配难题，终端失败难以回溯到具体 prompt。 AI video co-director 是一个分层多 agent 框架。顶层 Orchestrator Agent 用多臂老虎机算法在三个维度上搜索创意配置：Creative Strategy（意图）、Narrative Mode（故事结构）、Aesthetic Archetype（视觉风格与摄影）。选定配置后注入 Pre-Production Agent 的系统 prompt，后者合成逐场故事线和视觉资产，形成统一 storyboard。Production Agent 再通过 Keyframe Agent、Video Agent 和 Audio Agent 将其转化为具体媒体。最后，一个 MLLM Judge 对成片按三个维度打分，将分解后的奖励信号反馈给 MAB，在后续生成循环中迭代优化。 视觉故事板与持久化记忆：CANVAS 即使有了统一脚本，…