AI 涌现论应基于信息分解
来自 arXiv · 期号 2026-10-21
摘要
AI 研究者经常用「涌现」或「协同」来描述模型能力超出各部分之和的现象，但这些说法缺乏理论支撑，无法比较也无法反驳。 本文提出用信息分解作为统一框架：把信息分为三类——单个组件独有的、多个组件共享的、以及只有组件组合在一起才能获得的协同信息。一个系统的行为只有携带了任务相关的协同信息，才算得上涌现。 作者用这个框架分析了注意力头、多智能体系统和人类-AI 团队，展示了它如何把不同尺度上的现有知识组织起来，并生成跨层级的猜想。
深读
导读 AI 研究者经常用「涌现」或「协同」来描述模型能力超出各部分之和的现象，但这些说法缺乏理论支撑，无法比较也无法反驳。这篇论文提出用信息分解作为统一框架，为涌现给出一个可检验的严格定义。读完能理解为什么「涌现」不能只靠直觉判断，以及如何用信息论工具在不同尺度上验证这类说法。 关键信息 - 论文提出用信息分解将信息分为三类：单个组件独有的信息、多个组件共享的冗余信息、以及只有组件组合在一起才能获得的协同信息。 - 涌现的判定标准被精确化为：一个系统的行为只有携带了任务相关的协同信息，才算得上涌现。 - 作者用该框架分析了注意力头、多智能体系统和人类-AI 团队三个案例，展示了它如何组织现有知识并生成跨层级猜想。 逐节讲解 问题：涌现说法缺乏理论根基 当语言模型发展出无法追溯到单个组件的能力、多智能体系统表现超过每个独立智能体、或人机协作成功而单独任何一方都失败时，AI 研究者通常称之为「协同」或「涌现」。但这些判断缺乏理论框架支撑，导致不同说法之间无法比较，甚至无法有意义地反驳。 方案：信息分解作为统一框架 论文的核心主张是：信息分解可以作为操作化评估 AI 系统中协同现象的统一形式框架。信息分解能够区分三种性质不同的信息类型，单个组件独有的信息、多个组件共享的冗余信息、以及只有各部分组合在一起才能获得的协同信息。基于此，涌现有了一个精确且可证伪的标准：一个系统的行为只有在携带了与任务结果相关的协同信息时，才算得上涌现。 应用：跨尺度案例分析 作者将该框架应用于注意力头、自主智能体和人类-AI 团队三个案例。论文展示了这一框架如何将不同尺度和不同载体上的现有知识组织起来，同时生成跨层级的猜想，这些猜想是各自孤立的领域难以发现的。 值得注意 原文为论文摘要，篇幅仅 1304 字符。论文声称提出了框架并展示了应用方向，但摘要中未给出任何具体数字、实验结果或案例细节。注意力头、多智能体系统和人类-AI 团队三个案例的具体分析内容、以及生成的跨层级猜想是什么，在可见部分均未展开。