AI 在物理世界不能只靠堆 token
来自 Latent Space · 期号 2026-08-26
摘要
Caltech 教授 Anima Anandkumar 认为，AI 在语言领域靠堆 token 和算力就能进步，但在物理世界这条路走不通。 她开发的 FourCastNet 只用消费级 GPU 就能做出与超级计算机相当的短期天气预报。核心创新是「神经算子」—— 不再把物理系统离散成网格，而是直接学习一个随时间演化的函数。 物理世界的数据量远小于语言：融合等离子体预测只需要几千个样本。但物理世界也有自己的结构：地球是球体，用球谐函数做基底，模型就能稳定运行数月而非数天。 她还在做 TorchLean，让 PyTorch 风格的神经网络能在 Lean 证明助手中被形式化验证。 这个判断站得住，因为 FourCastNet 已经用开源数据和消费级硬件证明了这条路可行。
深读
导读 原文信息有限，以下基于节目简介。本期节目嘉宾是加州理工学院教授 Anima Anandkumar，她认为 AI 在语言领域的成功依赖堆叠 token 和算力，但在物理世界这条路走不通。她开发的 FourCastNet 用消费级 GPU 就能做出与超级计算机相当的短期天气预报，核心创新是「神经算子」—— 不再将物理系统离散成网格，而是直接学习一个随时间演化的函数。读完可以理解为什么物理世界的 AI 需要不同的方法论，以及结构化的先验知识如何弥补数据不足。 关键信息 - FourCastNet 仅用消费级 GPU 即可实现与超级计算机相当的短期天气预报精度。 - 物理世界的数据量远小于语言领域：融合等离子体预测只需要几千个样本。 - 地球是球体，使用球谐函数作为基底，模型可以稳定运行数月而非数天。 - Anima Anandkumar 正在开发 TorchLean，让 PyTorch 风格的神经网络能在 Lean 证明助手中被形式化验证。 - 她最近被任命为联合国科学顾问委员会成员。 逐节讲解 物理世界 AI 的独特挑战 Anima Anandkumar 指出，物理世界的 AI 无法直接套用语言模型的 scaling law。物理数据极其稀缺，开源数据集通常只有几万甚至几千个样本，远不足以训练 token 饥渴的 transformer。更严重的是，物理模拟所需的分辨率会导致上下文长度达到数千亿甚至万亿级别，远超现有计算能力。因此，物理世界的进步必须依赖构建结构化的先验知识，而非单纯堆叠数据。 神经算子：从网格到函数 Anima 开创的「神经算子」技术是解决上述问题的核心。传统方法将物理系统离散成网格点，而神经算子直接学习一个随时间演化的函数，支持多尺度输入和输出。以全球天气预报为例，地球是球体，使用球谐函数作为基底（而非矩形网格），模型就能长期稳定运行。她的傅里叶神经算子直接在这个频率域中学习，其球面变体 FourCastNet 3 可以稳定预测数月后的天气。 物理世界的宽容性 Anima 将神经算子应用到其他物理领域后发现，物理世界比预期更「宽容」。在核聚变等离子体预测中，仅需几千个样本就能以比传统模拟快一百万倍的速度预测等离子体破裂。这并非否定规模，而是通往规模的不同路径，通过融入物理世界已有的结构，而非等待永远不会出现的数据。 更广阔的视野 节目还讨论了 Anima 的其他近期工作。她正在开发 TorchLean，一个允许在 Lean 证明助手中编写 PyTorch 风格神经网络并进行形式化验证的框架，这对需要将神经网络加入控制回路（如核聚变反应堆）的场景至关重要。此外，她最近被任命为联合国科学顾问委员会成员，致力于将基于证据的观点带入政策制定。 值得注意 - 节目简介中仅列出了这些话题的标题，没有展开具体的技术细节或对话内容。例如，TorchLe…