ESM: 蛋白质领域的苦涩教训
来自 Latent Space · 期号 2026-05-28
摘要
BioHub 科学负责人 Alex Rives 发布了 ESMFold 2，一个用于蛋白质预测、设计和发现的开源科学引擎。 ESM 系列的核心思路是：用无监督训练从海量蛋白质序列中学习一个「世界模型」，再为它挂上不同的下游头。ESMC 是这个世界模型，在 28 亿条序列上训练；ESMFold 2 是它的结构预测头。 与 AlphaFold 不同，ESM 不使用多序列比对（MSA）。MSA 是 AlphaFold 成功的关键，但也限制了它在抗体等缺乏比对数据的领域上的表现。ESM 靠规模取胜：用足够大、足够多样的数据训练一个 vanilla BERT 模型，就能在部分最难的问题上超过专用模型。 ESMFold 2 在蛋白质相互作用（尤其是抗体）上达到 SOTA，并在癌症和免疫学的五个靶点上验证了推理时缩放的有效性。团队还发布了 68 亿个蛋白质的图谱和 11 亿个预测结构。 两个模型均以 MIT 许可证开源。
深读
导读 原文信息有限，以下基于节目简介。本期节目嘉宾是 BioHub 科学负责人 Alex Rives，他发布了 ESMFold 2，一个用于蛋白质预测、设计和发现的开源科学引擎。核心思路是用无监督训练从海量蛋白质序列中学习一个「世界模型」，再为它挂上不同的下游头，从而在抗体等缺乏多序列比对（MSA）数据的领域超越 AlphaFold。读完能理解 ESM 系列为何选择「规模至上」路线，以及它在蛋白质相互作用和推理时缩放上的最新进展。 关键信息 - ESMFold 2 在蛋白质相互作用（尤其是抗体）上达到 SOTA，并在癌症和免疫学的五个靶点上验证了推理时缩放的有效性。 - ESM 系列不使用多序列比对（MSA），而 MSA 是 AlphaFold 成功的关键，但也限制了它在抗体等缺乏比对数据的领域上的表现。 - 团队发布了 68 亿个蛋白质的图谱和 11 亿个预测结构。 - ESMC 是 ESM 的世界模型，在 28 亿条序列上训练；ESMFold 2 是它的结构预测头。 - 两个模型均以 MIT 许可证开源发布。 逐节讲解 ESM 的核心理念：从序列到世界模型 ESM 系列的核心思路始于一个简单的「下一个 token」预测目标：根据序列上下文预测被随机遮蔽的氨基酸。但团队很快发现，这些模型不仅学会了序列模式，还学会了生物结构和功能，包括模型从未被明确告知的属性，并且这种能力随计算量可预测地缩放。这催生了 ESM2 和 ESM3。如今发布的 ESMFold 2 是一个开源的科学引擎，用于蛋白质预测、设计和发现。 与 AlphaFold 的路线分歧：MSA 的取舍 AlphaFold 2 的成功依赖于一个巧妙观察：如果多个物种共同进化出成对突变，则这些突变对应蛋白质在三维空间中靠近的部分。这通常被简称为多序列比对（MSA），是 AlphaFold 2 如此有效的关键。但与其他归纳偏置一样，它损害了泛化能力。对于抗体等没有 MSA 可训练的领域，AlphaFold 表现不佳。ESM 则采用不同方法：通过在尽可能多样化的数据上进行无监督训练来学习蛋白质之间的关系，再将其与蛋白质数据库（PDB）等来源的结构关联起来，本质上是一个「世界模型」。 世界模型与下游头 节目将「世界模型」定义为：用无监督训练从数据中学习抽象模式，该抽象应是语义的（新构造遵循真实世界规则）、组合的（重组不同模式产生有效构造）、支持泛化的（预测未训练过的真实世界事物）。有了世界模型后，可以为其挂上不同的「头」用于下游任务：预测蛋白质属性、分解功能特征、或搜索符合设计标准的蛋白质。BioHub 刚以 MIT 许可证发布的两个模型直接对应这一架构：世界模型是 ESMC（在 28 亿条序列上训练），结构预测头是 ESMFold 2。 验证与应用：湿实验与机械可解释性 世界模型「预测事物」的一种有趣方式是…