因果模型需要因果数据——Xaira 的 X-Cell
来自 Latent Space · 期号 2026-07-22
摘要
预测基因编辑或药物对细胞的影响，需要知道基因之间的因果关系，而不仅仅是表达量的相关性。 Xaira Therapeutics 的 Ci Chu 和 Bo Wang 团队构建了 X-Atlas 数据集，通过 CRISPR 技术逐一敲低每个基因，观察其他基因的表达变化，从而获得因果信息。这个数据集的信息量是现有公开数据库 CELLxGENE 的约 30 倍。 基于 X-Atlas 训练的 X-Cell 模型采用扩散架构（而非自回归），能够预测基因扰动后的细胞状态变化，在真实人类细胞实验中击败了此前表现最好的线性基线模型。 “如果测试损失在 1.5B 参数后停滞，而训练损失随规模继续下降，说明模型受限于数据中的信息量。”
深读
导读 原文信息有限，以下基于节目简介。这期播客探讨了 AI 药物发现的核心瓶颈：预测基因编辑或药物对细胞的影响，需要因果关系而非相关性数据。Xaira Therapeutics 通过构建信息量约 30 倍于现有公开数据库的 X-Atlas 数据集，并训练出基于扩散架构的 X-Cell 模型，在真实人类细胞实验中击败了此前表现最好的线性基线模型。值得关注的是，团队发现当模型参数超过 15 亿后测试损失停滞，揭示了数据信息量才是当前瓶颈。 关键信息 - X-Atlas 数据集的信息量是现有公开数据库 CELLxGENE 的约 30 倍。 - X-Cell 模型采用扩散架构（而非自回归），能够预测基因扰动后的细胞状态变化。 - 在真实人类细胞实验中，X-Cell 击败了此前表现最好的线性基线模型。 - 当模型参数超过 15 亿后，测试损失停滞，而训练损失随规模继续下降，说明模型受限于数据中的信息量。 - CELLxGENE 数据库由 Chan Zuckerberg Institute 构建，包含 1.68 亿个细胞，每个细胞对应约 2 万至 3 万个基因的检测次数，形成一个约 4 万亿条目的矩阵。 逐节讲解 数据信息量是模型扩展的瓶颈 节目指出，当模型参数超过 15 亿后，测试损失停滞，而训练损失随规模继续下降，这说明模型性能受限于数据中的信息量。对于预测基因表达变化的任务，需要更多信息丰富的数据。Xaira 团队正是通过构建信息量约 30 倍于现有数据集的 X-Atlas，使得模型可以继续随参数和训练计算量扩展。节目推测，数据收集实验和基础设施的成本在数千万美元级别，而计算、人力和研究成本在数百万美元级别，整体预算更像强化学习 rollout 的预算，而非数据丰富的预训练预算。 从 CELLxGENE 到因果数据 CELLxGENE 数据库记录了不同细胞类型和状态下基因的表达量（即 RNA 的检测次数），类似于蛋白质数据库（PDB）推动了结构生物学模型的发展，CELLxGENE 也催生了大量 RNA 表达模型，以至于 RNA 表达模型几乎成了虚拟细胞模型的代名词。Xaira 的 Bo Wang 曾构建了其中最具影响力的模型之一 scGPT，成为 X-Cell 的起点。但节目强调，RNA 表达不等于虚拟细胞：基于 CELLxGENE 训练的模型能描述细胞类型和状态之间的关系，但难以预测改变 RNA 表达后会发生什么，因为基因表达高度相关，在大多数情况下无法判断因果关系。 X-Atlas 与 X-Cell 的构建 Xaira 团队通过 CRISPR 技术逐一敲低每个基因，观察其他基因的表达变化，从而获得因果信息。这个数据集称为 X-Atlas，基于它训练的模型称为 X-Cell。节目讨论了以下话题：团队为何放弃自回归架构转向扩散架构；基于 CRISPR 的实验如何并…