OrionMoE-v1.0：表格上下文学习的 MoE 基
来自 arXiv · 期号 2026-10-15
摘要
现有的表格基础模型大多用密集架构，对所有特征和数据集施加相同的变换。 OrionMoE-Small 换了一种思路：它把分布感知的表征和数据集条件化的稀疏 MoE 计算结合起来。模型采用双轴 Transformer 架构，沿特征轴选择性激活专家，路由决策同时参考单个特征和整个数据集的上下文。这样，不同表格问题可以自适应地分配计算资源，同时保留跨任务的共享计算通路。 模型完全在结构化因果先验生成的合成分类任务上预训练，下游推理不需要梯度更新。在多个表格 benchmark 上，它用更小的参数量追平甚至超过了更大的模型，在小样本和高维数据集上尤其突出。类别不平衡场景下也有不错的表现。 论文附了开源代码。
深读
导读 表格数据是机器学习中最常见的结构化数据形式，但现有表格基础模型大多采用密集架构，对所有特征一视同仁。OrionMoE-Small 提出了一种新思路：将分布感知的表征与数据集条件化的稀疏 MoE 计算结合，让不同表格问题自适应地分配计算资源。读完本文可以了解一种专为表格上下文学习设计的紧凑模型，以及它如何在更小参数量下追平甚至超越更大模型。 关键信息 - OrionMoE-Small 采用双轴 Transformer 架构，沿特征轴选择性激活专家，路由决策同时参考单个特征和整个数据集的上下文。 - 模型完全在结构化因果先验生成的合成分类任务上预训练，下游推理不需要梯度更新。 - 在多个表格 benchmark 上，OrionMoE-Small 用更小的参数量追平甚至超过了更大的表格基础模型，在小样本和高维数据集上表现尤其突出。 - 类别不平衡场景下，模型也展现了相对较好的性能，论文强调了特征组合的重要性。 逐节讲解 表格基础模型的现状与局限 现有表格基础模型大多采用密集架构，对所有特征和数据集施加相同的变换。这意味着无论表格的结构、特征类型或数据分布如何，模型都使用同一套参数和计算路径，缺乏对不同问题的适应性。 OrionMoE-Small 的设计思路 OrionMoE-Small 的核心创新在于将分布感知的表征与数据集条件化的稀疏 MoE 计算结合起来。模型基于双轴 Transformer 架构，沿特征轴选择性激活专家，路由决策不仅看单个特征的表征，还参考整个数据集的上下文。这样，不同表格问题可以自适应地分配计算资源，同时保留跨任务的共享计算通路。 预训练与推理方式 模型完全在合成分类任务上预训练，这些任务由结构化因果先验生成。下游推理时不需要梯度更新，直接通过上下文学习预测未见过的观测值。这意味着模型在推理阶段非常高效，无需针对每个新数据集重新训练。 实验结果 在多个表格 benchmark 上，OrionMoE-Small 用更小的参数量追平甚至超过了更大的表格基础模型。特别在小样本和高维数据集上，它的优势更为明显。进一步分析显示，在类别不平衡场景下模型也有相对较好的表现，并且特征组合对性能至关重要。 值得注意 论文仅基于摘要，没有提供具体的 benchmark 名称、参数量对比数字、以及与其他模型（如 TabPFN、TabTransformer 等）的详细比较结果。这些关键信息需要阅读全文才能获得。此外，模型完全在合成数据上预训练，其在真实世界表格数据上的泛化能力仍有待进一步验证。