MiniMax 调查 LLM 为何说不出「马嘉祺
来自 MiniMax Blog · 期号 2026-05-26
摘要
MiniMax 调查了 M2 系列模型无法输出「马嘉祺」中「嘉祺」这个 token 的原因。 问题不在预训练阶段：预训练模型能正常生成「嘉祺」，tokenizer 编码解码也正确。根因出在后训练 SFT 阶段——「嘉祺」在 SFT 数据里出现不到 5 次，导致 lm_head 中该 token 的向量发生大幅漂移，被大量特殊 token（如工具调用标记）和噪声 token 污染，生成概率降到 top-p 采样阈值以下。 同样的机制也解释了另一个长期存在的日语混用问题：日语 token 在后训练数据中覆盖严重不足，lm_head 向量漂移后与相邻空间的中文 token 混淆。 该问题已在后续模型更新中修复。