Jev：为生产设计的 System One 模型

来自 Latent Space · 期号 2026-09-22

摘要

TypeSafe AI 的 CEO Diogo Almeida 曾是 InstructGPT 论文的合著者。他认为，自从 ChatGPT 大获成功以来，整个前沿模型的后训练范式就走错了路。 他提出的替代方案是 Jev，一个用名为 RLCD（面向校准决策的强化学习）的新技术训练的模型。RLCD 优化的是 System One 任务上的校准概率，而不是人类偏好（RLHF）或可编程验证的输出（RLVR）。在他看来，RLHF 导致幻觉、谄媚和对人类的永久依赖；RLVR 虽然能解纳维-斯托克斯方程，但加剧了智能的锯齿状分布，且难以与其他软件集成。 Jev 的目标是“消失在软件背景中”，像正则表达式一样不起眼，而不是做一个聊天助手。Diogo 还讨论了“最苦涩的教训”：选对任务和数据比堆算力更重要，并暗示了一种无需数十亿美元就能建立现代实验室的方法。 这个判断值得关注，因为它来自一个深度参与过 OpenAI 后训练体系、又公开与之决裂的人。

深读

导读 原文信息有限，以下基于节目简介。本期节目嘉宾是 TypeSafe AI 的 CEO Diogo Almeida，他曾是 InstructGPT 论文的合著者。他认为，自 ChatGPT 大获成功以来，整个前沿模型的后训练范式就走错了路，并提出了一个名为 Jev 的替代方案。对于关注 AI 模型训练范式、后训练技术路线选择以及模型在软件工程中实际落地的从业者，这个判断值得关注，因为它来自一个深度参与过 RLHF 核心工作的人。 关键信息 - Diogo Almeida 是 InstructGPT 论文的合著者，该论文开创了基于人类反馈的强化学习（RLHF）范式。 - Jev 的核心创新是一种名为 RLCD（面向校准决策的强化学习）的未发表技术，它优化的是 System One 任务上的校准概率，而非人类偏好或可编程验证的输出。 - Diogo 认为 RLHF 导致幻觉、谄媚和对人类的永久依赖；RLVR（基于可编程验证输出的强化学习）虽然能解纳维-斯托克斯方程，但加剧了智能的锯齿状分布，且难以与其他软件集成。 - Jev 的目标是“消失在软件背景中”，像正则表达式一样不起眼，而不是做一个聊天助手。 - Diogo 提出了“最苦涩的教训”：选对任务和数据比堆算力更重要，并暗示了一种无需数十亿美元就能建立现代实验室的方法。 逐节讲解 背景与问题：后训练范式走错了路 Diogo Almeida 自参与 InstructGPT 论文以来，一直认为 API 可用的前沿模型走错了方向，问题涵盖对齐、拒绝回答和可靠性。他认为，由于 ChatGPT 的巨大成功，整个行业放弃了除自回归聊天调优 LLM 之外的所有模式。他将 RLHF 的三种分支追溯到 Christiano et al 2017（机器人后空翻演示）、Stiennon et al 2020（学习摘要）和他自己的 Ouyang et al 2022（InstructGPT）。在他看来，此后从函数调用到结构化输出再到推理的所有创新，都像是在基于字符串的序列到序列预测范式上打的补丁。 Jev 与 RLCD：为软件而非聊天设计的 System One 模型 Jev 的核心创新是 RLCD，一种针对“在 System One 任务上给出认知诚实的概率答案”进行优化的技术。这与 RLHF（优化人类评分反馈）和 RLVR（优化可编程验证的输出）有本质不同。Diogo 认为，一代“有用 AI 助手”的训练方式，损害了训练可组合、可编程、用于自动化的 AI 模型的能力。Jev 的目标是成为像正则表达式一样不起眼的软件组件，而不是一个聊天界面。 最苦涩的教训：任务和数据比算力更重要 Diogo 在节目中讨论了他的文章《最苦涩的教训》。他的核心观点是“你得到的是你优化出来的东西，机器学习中最苦涩的教训是，最重要的部分根本不是机器学习…

读原文