Neil Movva：让 AI 推理便宜 10 倍
来自 Invest Like the Best with Patrick O'Shaughnessy · 期号 2026-08-25
摘要
AI 推理正在从实时问答转向后台长任务。 Sail 创始人 Neil Movva 认为，agent 不应该让人类等着它回答，而应该在后台运行数小时甚至数天，等用户醒来时工作已经做完。 这意味着延迟不再是最重要的指标，成本才是。Sail 的策略是买别人不想要的芯片和电力，把每 token 的成本压到最低。 长任务场景包括深度研究（覆盖上万来源）、网络安全（用 agent 自动寻找并修补漏洞），以及未来的主动式个人助理。 这个判断站得住，因为 test-time compute scaling 让 agent 跑得越久答案越好，而 Opus 45 之后模型已经能稳定运行一小时以上。
深读
本期速览 Sail 创始人 Neil Movva 认为，AI 推理的未来不是低延迟的实时响应，而是运行数小时甚至数天的后台 agent。他把公司定位为「token 工厂」，目标是将 token 成本降低 10 倍，从而创造一个新的产品类别。Neil Movva 判断，实时与后台工作负载的比例将从现在的 50/50 变为 90/10 偏向后台，因为机器之间的交互可以消耗无限 token，而人类注意力是有限的。 --- 后台 agent 将主导 AI 推理市场 (约 00:00–12:00) Neil Movva 认为，AI 推理的未来不是低延迟的实时响应，而是运行数小时甚至数天的后台 agent。 他把公司定位为「token 工厂」，通过 API 提供开源大语言模型，并支持在云端长期运行的 agent 虚拟机（sandboxes），这些 agent 可以运行数小时、数天甚至数周。他的核心策略是成为市场上最便宜的 token 提供商。 Neil Movva 判断，实时与后台工作负载的比例将从现在的 50/50 变为 90/10 偏向后台。 理由是人类注意力有限——「如果你让我在 Codex 或 Cloud Code 上消耗 10 倍的 token，我不确定我还能不能做到，我一天坐在笔记本电脑前的大部分时间已经花在编码上了。」但后台或主动式 token 消耗是无限的。 他给出的具体用例包括： - 深度研究：需要查阅 10,000 个以上来源才能得出确定性答案的任务 - 网络安全：用 agent 对每一行代码进行多种方式的漏洞测试（内存错误、业务逻辑漏洞、网络漏洞等），他引用了一个行业笑话：「安全已经变成了工作量证明，你的软件有多安全，取决于你在 Anthropic API 上花了多少钱来试图攻破它。」 - 个人助理：一个始终在后台运行的 Siri，全天候理解你的邮件和短信，在你打开手机时主动推荐下一步行动 Neil Movva 认为，关键是要愿意「在没有回报承诺的情况下消耗 token」——这才是解锁新产品类别的关键。 --- 从低延迟到高吞吐：GPU 效率的根本转变 (约 12:00–24:00) Neil Movva 认为，当前 AI 行业最大的结构性转变是从「低延迟优化」转向「高吞吐优化」，这为他的公司创造了机会。 他在 NVIDIA 的工作经历（2016 年开始）让他深刻理解了 GPU 的「光速」文化，追求硬件的理论极限。但他指出，GPU 本质上是吞吐机器，最擅长处理大量并行工作。然而，过去几年 AI 被推向了交互式聊天机器人方向，这迫使行业选择了延迟优化而非吞吐优化。 Neil Movva 用「公交车 vs 私家车」的类比解释了延迟与吞吐的根本权衡： 私家车（低延迟）走直线、不停站，但只能服务一个人；公交车（高吞吐）需要服务更多人，路线更慢、需要停靠等待…