Kimi Vendor Verifier
来自 Kimi Blog · 期号 2026-01-22
摘要
开源模型跑出来的分数不对，不一定是模型的问题，也可能是推理实现有偏差。Moonshot AI 开源了 Kimi Vendor Verifier（KVV），一套用来验证推理实现准确性的工具。 KVV 包含六个基准测试，每个都针对特定的基础设施故障：先检查 API 参数（temperature、top_p 等）是否被正确执行，再用 OCRBench 做多模态管线的快速烟雾测试，用 MMMU Pro 验证视觉输入预处理，用 AIME2025 做长输出压力测试（能抓到短基准测不出的 KV 缓存 bug 和量化退化），用 K2VV ToolCall 测量工具调用的触发一致性和 JSON Schema 准确度。SWE-Bench 的完整 agent 编程测试因沙箱依赖未开源。 Moonshot 表示，权重越开放、部署渠道越多，质量就越不可控。如果用户分不清「模型能力缺陷」和「工程实现偏差」，对开源生态的信任就会崩塌。KVV 的另一个思路是提前介入：在模型发布前给基础设施提供商早期访问权限，让他们先验证自己的栈，而不是等用户遇到问题再修。