开源模型网关用流量数据帮你训练专属模型
来自 Hacker News · 期号 2026-08-28
摘要
一个团队用 Rust 写了一个开源模型网关，统一管理自托管、前沿和开源模型，BYOK 请求延迟不到 1 毫秒。它通过标准化 OTel 追踪提取真实任务，用文本世界模型模拟不同模型的输出，再由 LLM 裁判打分，最后用最近邻分类器为每次请求选最优模型，在成本和质量之间画出更好的帕累托曲线。项目完全开源、不加价，还支持用流量数据（可选）为用户训练专属模型。
来自 Hacker News · 期号 2026-08-28
一个团队用 Rust 写了一个开源模型网关，统一管理自托管、前沿和开源模型，BYOK 请求延迟不到 1 毫秒。它通过标准化 OTel 追踪提取真实任务，用文本世界模型模拟不同模型的输出，再由 LLM 裁判打分，最后用最近邻分类器为每次请求选最优模型，在成本和质量之间画出更好的帕累托曲线。项目完全开源、不加价，还支持用流量数据（可选）为用户训练专属模型。
本站只做摘要与索引，全部内容版权归原作者所有。