不跑自己的 LLM 代理，怎么知道发生了什么
来自 Hacker News · 期号 2026-10-19
摘要
不跑自己的 LLM 代理，你就不知道模型在做什么。 作者认为，依赖第三方 API 的团队应该自建一个代理层，用来记录每次请求的输入输出、统计 token 用量、拦截敏感内容，以及控制成本。没有这一层，审计和调试都无从下手。 评论区有用户分享了实际经验：自建代理在初期确实增加了维护成本，但一旦遇到模型返回异常或 API 密钥泄露，它能快速定位问题。也有人指出，对于小团队，直接用开源方案（如 LiteLLM）比从头搭建更划算。 原文是个人博客，给出了具体的架构建议和代码示例。