本地 LLM 网络自动化的可检查性边界
来自 arXiv · 期号 2026-09-26
摘要
网络自动化场景下,把配置、拓扑、日志发给第三方大模型会泄露敏感数据。本地跑小模型(1-8B)可以避免外传,但小模型输出容易出错。 这篇论文提出一个判断标准:如果某个任务存在一个廉价、确定性的测试(内在检查),能拒绝不满足必要正确条件的输出,那这个任务就适合本地推理。作者用这个思路做了 Touchstone 流水线:本地用七个现成的小模型生成候选答案,用任务特定的内在检查过滤,解决不了的再转给大模型。 在冲突检测和意图翻译两个任务上,Touchstone 分别达到 98.6% 和 93.8% 的端到端准确率,只把 16% 和 17% 的输入转给了大模型。但在 TeleQnA(纯知识问答,没有任务特定的内在检查)上,Touchstone 追不上大模型的准确率。 结论很直接:任务语义支持精确、低成本的检查时,推理留在本地;否则转出去。