KaliBench：Kali Linux 网络安全工具使
来自 arXiv · 期号 2026-10-02
摘要
现有 LLM 评测不直接衡量模型生成真实网络安全工具命令的能力，而这类操作依赖严格的命令行接口，语法或参数错误就会导致执行失败。 KaliBench 是一个细粒度基准，包含 8,504 条自然语言到 CLI 命令的配对，覆盖 Kali Linux 上 1,642 个工具、23 个能力维度和 5 个安全阶段。它通过稿件驱动的构建流程、确定性规范化与别名感知评估，实现精确可复现的评测。 在 24 种通用与安全模型配置下，无开放权重模型在无工具提示设置中超过 42% 的精确命令准确率。基于 KaliBench 的监督微调与强化学习使 8B 模型达到接近 685B MoE 模型的性能。