Cactus Needle 3：8-29MB 模型可匹配
来自 Hacker News · 期号 2026-09-18
摘要
自动化模型通常越做越大，Cactus 反其道而行，把模型压到 8-29MB 的二进制文件。 它不聊天，只做工具调用和结构化 JSON 输出。如果请求没有匹配的工具，返回空列表。 核心创新在架构：用 Monarch Hadamard MLP 替代密集 FFN，把参数量和计算量从 O(d²) 降到 O(d√d)。每一层（2 到 20 层）都是可独立部署的子网络，一套权重覆盖 2500 万到 1.21 亿参数（2-bit）。 性能上，20 层模型在 Mobile Actions 基准上拿到 86.0，超过 LFM2.5 1.2B 的 82.4 和 Qwen3.5 0.8B 的 76.0。在树莓派 5 上解码速度可达 4k tokens/s。 每条响应还附带校准后的置信度分数，高于阈值就自动执行，低于阈值就展示给用户确认或升级到大模型。 有评论指出，8MB 的模型能跑出这个分数确实惊人，但需要看更多基准才能判断泛化能力。
深读
导读 Cactus Needle 3 是一个专为自动化任务设计的超轻量模型，二进制文件仅 8-29MB，在手机指令基准上超越了 LFM2.5 1.2B 和 Qwen3.5 0.8B。它不聊天，只做工具调用和结构化 JSON 输出，核心创新是用 Monarch Hadamard MLP 替代密集 FFN，将计算复杂度从 O(d²) 降到 O(d√d)。如果你关心边缘设备上的 agent 推理、模型压缩的极限，或者想了解 2-bit 量化模型能跑到什么程度，这篇值得一读。 关键信息 - 模型以 2-bit 量化部署，参数量 2500 万到 1.21 亿，二进制文件大小 8-29MB。 - 20 层模型在 Mobile Actions 基准（手机指令，按精确调用评分）上拿到 86.0，超过 LFM2.5 1.2B 的 82.4 和 Qwen3.5 0.8B 的 76.0，Apple 端侧模型为 57.6（以上均为 f16 精度）。 - 在树莓派 5 上解码速度可达 4k tokens/s，预填充速度 10k tokens/s。 - 架构核心是 Monarch Hadamard MLP：用三个可学习的 Walsh-Hadamard 初始化 Kronecker（Monarch）因子对，穿插逐通道对角缩放、固定排列、SiLU 非线性激活和一个 rank-8 输入条件门控，将每 token 的计算量从 O(d²) 降到 O(d√d)。 - 每条响应附带校准后的置信度分数（已完成调用的判断与解码概率的最小值），高于阈值自动执行，低于阈值展示给用户确认或升级到大模型。 - 支持 7 种语言（英语、法语、西班牙语、德语、荷兰语、意大利语、波兰语），平台覆盖 macOS、Linux（x86-64/ARM64/ARMv7/RISC-V/MIPS32）、Windows（x64/ARM）、Android、iOS、watchOS、tvOS、浏览器 WebAssembly 和 WASI 组件。 逐节讲解 设计定位：不做通用聊天，只做工具调用 Cactus Needle 3 明确不聊天，因为作者认为在如此小的模型里塞进通用对话能力极其困难。它只做两件事：工具调用和结构化 JSON 输出。如果请求没有匹配到任何已声明的工具，返回空列表。这是一个有意的设计取舍，牺牲通用性换取在特定任务上的极致效率。 智能阶梯：一套权重，多种规模 模型提供 2 到 20 层，每一层都是一个可独立部署的子网络。一套权重覆盖 2500 万到 1.21 亿参数（2-bit），以 8-29MB 的二进制文件分发。这意味着用户可以根据设备算力选择部署的层数，而不需要重新训练或下载多套权重。 架构创新：Monarch Hadamard MLP 这是全文最核心的技术细节。传统密集 FFN 的计算量和参数量是 O(d²)，Cac…