Qwen3.8 27B 的英文加法测试
来自 Simon Willison · 期号 2026-10-05
摘要
Simon Willison 复现了两年前 Colin Frasier 用 GPT-4o 做的一个实验：让本地运行的 Qwen3.8-27B 模型计算两个正整数的和，并用英文单词输出结果。 关闭推理时，模型在 5,070 次测试中只有 23.57% 算对了数字，格式合规率倒是高达 96.17%。一到三位数的加法正确率 97.04%，十到十三位数就掉到 6.44%。 开启推理后，169 次测试对了 167 次。模型在推理过程中会像人一样逐位对齐数字、从右往左加、进位，甚至出现“等一下，我重新算一遍”的自我纠正。 这个对比说明，对于需要精确计算的文字任务，推理能力不是锦上添花，而是必要条件。
深读
导读 Simon Willison 复现了两年前 Colin Frasier 用 GPT-4o 做的一个实验：让本地运行的 Qwen3.8-27B 模型计算两个正整数的和，并用英文单词输出结果。实验的核心发现是，关闭推理时模型正确率仅 23.57%，而开启推理后飙升到 98.82%。这个对比直观地展示了推理能力对于需要精确计算的文字任务不是锦上添花，而是必要条件。 关键信息 - 实验使用本地模型 Qwen3.8-27B-Q4_K_M.gguf，运行在 DGX Spark 上，测试两个正整数相加并以英文单词输出结果。 - 关闭推理时，5,070 次测试中模型只有 23.57% 算对了数字，但格式合规率高达 96.17%。 - 关闭推理时，一到三位数的加法正确率 97.04%，十到十三位数就掉到 6.44%。 - 开启推理后，169 次测试对了 167 次，正确率 98.82%。 - 模型在推理过程中会逐位对齐数字、从右往左加、进位，甚至出现“等一下，我重新算一遍”的自我纠正。 逐节讲解 实验背景与复现动机 Colin Frasier 两年前用 GPT-4o 做过一个实验：让模型计算两个正整数的和，但要求结果用英文单词输出，而非数字。Simon Willison 受到启发，决定在完全可控的本地硬件上复现这个实验，以排除模型可能调用外部计算工具的干扰。他使用了一台 DGX Spark，运行 Qwen3.8-27B 的量化版本（Q4_K_M）。 关闭推理：数字正确率极低 Willison 首先在关闭推理能力的情况下，对每种数字组合测试了 30 次，总计 5,070 次。结果模型在数字计算上只有 23.57% 的正确率，但输出格式（即用英文单词表达）的合规率高达 96.17%。正确率随数字位数急剧下降：一到三位数的加法正确率为 97.04%，而十到十三位数则跌至 6.44%。这说明模型在没有推理步骤的情况下，本质上是在“猜”答案，而非真正计算。 开启推理：正确率接近完美 随后，Willison 在开启中等推理能力的情况下重新测试，每种组合只测一次（共 169 次），因为每次推理耗时更长。模型在 169 次中答对了 167 次。Willison 认为这是一次性测试，如果重跑，少数错误的结果可能会变化。模型在推理过程中展示了类似人类的计算步骤：对齐数字、从右往左逐位相加、处理进位，甚至出现“等一下，让我重新算一遍”的自我纠正行为。这表明推理能力让模型能够执行精确的符号运算，而不是依赖统计模式匹配。 值得注意 - 实验只测试了加法，没有涉及减法、乘法或更复杂的运算，因此结论不能直接推广到所有数学任务。 - 开启推理时只做了单次测试（每种组合一次），而非多次采样取统计结果，因此 98.82% 的正确率可能存在波动。 - 原文没有说明模型在开启推理时出错的两个案例具体是什么数字…