Simon Willison·· 20 小时前AI 评分39
Qwen3.8 27B 模型在纯文字加法任务中的表现评测
Qwen3.8 27B addition in words
AI 导读
一项基准测试评估了本地 `Qwen3.8-27B-Q4_K_M.gguf` 模型仅用英文单词完成正整数加法并输出精确结果的能力。在禁用推理的 5,070 个案例中,其数字准确率为 23.57%,且随着操作数位数增加,性能从一位至三位数的 97.04% 骤降至十至十三位数的 6.44%。启用推理后,模型在 169 个对比案例中取得了 167 个正确结果。
来源:Simon Willison · simonwillison.net