本地 Qwen 3.8 27B 也能从权重里认出游戏

论文称模型仅凭权重即可判断训练用途，Willison用本地Qwen 27B复现认出吃豆人

新论文《Sparks of Weight-Space Programming》（作者 Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab，作者自称 blog post 但形似论文）声称 GPT-6 Astra 等前沿模型无需任何工具，仅凭浮点数形式的原始权重就能判断网络被训练来做什么，还能直接改写权重改进其他模型——论文自述仅改动 0.016% 的权重，就把 Qwen3.5-0.8B 的 MATH-500 成绩从 7.9% 提到 48.1%。Simon Willison 随后在笔记本上用 17GB 的 Qwen 3.8 27B（LM Studio 本地运行，需调大上下文窗口和超时时间）复现了论文的『无工具猜游戏』实验：模型在不能执行代码的条件下花 46 分 12 秒、43,506 个推理 token，判断出权重属于 Pac-Man 类游戏，自报置信度 72%，也识别出了 Pong。不过 spaCy 作者 Matthew Honnibal 公开批评论文把『无工具读权重』与『带代码改权重』两类实验混为一谈、有误导性；值得注意的是，Qwen 的回答描述的是 8x8 迷宫，而论文实验用的是 10x10 网格，解读细节是否准确仍有疑问。

rss · Simon Willison 博客 · 11月3日 16:29 · 社区讨论 · 互证 2 家

「为什么是现在」 论文发布一天内就出现了独立复现（Willison）和公开质疑（Honnibal、Sean Goedecke），Hacker News 讨论达到 492 分、154 条评论，说明社区正在快速检验这一说法的可信边界。需要区分的是：已被独立验证的只有『无工具识别权重』这一部分，论文中改写权重提升成绩的结果目前尚无独立复核。

「可做角度」 可做角度：跟跑复现——论文仓库里的猜游戏 prompt 是自包含文本文件，用 LLM 命令行工具接本地模型就能跑一遍；内容可以边演示边讲清楚这实验证明了什么（模型能从权重中提取信息）、没证明什么（解读一定正确、无工具能力能否延伸到改写权重），并顺带交代长上下文窗口、超时设置等本地部署的实际坑。

「社区讨论」 评论区的核心分歧集中在两点：一是『能给出解读』不等于『解读正确』，有人引莎剧台词直指这一根本疑问；二是这种能力究竟是从训练数据学来的模式还是真正理解权重，以及它与 steering vectors、LoRA 等已知技术的关系。另有评论称赞 Qwen 3.8 27B 这类本地小模型在人工引导下已能完成接近前沿模型的任务。

查看原文 ↗