Nick Cammarata发长文推翻自己十年前结论：神经网络并非黑箱，用先进工具与Agent约99%神经元可清晰解释。
AI 可解释性研究者、OpenAI 早期机制可解释性科学家 Nick Cammarata 发布长文《Neural Networks Are Already Clean》，亲手推翻了自己十年前的经典结论。当年的经典案例是 InceptionV1 模型中编号 4e:55 的神经元——它在看到猫脸和汽车车头时都会被强烈激活，曾被当作神经网络底层不可解释的证据，整个领域因此沿"拆开黑箱"的思路发展出稀疏自编码器（SAE）分解、特征字典、特征解缠等方法。Cammarata 现在指出，这个神经元其实既不认识猫也不认识车，它检测的是 V 字几何形状：狐狸的尖脸、喷射的火焰都会激活其正极，负极则对应圆形物体，当年的误判源于观测工具太低级。他透露 2023 年在 OpenAI 做首个大规模自动化神经元解释项目时，现有工具只能解释约 2% 的神经元；三年后带着更先进的算法和 Agent 团队重新研究，发现现代视觉模型最后一层 99%～100% 的神经元都能找到相当清晰的解释，用新工具重新观测 InceptionV1，可解释率也大幅提升。他的结论是：神经网络内部有着极其连贯、精妙且可以被人类直接阅读的组织结构，远比想象中"干净"。
rss · 雷锋网 · 10月16日 11:33
「为什么现在」 这是一篇刚刚发布、需要约 65 分钟阅读的长文，OpenAI 核心研究员 roon 已转发并称其为"科学史上的重要时刻"，认为这让 AI 对齐有望变成一门"常规科学"。需要区分的是：这是研究者本人及其支持者的主张，文章结论是否成立尚待学界检验，但它一旦成立，意味着过去十年可解释性研究的核心焦虑被推翻，SAE 分解等主流技术路线可能都需要重新评估。
「可做角度」 可做角度：以"推翻自己十年前结论的人，最有资格谈黑箱"为主线，讲清 4e:55 神经元从"猫车混激活的乱麻证据"到"V 字几何形状检测器"的重新解读过程——工具升级（2023 年只能解释约 2% 神经元，如今最后一层 99%～100% 可解释）如何改变了对同一网络的判断，并客观呈现"简单即高效（The Bitter Lesson）"与既有 SAE 路线之争，提醒读者这是尚待同行检验的主张而非定论。
做AI项目，先看AI雷达 - AiRadar.com.cn · 全部AI快讯 →