Nick Cammarata称神经网络可解释率已达99%至100%

InceptionV1中编号4e:55的神经元曾因同时响应猫脸和汽车车头，被视为神经网络“不可解释”的经典证据。过去十年，研究者普遍认为模型深层特征彼此纠缠，因此发展出稀疏自编码器（SAE）、特征字典和特征解缠等方法，试图把混合信号拆分成人类可理解的概念。OpenAI早期机制可解释性研究者、论文《Zoom In》共同作者Nick Cammarata如今重新否定了当年的解读。

他认为，4e:55并不真正识别猫或汽车，而是在检测V字形几何结构：狐狸尖脸、火焰、汽车尖头和V形水柱会激活正极，圆脸、球体和车轮等圆形轮廓则会触发负极。2023年，他在OpenAI开展自动化神经元解释项目时，旧工具只能解释约2%的神经元；数年后，借助更先进的算法和Agent团队，现代视觉模型最后一层已有99%至100%的神经元能够得到较清晰的说明，连InceptionV1的可解释率也明显提升。

这里的“干净”并非一个神经元只负责一个概念，而是指网络内部具有连贯、精细且可被直接追踪的组织结构。Cammarata团队认为，过去从2009年的迷幻合成图像，到后来的变换鲁棒性可视化，再到沿真实图像激活路径进行观测，工具进步可能才是解释率提升的主要原因；在ConvNeXt等现代架构中，末层神经元已大多清晰可读。

针对“猫与汽车”案例，团队指出，传统梯度下降合成图像存在奖励作弊，容易受ImageNet中猫狗样本和强语义特征影响。新方法一方面沿真实激活路径约束合成过程，另一方面同时比较正向激活和负向抑制，最终确认该神经元识别的是几何形状，而非动物或车辆类别。

“汽车与狗神经元”也被重新解释。由于训练集中狗图像更多，优化过程容易停留在狗图像区域。通过Agent执行梯度追踪、消融实验和泛化轴线解离，研究者发现这组神经元检测的是物体是否正面朝向镜头、两侧是否对称；汽车信号随后才会流向汽车和狗的不同分类电路。

Cammarata将这种现象称为“递归泛化”：神经元会沿颜色、形状或语义关联逐级扩展，因此同时响应油菜花、西兰花等对象，并不代表内部逻辑混乱。语言模型中，识别“iy”的神经元也可能逐步泛化到“diy”和“Do it yourself”。在压力测试中，研究者把InceptionV1的3b层480个曲线检测神经元压缩为10个，压缩48倍后，它们仍保持可解释性，只是每个负责更宽泛的模式；这也让团队怀疑，部分SAE解缠出的“特征”可能是工具制造的数学假象。

这一观点受到OpenAI研究员roon支持，被认为可能让AI对齐成为更常规的科学研究，但Google DeepMind的Neel Nanda持保留态度。他指出，争论中的“叠加”并非同一概念：Cammarata反对的是把无关特征任意塞进单个神经元，而语言模型依靠少量神经元的线性组合表达大量知识，属于表征叠加。Nanda还质疑弱激活可能承载事实与记忆，且现有证据主要来自视觉模型，不能直接推导出大语言模型不存在叠加现象。