Neural networks are more modular than single neurons suggest¶

会议: NeurIPS 2026
arXiv: 2610.12842
OpenReview: https://openreview.net/forum?id=4X3mMoAJwr
代码: https://github.com/NeuroML-Lab/Disentangling-representations
领域: 其他
关键词: 模块化表征, 子空间解耦, 混合选择性, 双重分离, 机械可解释性

一句话总结¶

针对传统以单神经元选择性为代理指标而得出神经网络缺乏模块化组织的悲观结论，本文提出由置换、正交旋转到有界可逆变换的模块化几何分层诊断框架，证明在单神经元普遍存在混合选择性的模型中，深层表征依然蕴含可通过线性子空间因果分离的功能模块。

研究背景与动机¶

模块化（Modularity）作为认知神经科学与复杂系统中最悠久的核心组织假说之一，主张复杂认知计算应当分解为功能特化的独立子系统。在经典神经科学中，确立功能模块化的黄金标准是行为因果干预上的“双重分离”（Double Dissociation）：即损伤脑区 A 会特异性破坏功能 A 而保留功能 B，反向损伤脑区 B 则产生完全对偶的损毁效应。然而在经验研究中，因果干预往往受限于实验手段，研究者退而求其次采用神经元选择性（Selectivity）作为模块化的代理指标——即通过寻找是否存在专门对某一特定类别或任务产生排他性激发的单个神经元。这种以单神经元为基准的代理视角，在人工神经网络的可解释性研究中同样根深蒂固：若不同任务未被互斥的神经元子集承载，网络就会被定性为缺乏模块化结构，呈现出普遍的叠加态（superposition）与混合选择性（mixed selectivity）。

然而，这一主流结论实际上混淆了两个截然不同的命题：单个神经元缺乏功能特化，并不意味着网络整体计算不具备模块化结构。在多维几何视角下，独立的功能计算完全可以组织在由神经元群体协同张成的几何子空间中，而这些子空间的坐标轴仅仅是相对于人工设定的神经元坐标基发生了全局旋转。当两个独立计算子空间在基底坐标上产生斜投影时，投影在任意单个神经元轴上的激活必然表现出对多种任务特征的混合响应，从而在传统的单神经元方差分析下呈现出看似彻底非模块化的假象。

针对这一根本矛盾，本文的切入角度是打破单神经元坐标轴的先验桎梏，将神经科学中真正的因果金标准（双重分离消融）引入多维表征空间，提出一个自底向上的模块化几何分层框架。核心 idea：建立从坐标置换、刚性正交旋转到有界可逆线性映射的三层嵌套模块化诊断体系，在无需单神经元特化的前提下，通过因果消融干预验证表征是否具备子空间维度的功能双重分离，并在视觉、语言与认知RNN三大领域系统揭示出被单神经元分析所掩盖的高阶模块化结构。

方法详解¶

整体框架¶

本文方法的整体架构旨在从神经网络某一层提取的纠缠隐表征中，学习一个保持信息完备性的线性坐标变换，将其解构为目标功能子空间并完成因果验证。对于给定输入 $x$ 的网络层表征 $\mathbf{h}(x) \in \mathbb{R}^D$，方法学习一个全局线性矩阵 $Q \in \mathbb{R}^{D \times D}$，使得变换后的坐标表示 $\mathbf{z} = Q \mathbf{h}(x)$ 分割为三个互不重叠的坐标块：目标功能 A 子空间 $\mathbf{z}_A \in \mathbb{R}^{d_A}$、目标功能 B 子空间 $\mathbf{z}_B \in \mathbb{R}^{d_B}$，以及吸收非目标剩余信息的残差子空间 $\mathbf{z}_{\text{res}} \in \mathbb{R}^{d_r}$（满足 $d_A + d_B + d_r = D$）。整体流程包含几何约束参数化、目标导向的监督解耦优化，以及通过子空间置零阻断的因果消融验证。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本 x 并提取网络隐表征 h(x)"] --> B["三层嵌套几何变换 Q<br/>置换 / 正交 / 有界可逆映射"]
    B --> C["坐标块分解<br/>z = Q h = [z_A, z_B, z_res]"]
    C --> D["双重目标驱动优化<br/>任务充分性损失 (RNN) / 极小对对比学习 (视觉与语言)"]
    D --> E["双重分离因果干预评估<br/>子空间实时置零阻断与逆变换重构"]
    E --> F["模块化等级裁定与皮层神经对齐验证"]

关键设计¶

1. 三层嵌套模块化几何分层诊断体系：界定不同严苛度的表征解耦假说

为了严格界定网络模块化的几何存在形式，本文提出了包含三层从严苛到宽松的嵌套假设族，形式化为置换（Permutation）、正交（Orthogonal）与可逆（Invertible）变换： - 置换变换（Permutation）：限制变换矩阵 $Q \in \mathcal{P}_D$ 为离散置换矩阵，坐标间不发生任何混合，直接检验网络的原生神经元坐标轴是否天然与目标功能对齐。在优化阶段，由于离散置换具有组合爆炸性质无法直接求导，本文采用 Birkhoff 多面体上的连续双随机矩阵松弛（Sinkhorn Relaxation），对非受限参数矩阵通过交替行列归一化 $S = \text{Sinkhorn}(\exp(A))$ 进行梯度反传，推理阶段再通过匈牙利算法求解最优线性指派投影回硬置换。 - 正交变换（Orthogonal）：约束 $Q \in \mathrm{SO}(D)$，满足 $Q^\top Q = I, \det(Q) = 1$。它允许在表征空间内进行全维度的刚性旋转，完全保留表征向量的范数与两两几何内积，用于检验功能模块是否以几何相互正交的子空间形式存在。实现上基于李代数，将反对称参数矩阵 $B = A - A^\top$ 通过矩阵指数映射 $Q = \exp(B)$ 或 Cayley 映射进行保流形优化。 - 有界可逆变换（Invertible）：放宽正交约束至一般线性群 $\mathrm{GL}^+(D)$，允许子空间基底之间呈非正交斜交夹角，同时能够自适应伸缩各主成分方差。为防止变换发生数值退化或通过无限放大某些微弱方向伪造虚假分离，本文对条件数设置显式惩罚上界 $\kappa(Q) \le \kappa_{\max}$，并采用 SVD 结构分解 $W = U \text{diag}(\boldsymbol{\sigma}) V^\top$ 进行参数化，其中奇异值经 Softplus 函数约束保证严格正实数。

2. 任务充分性与极小对对比双驱动优化：无偏提取目标功能子空间

由于目标解耦的监督信号来源不同，本文设计了两套互补的损失函数： - 任务充分性目标（针对认知多任务 RNN）：在已知输入输出映射的显式任务中，优化目标要求各功能子空间对自身任务具备独立的充分表征能力。联合训练两个轻量级线性读出头 $f_A, f_B$ 和分解变换 $Q$： $$\mathcal{L}_{\text{task}} = \mathcal{L}(f_A(\mathbf{z}_A), y^A) + \mathcal{L}(f_B(\mathbf{z}_B), y^B) + \lambda \mathcal{L}_{\text{reg}}$$ 其中 $\mathcal{L}$ 为任务损失（回归均方误差或分类交叉熵），$\mathcal{L}_{\text{reg}}$ 为各层级对应的流形正则项。该目标直接驱动 $\mathbf{z}_A$ 仅保留足以完成任务 A 的计算成分，同理约束 $\mathbf{z}_B$。 - 极小对对比学习目标（针对无任务标签的预训练视觉与语言大模型）：在缺乏离散任务输出的自监督表征中，构造仅在目标属性 A 上发生语义变化而在属性 B 上保持恒定的极小样本对（Minimal Pairs）。以视觉中的内容（Content）与风格（Style）为例，锚点图像 $x_i$ 的正内容样本 $x_{A,i}^+$ 为具有相同语义构图但艺术风格不同的图像，负样本则来自批次内不同场景；针对坐标块 $\mathbf{z}_A$ 构建 InfoNCE 风格的监督对比损失： $$\mathcal{L}_A = -\frac{1}{N}\sum_{i=1}^N \log \frac{\exp(\text{sim}(\mathbf{z}_A(x_i), \mathbf{z}_A(x_{A,i}^+)) / \tau)}{\sum_{j \neq i} \exp(\text{sim}(\mathbf{z}_A(x_i), \mathbf{z}_A(x_j^-)) / \tau)}$$ 对子空间 $\mathbf{z}_B$ 施加完全对称的风格对比损失 $\mathcal{L}_B$。由于 $\mathcal{L}_A$ 与 $\mathcal{L}_B$ 分别仅作用于 $\mathbf{z}$ 的互斥切片，其梯度更新自然更新矩阵 $Q$ 的不相交行/列，从几何构造层面杜绝了跨子空间的信息污染。

3. 子空间实时因果阻断与双重分离评估：以因果必要性判定功能模块

区别于以往仅测量特征相关性的表征分析，本文通过直接干预推断计算流程来确立模块化属性。在循环神经网络展开的每一个前向时间步 $t$，首先将隐藏状态投射到分解坐标系 $\mathbf{z}_t = Q \mathbf{h}_t$，随后将待测子空间 $\mathbf{z}_A$ 的全部维度数值强制置零，紧接着利用逆变换将其投影回原网络状态空间 $\tilde{\mathbf{h}}_t = Q^{-1} [\mathbf{0}, \mathbf{z}_{B,t}, \mathbf{z}_{\text{res},t}]^\top$，并驱动后续循环计算。在测试集上分别度量靶向任务损伤程度 $\Delta^{\text{sel}}$ 与非目标任务附带损伤程度 $\Delta^{\text{col}}$，定义双重分离指数（Double Dissociation Index, DDI）： $$\text{DDI} = \max\Big(\min(\Delta_1^{\text{sel}}, \Delta_2^{\text{sel}}) - \max(\Delta_1^{\text{col}}, \Delta_2^{\text{col}}), \, 0\Big)$$ 只有当消融子空间 A 和子空间 B 分别对其所属任务造成显著破坏、且对伴随任务几乎无附带影响时，DDI 才为正值。针对预训练视觉与语言模型，则通过严格对齐的 Top-K 检索选择性比率 $R_s, R_c$ 以及语法/语义优势比率 $S_1, S_2$ 评估分离的排他性。

损失函数 / 训练策略¶

优化使用 Adam 优化器。对于正交与可逆变换，学习率设为 $1 \times 10^{-5}$；针对 Sinkhorn 置换优化，学习率设为 $1 \times 10^{-2}$ 并训练 20 个 epoch，批大小为 8 并配合 32 步梯度累积。在多任务 RNN 训练中，采用启发式两阶段热启动策略：利用单神经元分数任务方差（FTV）初选排位初始化置换与正交 Cayley 矩阵，再将学习到的正交解作为可逆变换优化的初始基底。为防止非凸优化造成退化，设立每 100 轮保存一次离线 DDI 代理最优检查点的策略，从优化动力学上确保更高自由度的分层变换在模块化提取能力上严格单调不低于受限子集。

实验关键数据¶

主实验¶

论文在多任务认知 RNN（Yang 任务与 Mante 任务）、视觉骨干模型（Swin、ConvNeXt、ViT、ResNet、VGG、DINO）以及语言模型（GPT-2 XL、Pythia 410M/160M）三大领域进行了全面评估。

1. 多任务认知 RNN（Anti 对抗重映射 vs DM1 决策比较）因果消融双重分离表现 在 Yang et al. (2019) 体系中，Anti 与 DM1 计算完全不相交。对 Softplus（单神经元高度特化）与 Tanh（单神经元混合选择性）两种激活函数网络在各几何层级下的 DDI 对比如下：

网络激活类型	分解几何层级	靶向任务损伤 $\Delta^{\text{sel}}$	附带损伤 $\Delta^{\text{col}}$	双重分离指数 (DDI)	模块化判定结论
Softplus (单神经元特化)	单元置换 (Unit/FTV)	高	低	0.59	轴向模块化成立
Softplus (单神经元特化)	Sinkhorn 置换	高	低	0.61	轴向模块化成立
Softplus (单神经元特化)	正交变换 (Orthogonal)	极高	极低	0.73	正交子空间模块化
Softplus (单神经元特化)	可逆变换 (Invertible)	高	低	0.70	线性子空间模块化
Tanh (混合选择性)	单元置换 (Unit/FTV)	伴随强附带破坏	严重附带损伤	0.00	伪结论：无模块化
Tanh (混合选择性)	Sinkhorn 置换	伴随附带破坏	附带损伤	0.08	轴向搜索基本失效
Tanh (混合选择性)	正交变换 (Orthogonal)	显著下降	较低	0.37	证实正交子空间模块化
Tanh (混合选择性)	可逆变换 (Invertible)	剧烈下降	极微弱	0.47	恢复强双重分离模块化

2. Swin-Base 视觉模型内容与风格解耦检索指标对比 评估跨不同变换下内容检索匹配度（Content Matching, CM）、风格检索匹配度（Style Matching, SM）及选择性比率 $R_s, R_c$（理想情况 $R_s, R_c \gg 1$）：

变换层级	Top-1 CM $\uparrow$	Top-5 CM $\uparrow$	Top-10 CM $\uparrow$	Top-1 SM $\uparrow$	Top-5 SM $\uparrow$	Top-10 SM $\uparrow$	$R_s$ (风格选择比) $\uparrow$	$R_c$ (内容选择比) $\uparrow$
Permutation (轴向置换)	0.0063	0.0080	0.0125	0.0738	0.0625	0.0546	1.1032	1.0216
Orthogonal (正交旋转)	0.1381	0.1686	0.2435	0.7542	0.7550	0.7613	7.2348	2.5603
Invertible (有界线性映射)	0.3107	0.3675	0.4884	0.8632	0.8785	0.8940	16.0815	5.2594

3. 语言模型（Pythia 410M 与 GPT-2 XL）句法与语义子空间解耦检索表现 评估各变换对句法专属指标 $S_1$ 与语义专属指标 $S_2$ 的分离度：

评估模型	变换层级	Top-1 $S_1$ (句法) $\uparrow$	Top-5 $S_1$ (句法) $\uparrow$	Top-10 $S_1$ (句法) $\uparrow$	Top-1 $S_2$ (语义) $\uparrow$	Top-5 $S_2$ (语义) $\uparrow$	Top-10 $S_2$ (语义) $\uparrow$
Pythia 410M	Permutation	0.3333	0.3953	0.3971	0.1564	0.1681	0.1368
Pythia 410M	Orthogonal	0.8485	0.9286	0.9417	0.6667	0.5504	0.4763
Pythia 410M	Invertible	0.9375	0.9439	0.9259	0.6556	0.5675	0.5152
GPT-2 XL (1.5B)	Permutation	0.0000	-0.0083	0.0000	0.0000	-0.0185	0.0093
GPT-2 XL (1.5B)	Orthogonal	0.8462	0.7846	0.7521	0.4828	0.5294	0.5187
GPT-2 XL (1.5B)	Invertible	0.9452	0.9605	0.9697	0.7857	0.7119	0.6629

消融实验¶

为排除“有界可逆变换是凭借参数过度拟合而人为捏造虚假模块化”的嫌疑，作者在控制实验中设计了多组关键反向对照：

对照实验设计	实验对象	关键指标	实验发现与说明
真实监督 vs 打乱目标 (Shuffled Targets)	Mante RNN	DDI: 0.261 (真实) vs 0.010 (打乱)	随机打乱任务目标后 DDI 归零，证明算法无法为无结构数据凭空优化出双重分离
真实变换 vs 谱匹配随机矩阵 (Random Maps)	Mante RNN	DDI: 0.261 (优化) vs 0.0009 (随机)	保持完全相同的奇异值谱与条件数下随机旋转，DDI 崩溃，排除了单纯伸缩维度的数学假象
固有重叠功能对 (Content-Category)	Swin-Base	Category SM: -0.0800 ($S_s < C_s$)	当试图将“图像内容”与“数字类别”分离时解耦彻底失败，证明本质相关的任务无法被虚假分离
靶向降维基线 (TDR 1D 轴消融)	Mante RNN	任务精度下降: < 0.5%	经典 TDR 回归拟合度高 ($R^2 > 0.76$) 但因果消融无效，凸显高维多维子空间因果优化的必要性
残差子空间消融 (Residual Ablation)	Mante RNN	动作与颜色精度均对称下降 ~15%	消融残差子空间引起双任务均匀掉点，证实残差块承载的是两任务共享的非特化基础计算

关键发现¶

混合选择性共存子空间模块化：在 Tanh RNN 中，单神经元轴向的 FTV 接近单峰均匀分布，单元消融的 DDI 为 0.00；但正交与线性旋转分别挖掘出高达 0.37 和 0.47 的 DDI，直接推翻了“Tanh 激活阻碍多任务模块化自发形成”的既往认知。
皮层神经对齐的梯度镜像：解耦得到的内容与风格子空间在人类视觉皮层 fMRI 预测上呈现双重分离——初级视皮层（V1/V2）与风格子空间显著对齐，而高级腹侧流视皮层则被内容子空间主导；语言模型中的语义子空间在语言皮层预测中显著优于句法子空间。
架构依赖性差异：Swin Transformer 与 ConvNeXt 均能实现极其优异的线性内容/风格分离（$R_s > 13$），但在 ResNet 全系列上风格子空间的提取全面受阻（$R_s \approx 1.1$），表明残差卷积网络可能以更复杂的非线性拓扑表征纹理信息。

亮点与洞察¶

概念跃迁：将认知神经科学中的“双重分离因果干预”从宏观脑区或单个神经元维度，升维推进至连续几何表示空间的“子空间因果阻断”，界定了模块化与叠加态的本质正交性。
分层几何诊断尺：通过置换 $\subset$ 正交 $\subset$ 有界可逆的严格包含关系，为表征几何提供了自底向上的病理级诊断工具，能够清晰回答模型表征的特化机制到底受限于坐标基对齐、正交性还是仿射扭曲。
理论与生物启示的可迁移性：这一子空间消融与因果检索范式能够直接外推至大语言模型的能力编辑与安全对齐，例如在不破坏基座通用推理能力的前提下，定向因果擦除有害知识或欺骗倾向子空间。

局限与展望¶

实验范围局限于二元功能对解耦：当前框架主要针对两两功能（A vs B）以及一个残差池展开，尚未拓展到全网络任意 $K$ 个功能模块的通用多元联合划分。
视觉与语言域缺少直接前向干预：在预训练视觉与语言大模型中，评估主要依赖对比检索指标与脑皮层编码模型，未能像小规模 RNN 那样在自回归生成或复杂下游决策中实现端到端的子空间阻断闭环测试。
残差子空间的作用机理有待深究：虽然消融分析证实残差块保留了跨任务共享的公共表示与风格背景，但高维残差流内部的精细几何组织目前仍是未被完全剖析的黑盒。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了以单神经元选择性评估模块化的传统范式，形式化提出了三层嵌套子空间诊断框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖认知RNN、现代视觉与语言大模型以及人类fMRI神经对齐，包含极其严密的打乱与伪模块化对照。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，对神经科学因果消融与机器学习几何表征的交叉阐释极其清晰有力。
价值: ⭐⭐⭐⭐⭐ 为大模型机制可解释性、表示解耦与认知神经科学的表征对齐开辟了重要的子空间分析新工具。