Neuron Populations Exhibit Divergent Selectivity with Scale¶

会议: NeurIPS 2026
arXiv: 2606.03990
论文: arXiv
领域: 其他
关键词: 神经网络缩放律、Rosetta神经元、叠加假说、神经元极化效应、机械可解释性

一句话总结¶

本文系统研究了跨模型复现的 Rosetta 神经元随模型规模的演化规律，发现其数量遵循亚线性幂律增长且占比逐渐下降，并揭示了神经元极化效应（Rosetta 神经元随规模增大而愈发单语义化，与非 Rosetta 神经元明显分化）及领域专业化现象。

研究背景与动机¶

理解深度神经网络如何在其内部神经元群体中编码现实世界的结构，是深度学习基础理论与认知神经科学的共同核心议题。在生物神经系统中，关于表征是高度局域化于单个神经元还是分布式编码的争论旷日持久；而在人工神经网络中，尽管研究人员曾定位出特定情绪神经元或物体检测单元，绝大多数大型模型中的神经元依然极其难以解释。叠加假说（Superposition Hypothesis）指出，当网络所需编码的潜特征维度远超出可用的物理神经元坐标时，特征会被迫以多语义混合（polysemanticity）的形式压缩共存。这自然引发了一个在模型规模扩展（Scaling）情境下的深刻追问：当参数规模大幅增加、表征容量成倍扩充时，哪些神经元会演化为隔离单一语义的单语义（monosemantic）单元，哪些神经元依然停留在多语义叠加态？这些微观层面的神经元演化规律是否与宏观层面的性能缩放律（Scaling Laws）一样，遵循某种精确的统计物理幂律？

既有的神经缩放律主要集中于损失值、测试困惑度等宏观可观测量的幂律衰减，但在模型内部表征的微观组织结构如何随规模演进方面几乎是一片空白。另一方面，表征对齐与可解释性研究虽然揭示了跨模型涌现的收敛几何或独立训练网络间的复现神经元（Rosetta Neurons），但此前针对这类单元的研究要么局限于小型网络与单一随机种子，要么仅停留在固定尺度的特征挖掘，缺乏跨越数十亿参数跨度、覆盖视觉与语言双模态的系统性缩放分析。

解决该问题的关键挑战在于建立一个微观层面的可测量物理标量。独立训练模型的参数存在置换对称性，无法直接逐行比对权重，但可以通过跨模型复现的 Rosetta 神经元作为探测探针。核心 idea：将跨独立训练模型复现激活响应的 Rosetta 神经元作为微观缩放观测量，在语言与视觉模型上建立其亚线性幂律缩放律，并通过特征重要性谱与神经元容量分配理论，揭示 Rosetta 神经元日益单语义化与非 Rosetta 神经元持续多语义化的「神经元极化效应」及领域专业化现象。

方法详解¶

整体框架¶

整个研究框架分为三大阶段：跨模型 Rosetta 神经元的高保真挖掘、跨尺度双模态的缩放幂律拟合，以及基于有限容量分配理论的解析建模与极化验证。对于给定模态下的两个独立训练的 Transformer 模型 $A$ 和 $B$，首先通过无标记验证数据前向传播提取 MLP 层的中间神经元激活值。针对跨模型可能存在的分词器差异（语言模型）或输入分辨率与补丁网格差异（视觉模型），先在统一的规范空间（字节边界或插值空间网格）下对齐激活向量。随后计算所有神经元对之间的 Pearson 相关系数，通过双向最近邻（Mutual Nearest-Neighbor）过滤出稳定复现的 Rosetta 神经元对应对。

在获取不同规模下的 Rosetta 神经元群体后，研究进一步评估其数量随参数量变化的幂律缩放形式 $|\mathcal{R}|=c x^\alpha$，并引入最小容量分配模型解释亚线性指数的数学物理根源。最后，通过词表空间投影峰度与多模态大模型评判（VLM-as-a-Judge）对神经元单语义性进行定量评估，并在下游数据过滤实验中验证单个 Rosetta 神经元的功能实用性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据 (The Pile 文本 / ImageNet 图像)"] --> B["前向传播与规范空间激活对齐"]
    B --> C["双向最近邻互匹配与 Rosetta 神经元识别"]
    C --> D["亚线性幂律缩放拟合 (|R| = c x^α, α ≈ 0.5-0.7)"]
    D --> E["有限容量分配解析建模 (前沿截断 r_τ(N) = Θ(N^(1/β)))"]
    E --> F["神经元极化效应与领域专业化验证"]
    F --> G["下游代码数据过滤与持续预训练应用"]

关键设计¶

1. 跨架构规范空间激活对齐与双向互匹配挖掘：突破分词与空间分辨率不一致的对齐壁垒

为了精确比较两个独立训练模型中 MLP 隐藏神经元 $m_t^{(\ell,c)}$ 的响应，必须解决结构层面的异构性问题。在语言模型中，不同模型家族的分词词表截然不同，无法进行逐 token 激活对齐。本文将输入文本投影至 UTF-8 字节空间，以两模型分词边界的交集作为公共规范切分点，并对每个公共切分跨度内的激活值进行均值池化（Mean Pooling）。在视觉模型中，针对 Vision Transformer 补丁网格大小 $H_A \times W_A$ 与 $H_B \times W_B$ 的差异，剔除 class token 与 register token 后，通过双线性插值统一重采样到统一的高分辨率空间网格 $H^* \times W^*$。

在获得统一维度 $N$ 个对齐位置的激活向量后，计算模型 $A$ 神经元 $u$ 与模型 $B$ 神经元 $v$ 间的标准化 Pearson 激活相关系数： $$\mathrm{sim}(u,v)=\frac{1}{N}\sum_{i,t}\frac{m_t^u(x_i)-\mu_u}{\sigma_u}\cdot\frac{m_t^v(x_i)-\mu_v}{\sigma_v}$$ 为剔除非对称的伪匹配与噪声干扰，采用严格的双向互为第 1 近邻（Mutual Top-1 Nearest Neighbor）原则保留匹配对，即 $v \in \mathrm{NN}_1(u; B)$ 且 $u \in \mathrm{NN}_1(v; A)$，从而无须预定义概念或外部监督即可自底向上挖掘出跨模型共同具备的稳定功能单元。

2. 有限容量分配理论与特征隔离前沿：揭示亚线性缩放的数学本源

为什么跨模型可复现的 Rosetta 神经元数量遵循亚线性幂律增长且在网络中占比越来越低？本文从线性特征叠加模型出发，构建了理论分配框架。假设数据分布诱导了 $A(N) = \Omega(N)$ 个潜在特征（且 $A(N) > N$ 始终处于叠加态），特征按其降低下游任务损失的重要性排序，其权重服从幂律衰减谱 $w_r = C r^{-\beta}$（其中 $\beta > 1$ 确保总收益收敛）。单个神经元对特征 $r$ 的隔离纯度由信干比 $s_r$ 度量。将单个神经元对特征的标量读取建模为高斯信息信道，优化特征的读出信干比可使后验预测熵降低 $\frac{1}{2}\log(1+s_r)$。结合有界激活能量带来的总隔离预算约束 $\sum_r s_r \le \kappa N$，网络在微观层面求解如下容量优化问题： $$\max_{s_r \ge 0} \sum_{r=1}^{A(N)} w_r \log(1+s_r) \quad \text{s.t.} \quad \sum_{r=1}^{A(N)} s_r \le \kappa N$$ 在连续统极限下，一阶最优性条件给出截断分配剖面 $s^\star(r; N) = \left[\left(\frac{r_0(N)}{r}\right)^\beta - 1\right]_+$。由预算约束可得有效隔离边界为 $r_0(N) = \Theta(N^{1/\beta})$。定义信干比超过探测阈值 $\tau > 1$ 的特征为 Rosetta 可探测特征，其前沿截断秩为 $r_\tau(N) = r_0(N)(1+\tau)^{-1/\beta}$，从而在解析上严格导出了可复现神经元数量的亚线性幂律： $$R_\tau(N) = \Theta(r_\tau(N)) = \Theta(N^{1/\beta})$$ 因为 $\beta > 1$，所以指数 $\alpha = 1/\beta < 1$。这解释了为何尽管模型绝对容量线性扩充，但能够以高信噪比独立复现的单语义单元仅以亚线性速度增长，其余容量则被大量长尾多语义特征所占据。

3. 神经元极化效应度量：跨词表投影峰度与多模态大模型裁判

该解析模型直接推导出一项关键理论预测——神经元极化效应（Neuron Polarization Effect）。理论证明，在可探测集合内部，Rosetta 神经元的平均隔离纯度随规模扩大持续提高，遵循 $\bar{s}_{\mathrm{Rosetta}}(N) = \Theta(N^{(\beta-1)/\beta}) \to \infty$；而在非 Rosetta 尾部神经元中，由于长尾特征总数 $A(N)$ 增长快于隔离前沿，其平均分配到的纯度迅速衰减，$\bar{s}_{\mathrm{non\text{-}Rosetta}}(N) = O(N^{1/\beta} / A(N)) \to 0$。

为了在无真实特征标注的实际大模型中实证检验该极化效应，本文在语言模型中采用词表空间未嵌入权重（Unembedding Matrix $W_U$）与输出权重 $W_{\mathrm{out}}$ 的余弦相似度过剩峰度（Excess Kurtosis）作为单语义集中度指标： $$s_v^u = \cos(W_{\mathrm{out}}^u, W_U[v])$$ 若神经元是单语义的，其余弦相似度分布会产生极高的正峰度（仅对极少数特定 token 产生强烈响应）。在视觉模型中，由于缺乏离散词表，本文设计了基于 GPT-5.4 的多模态大模型裁判体系（VLM-as-a-Judge）：向模型输入该神经元激活值排名前 20 的图像及其注意力热力图叠加热图，由裁判给出该神经元是否响应单一视觉概念的二元判决与自然语言解释，全面验证了双模态下 Rosetta 神经元逐渐极化为高纯度单语义单元的演变规律。

损失函数 / 训练策略¶

本论文主要针对预训练阶段已收敛的模型检查点（Checkpoints）进行事后神经元激活分析，未修改原始预训练损失。在第 5.3 节的下游验证实验中，为探究单个 Rosetta 神经元的数据过滤效果，对开源 GPT2-1.5B 进行了持续预训练（Continued Pretraining）。优化配置采用带解耦权重衰减的 AdamW 优化器，在 Attention 与 MLP 层应用 Rank-1 LoRA 适配器，最大学习率设为 $10^{-3}$，配合 3% 线性预热及余弦退火衰减至 0，在 16M token 预算下训练 1 个 epoch，序列长度设为 1024，全局有效批大小为 32。

实验关键数据¶

主实验¶

在跨越 80M 至 30B 参数量的广泛模型家族（语言：Pythia、GPT-2、OPT、Qwen-2.5；视觉判别模型：OpenCLIP、DINOv2、Pixio；视觉生成模型：pMF DiT、Sana、Flux）上，全面验证了 Rosetta 神经元数量与模型总神经元数 $N$ 之间的双对数拟合曲线，决定系数 $R^2$ 均在 0.99 左右，且幂律斜率严格处于亚线性区间。同时，在 CodeSearchNet 跨语言多语种代码库中，基于 Pythia-6.9B 单个 JavaScript 神经元进行 16M 预算数据筛选，并对 GPT2-1.5B 实施下游持续预训练测试困惑度（Perplexity, PPL）。

实验任务 / 模型对	拟合/评测指标	Rosetta 神经元方案	基线 / 对照方案	结论与提升
语言模型缩放 (Pythia vs OPT)	幂律拟合指数 $\alpha$ ($R^2$)	$\alpha \approx 0.58$ ($R^2 \approx 0.99$)	随机未训练网络: 无相关性	严格服从亚线性幂律
视觉模型缩放 (DiT vs OpenCLIP)	幂律拟合指数 $\alpha$ ($R^2$)	$\alpha \approx 0.61$ ($R^2 \approx 0.99$)	空间置换对照: 匹配数塌缩至20~100	跨模态生成-判别表征收敛一致
JavaScript 代码数据检索恢复	F1 分数 (对齐 Ground Truth)	0.98	随机采样: 0.06 / 非Rosetta: 0.09	接近完美 Oracle 检索精度
持续预训练下游困惑度 (GPT2-1.5B)	Test PPL ($\pm 95\%$ CI)	3.02 $\pm$ 0.05	Random: 3.59 $\pm$ 0.07 / Non-Rosetta: 3.23 $\pm$ 0.07	逼近全真 JavaScript Oracle (3.01 $\pm$ 0.04)

消融实验¶

针对 VLM-as-a-Judge 视觉单语义性判决器的可靠性验证、置换控制空假说，以及双向互匹配参数 $k$ 的鲁棒性进行了消融分析。

配置 / 对照组	关键指标	说明
随机猜测基线 (Random Chance)	准确率: 0.500 / F1: 0.487	理论期望均匀猜测水平
VLM-as-a-Judge 预测泛化能力	准确率: 0.792 $\pm$ 0.032 / F1: 0.764 $\pm$ 0.037	GPT-5.4 对 Top-20 样本推断出的特征可强力泛化预测新样本激活
随机初始化未经训练网络 (Untrained Null)	发现匹配神经元数量	跨尺度均维持在数十个微量匹配，完全丧失规模增长趋势
跨输入位置置换对照 (Permutation Null)	匹配对数量及斜率	匹配数塌缩至 20~100 个，拟合斜率趋近于 0，证明匹配源于真实语义对齐
改变互为最近邻参数 $k \in \{1, 3, 5, 10\}$	幂律拟合指数 $\alpha$	绝对匹配对数量增加，但幂律指数稳定保持在 0.5~0.7 区间内

关键发现¶

神经元极化效应成立：随着语言模型规模扩大，Rosetta 神经元的词表投影平均过剩峰度呈阶梯式大幅上升，而非 Rosetta 神经元的平均峰度始终保持在 0 附近；在 OpenCLIP 中，VLM 裁判判定 Rosetta 神经元为单语义的比例随模型规模从约 35% 提升至近 60%，非 Rosetta 神经元的单语义比例则随规模从 25% 持续下滑至 15% 以下。
专业化领域演进：在 The Pile 验证集各文本分类的激活分布中，随着模型规模增大，Rosetta 神经元的最强烈激活显著向代码（Code）与数学（Math）等长尾专业领域迁移，其激活占比远超语料本身的基准频率；通用文本与对话的激活占比则逐步稀释。
单神经元具备高选择性功能价值：仅凭借 Pythia-6.9B 中的单个 Rosetta 神经元（L16/U11168），在无显式语言分类器的情况下，能以 0.98 的超高 F1 值从 6 种混杂语言代码库中剥离出 JavaScript 函数，下游预训练性能比使用同层非 Rosetta 神经元显著提升（PPL 3.02 vs 3.23）。

亮点与洞察¶

将宏观 Scaling Law 拓展到微观神经元可观测层：以往缩放律仅描述整体损失与算力，本文首次证明网络内部跨模型复现的结构化单语义神经元数量同样精确服从亚线性幂律，搭建了宏观现象学与微观表征演进的数学桥梁。
容量优化视角的极化机制解析：通过对高斯信道信息增益与激活方差预算的理论建模，优雅地将特征重要性的幂律谱 $\beta$ 与神经元缩放指数 $\alpha = 1/\beta$ 挂钩，从数学上解释了为什么随着模型增大，强者愈强（Rosetta 纯化）、弱者愈挤（非 Rosetta 陷入深层叠加态）。
非侵入式的数据挖掘能力：证明了神经网络内部自发涌现的特征对齐单元具备极其纯净的语义排他性，能够直接作为无监督、轻量级、高保真的领域数据过滤器，为高质量持续预训练数据筛选提供了新范式。

局限与展望¶

依赖模态特定的单语义代理指标：当前对单语义性的判定在语言上借助于离散词表投影峰度，在视觉上借助于 VLM 裁判，尚未实现纯数学统一的单语义闭式度量，对极端长尾抽象特征的评估可能存在主观性。
DINOv3 出现的反常异象：作者在附录中披露，DINOv3 由于在训练中施加了中间层匹配前序统计量的显式强约束，破坏了自由优化下的特征层级自发组织，其 Rosetta 神经元数量未能重现单调幂律缩放，表明该规律受特殊预训练正则化目标影响。
未覆盖电路与注意力头子空间：Rosetta 神经元仅捕获了以单个神经元物理坐标为载体的复现表征，并未涵盖更普遍的跨通道旋转子空间、注意力归纳头（Induction Heads）或多层组合电路。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立网络内部复现神经元群体的微观缩放律，提出极化效应与完备解析模型。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 80M 至 30B 参数、跨语言与视觉多架构体系，包含置换检验、下游数据过滤与详尽消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，数学推导与现象学实证丝丝入扣，图表清晰。
价值: ⭐⭐⭐⭐⭐ 为深入理解模型可解释性、特征自组织演化及基于内部表征的数据工程提供了关键理论基石。

实验任务 / 模型对	拟合/评测指标	Rosetta 神经元方案	基线 / 对照方案	结论与提升
语言模型缩放 (Pythia vs OPT)	幂律拟合指数 \(\alpha\) (\(R^2\))	\(\alpha \approx 0.58\) (\(R^2 \approx 0.99\))	随机未训练网络: 无相关性	严格服从亚线性幂律
视觉模型缩放 (DiT vs OpenCLIP)	幂律拟合指数 \(\alpha\) (\(R^2\))	\(\alpha \approx 0.61\) (\(R^2 \approx 0.99\))	空间置换对照: 匹配数塌缩至20~100	跨模态生成-判别表征收敛一致
JavaScript 代码数据检索恢复	F1 分数 (对齐 Ground Truth)	0.98	随机采样: 0.06 / 非Rosetta: 0.09	接近完美 Oracle 检索精度
持续预训练下游困惑度 (GPT2-1.5B)	Test PPL (\(\pm 95\%\) CI)	3.02 \(\pm\) 0.05	Random: 3.59 \(\pm\) 0.07 / Non-Rosetta: 3.23 \(\pm\) 0.07	逼近全真 JavaScript Oracle (3.01 \(\pm\) 0.04)