Distribution-aware Language Neuron Identification in Multilingual Large Language Models¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM推理
关键词: 多语言大模型, 语言特定神经元, 分布重叠系数, 神经元激活分布, 跨语言因果干预
一句话总结¶
本文指出基于正激活率熵的传统方法忽略了连续激活分布形态与负激活区间,提出基于分布重叠系数聚类的分布感知语言神经元识别框架(DLN),不仅能精准分离单语言神经元(SLN)并在消融中带来高达 4.9× 的单神经元靶向损伤,还首次系统揭示了多语言协同神经元(MLN)与负激活区间的语言切换控制机制。
研究背景与动机¶
多语言大型语言模型(mLLM)能够在单一共享参数空间内表征和生成数十种甚至上百种语言,但其内部如何组织语言特异性表征与共享多语言知识仍是可解释性研究的核心难题。近年来的神经元级分析通常将前馈网络(FFN/MLP)中对特定语言高度敏感的单元称为语言特定神经元(LSN),并尝试通过这些神经元研究跨语言迁移与内部知识路由。然而,以 LAPE 和基于阈值的正激活率指标为代表的主流基线,通常将神经元在样本上的激活值二值化(仅视 \(a > 0\) 为激活状态),进而通过各语言激活频率的归一化信息熵来筛选神经元。
这种对连续激活信号的硬阈值截断在多语言表征体系下存在两项致命缺陷。首先,二值化直接丢弃了负激活值所承载的丰富抑制或模式信息。在主流采用门控线性单元(GLU,如 SiLU 激活函数)的现代架构中,全网激活天然偏向负值区间,许多神经元在不同语言下呈现截然不同的负值分布形态,但在正激活率统计中却均被视作静默而被完全过滤。其次,分别统计各语言的正激活概率破坏了语言之间的相对几何关联与分布形态差异:即使两种语言在二值化后拥有相近的激活率,其内部激活密度可能分布在完全不同的动态范围区间;反之,哪怕所有语言的激活率均达到 100%,不同语言在数值幅度上的系统性位移也足以表达强烈的语言独占性。
因此,多语言模型内部的表征本质上是连续、分布化且相互关联的,硬性二值化会引入严重的结构性盲区,导致像英语这样大量依赖负值区间分布偏移的语言子集完全无法被传统方法捕获,同时也会把具有紧密多语言协同特征的神经元误划或遗漏。核心 idea:将语言神经元识别重塑为连续激活密度空间下的分布重叠系数聚类问题,利用覆盖全域(包含负激活区)的两两重叠度矩阵,统筹识别单语言神经元与多语言协同神经元,实现对模型多语言因果机制的高保真刻画。
方法详解¶
整体框架¶
DLN 的核心逻辑在于摒弃二值化统计,直接建模每个神经元在不同语言输入下的连续激活概率密度函数,计算语言对之间的重叠系数,并通过极小化簇间最大重叠的二划分聚类来决定神经元的语言归属。整体流程包括:(1) 对输入样本进行前向计算,构建各语言在指定位点(如 gate 激活或 gate-up 乘积)的自适应自连续密度分布;(2) 计算各语言两两之间的分布重叠系数矩阵;(3) 执行 \(K=2\) 的单链接二聚类,分离出候选特异语言集与背景参考语言集;(4) 基于全局分位数阈值筛选显著特异的语言神经元,并根据候选语言集的基数将神经元自然区分为单语言神经元(SLN)与多语言神经元(MLN)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多语言校准语料输入<br/>(各语言 100k token)"] --> B["连续激活密度估计<br/>400-bin 自适应区间直方图"]
B --> C["分布重叠矩阵构建<br/>计算两两语言间重叠积分 Sj[k, k']"]
C --> D["单链接二聚类划分<br/>极小化最大簇间重叠分离 (Aj, Acj)"]
D --> E["分位数自适应筛选与分类<br/>阈值 τ 判定与基数区隔 SLN (|Aj|=1) / MLN (|Aj|>1)"]
E --> F["均值替换因果干预评估<br/>在目标语言上替换为非目标背景均值"]
关键设计¶
1. 连续激活密度与重叠系数矩阵:解决二值化截断导致的信息损失
针对以往方法仅将 \(a > 0\) 记为激活而忽略数值形态的问题,DLN 显式建模神经元 \(j = (\ell, n)\) 在各语言 \(k \in \mathcal{L}\) 下的连续概率密度函数 \(p_k^j(v)\)。为了在计算效率与连续表示之间取得平衡,系统在每层神经元的自适应区间 \([\mu_j - 3\sigma_j, \mu_j + 3\sigma_j]\) 内划分 400 个内部直方图统计箱。对于任意两种语言 \(k, k'\),其分布重叠系数定义为两连续密度函数在实数全域上的最小相交面积: $\(S_j[k, k'] = \int \min\left(p_k^j(v), p_{k'}^j(v)\right) \mathrm{d}v\)$ 该指标在数学上严格等价于 \(1 - \text{TV}(p_k^j, p_{k'}^j)\)(即 1 减去全变差距离),其取值天然严格有界在 \([0, 1]\) 之间。无论是位于正激活区间的高幅度平移,还是完全潜伏在负激活区间的形态偏移,重叠系数均能敏锐捕捉语言间的差异,且对单纯的尺度拉伸和方差膨胀具有稳健的免疫力。
2. 极小化簇间重叠的二划分聚类:解决多语言相对结构模糊的判定难题
在获得全域重叠矩阵 \(S_j\) 后,DLN 避免人为设定单语言的激活硬阈值,而是将所有评估语言 \(\mathcal{L}\) 划分为两个不相交子集 \((A_j, A_j^c)\)。其目标是通过遍历所有非平凡二划分,极小化簇间点对的最大重叠系数: $\(\min_{A_j \subset \mathcal{L}} \max_{k \in A_j, k' \in A_j^c} S_j[k, k']\)$ 该过程在数学上等价于聚类簇数 \(K=2\) 的单链接层次聚类(Single-linkage Clustering)。在划分完成后,DLN 将基数较小的子集 \(A_j\) 指定为该神经元响应的核心语言候选集,而将较大的互补集 \(A_j^c\) 作为背景参考语言群。这种设计不仅不依赖预设的双峰分布假设,而且能够自适应地把与主体语群分布最疏离的语言子群完整剥离出来。
3. 双阈值分类与全域均值替换干预:解决单语言与多语言协同的分离与因果验证
在聚类划分的基础上,DLN 将全局所有神经元的簇间最大重叠系数按升序排列,选取底部 \(P\)-分位数作为判定阈值 \(\tau\)。当且仅当神经元满足 \(\max_{k \in A_j, k' \in A_j^c} S_j[k, k'] \le \tau\) 时才被接纳为语言神经元 \(\mathcal{N}\)。在此集合内,系统根据候选集大小实现极具物理意义的自然派生:若 \(|A_j| = 1\),则该单元为单语言神经元(SLN);若 \(|A_j| > 1\),则为多语言协同神经元(MLN)。在进行因果消融验证时,针对传统置零干预(Zero-out)会破坏负值平衡这一缺陷,DLN 采用均值替换(Mean-patching)机制:将目标神经元在目标语言下的激活值替换为该神经元在所有非目标语言上的平均激活值,从而在保持网络各层自然一阶矩动态范围的同时,精确剥离特异性语言驱动信号。
评估基准与实验设计¶
实验在两个主流开源模型 Llama-3.1-8B 与 SmolLM3-3B-Base 上全面展开,并在附录中进一步扩展至 Qwen3-4B-Base、Aya-23-8B 及 70B 规模模型 Llama-3.1-70B。校准数据统一采用从 Wikipedia-20231101 抽取的 7 种语言(英语 en、中文 zh、法语 fr、西班牙语 es、越南语 vi、印尼语 id、日语 ja,跨越 4 种书写系统与 5 个语系),每种语言 100k token。评估测试集采用与校准严格独立的 FLORES+ devtest 与 Wikipedia-20230601(每种语言最高 1M token)。因果干预通过负对数似然增量 \(\Delta\text{NLL}\)、选择性比率 \(\text{Sel}(\mathcal{N})\) 以及下游任务 Belebele(900 道阅读理解多选题)和 MGSM(250 道多语言数学题,8-shot CoT)准确率下降进行严格评估。
实验关键数据¶
主实验¶
在相同的 \(P = 1\%\) 筛选预算下,对比 LAPE(Tang et al., 2024)、LSN(Zhang et al., 2026)与本文 SLN 在 Llama-3.1-8B 上的神经元选择规模及语言因果消融效果(表 2 与图 3 汇总):
| 模型 / 方法 | 神经元池大小 \(\|\mathcal{N}\|\) | WIKI \(\Delta\text{NLL}\) 靶向/非目标 | FLORES \(\Delta\text{NLL}\) 靶向/非目标 | Belebele 准确率下降 (靶向/非目标) | MGSM 准确率下降 (靶向/非目标) |
|---|---|---|---|---|---|
| Llama-3.1-8B | |||||
| LAPE | 4,587 | 0.28 / 0.01 | 0.35 / 0.01 | 2.75 / 0.07 | 6.96 / 0.88 |
| LSN | 1,814 | 0.23 / 0.00 | 0.30 / 0.00 | 1.22 / -0.02 | 4.40 / 0.30 |
| SLN (Ours) | 2,972 | 1.20 / 0.01 | 1.69 / 0.01 | 4.94 / -0.02 | 9.44 / 0.18 |
| SmolLM3-3B-Base | |||||
| LAPE | 3,962 | 0.44 / 0.02 | 0.49 / 0.02 | 2.46 / 0.14 | 3.60 / 0.06 |
| LSN | 1,443 | 0.42 / 0.00 | 0.48 / 0.00 | 1.25 / 0.01 | 0.72 / -0.64 |
| SLN (Ours) | 2,254 | 1.45 / 0.01 | 1.86 / 0.01 | 5.56 / 0.15 | 7.76 / -0.40 |
在单神经元靶向破坏效率上,SLN 展现出碾压优势:在 Llama-3.1-8B 上,归一化到单个神经元的平均靶向 \(\Delta\text{NLL}\) 达到 LAPE 的 4.9×(WIKI)与 5.4×(FLORES),同时达到 LSN 的 3.1× 与 3.2×。更关键的是,LAPE 与 LSN 在英语(en)上选择的神经元集合在干预下引起的 \(\Delta\text{NLL}\) 几乎为 0(WIKI 上分别为 0.004 与 0.000),而 DLN 的 SLN 在英语上引发了高达 1.47(WIKI)与 1.87(FLORES)的显著损伤。
消融与分析实验¶
为进一步验证神经元池的本质差异,作者对 LAPE 与 SLN 的交集与差集神经元池进行了细分因果干预分析(表 3),并测试了不同网络位点(gate 激活 \(a\) 与 gate-up 乘积 \(z\))下的选择性保真度(表 5):
| 神经元划分集合 | 神经元数量 \(\|\mathcal{N}\|\) | WIKI 靶向 \(\Delta\text{NLL}\) | WIKI 非目标 \(\Delta\text{NLL}\) | 选择性比率 \(\text{Sel}(\mathcal{N})\) | FLORES 选择性 \(\text{Sel}(\mathcal{N})\) |
|---|---|---|---|---|---|
| Llama-3.1-8B 神经元池解构 | |||||
| LAPE \(\setminus\) SLN | 3,598 | 0.103 | 0.021 | 4.95 | 6.30 |
| LAPE \(\cap\) SLN | 989 | 0.265 | 0.001 | 203.07 | 460.62 |
| SLN \(\setminus\) LAPE | 1,983 | 0.295 | 0.004 | 75.17 | 108.83 |
| SmolLM3-3B 神经元池解构 | |||||
| LAPE \(\setminus\) SLN | 3,213 | 0.150 | 0.049 | 3.06 | 4.62 |
| LAPE \(\cap\) SLN | 749 | 0.331 | 0.001 | 238.92 | 408.44 |
| SLN \(\setminus\) LAPE | 1,505 | 0.707 | 0.003 | 204.26 | 340.75 |
针对网络介入位点(a-site 与 z-site)的跨位置稳健性测试如下:
| 选择与干预配置 (select, patch) | LAPE 选择性 | LSN 选择性 | SLN (Ours) 选择性 |
|---|---|---|---|
| Llama-3.1-8B | |||
| (a-site, a-site) | 22.8 | 126.0 | 273.7 |
| (z-site, a-site) | 4.5 (暴跌 80%) | 13.3 (暴跌 89%) | 193.9 (仅降 29%) |
| (z-site, z-site) | 3.9 | 9.9 | 97.2 |
| SmolLM3-3B-Base | |||
| (a-site, a-site) | 28.2 | 89.5 | 296.5 |
| (z-site, a-site) | 7.4 (暴跌 74%) | 8.8 (暴跌 90%) | 187.3 (仅降 37%) |
| (z-site, z-site) | 5.3 | 9.2 | 57.4 |
关键发现¶
- 负激活区间蕴含关键的语言控制回路:对英语 SLN 的深入剖析显示,63%–72% 的英语特异神经元其目标语言均值 \(\mu_{\text{tgt}} < 0\)。在跨语言文本生成引导实验中,正激活均值的神经元主要负责生成纯正的英语内容,而负激活均值的神经元在被均值替换时能够强力驱动模型由英语上下文切换到其他语言(切换成功率达 75%),二值化方法因无法探测该负值区间而在此类语言控制回路中彻底失效。
- 中文表征具有高度的多语言协同特征(MLN):在所有被测模型中,中文(zh)的单语言神经元极少(Llama-3.1-8B 中仅占 6.7%,93.3% 均为多语言协同神经元)。其中超过 57.6% 的中文神经元与日语构成
{zh, ja}协同簇。消融该簇神经元在仅使用 232 个神经元的情况下(较 LRN 的 1329 个少 2.86×),对中文和日语分别带来 1.24 和 0.92 的强力靶向 \(\Delta\text{NLL}\) 损伤,精准反映了共享汉字字符集底层的神经表征耦合。 - 位移匹配随机对照排除了数值平移的伪影:针对均值替换可能因位移过大产生假象的质疑,在非语言神经元中实施相同标准差位移量(1.6–2.2\(\sigma\))的对照实验中,靶向损伤仅为 0.013(不足 SLN 真实效应的 1%),且在各语言间完全无选择性,证明了 DLN 识别结果的高因果保真度。
亮点与洞察¶
- 将激活选择重塑为几何分布重叠度量:利用重叠积分替代基于符号的硬截断,自然涵盖全域激活形态差异,使隐藏在全正或全负激活背景下的语言特异微调神经元浮出水面。
- 单语言与多语言协同的无缝统一理论:借助层次二聚类,DLN 在无需引入复杂先验的情况下,仅靠簇基数 \(|A_j|\) 的大小便自然解构了独立语言特异与跨语言子群协同(如汉字文化圈中日协同、罗曼语族法西协同)。
- 向真实因果位点(z-site)的泛化能力:由于 gate-up 乘积的符号概率天然对称接近 0.5,传统熵方法在该位点彻底退化;而 DLN 基于全分布密度建模,依然能保持卓越的选择性,为深入 Transformer 前馈层内部因果流提供了利器。
局限与展望¶
- 语言覆盖面尚受算力与数据制约:本研究主要在涵盖 4 种文字与 5 个语系的 7 种典型语言上展开,相较于现代多语言模型预训练所接触的上百种语言,覆盖范围仍属冰山一角,低资源语言的协同网络仍待探索。
- 架构依赖门控线性单元(GLU):研究深度聚焦于以 SiLU 为激活函数的 GLU 前馈架构,对于传统标准非门控 MLP(如使用标准 ReLU/GELU 的早前模型)的适用性尚未进行系统验证。
- z-site 因果干预的跨语言数值压缩惩罚:在 gate-up 乘积位点,各语言间的平均数值跨度比 gate 激活位点收窄了约 4 倍,使得均值替换干预所施加的扰动幅度天然变小,导致所有方法在 z 处的绝对损伤指标均呈现系统性收缩。
相关工作与启发¶
- vs LAPE (Tang et al., 2024):LAPE 仅基于 \(a > 0\) 的二值激活率信息熵筛选神经元,完全丧失了负值区间的信号与同符号区间内的密度形状差异;本文 DLN 引入分布重叠积分,能识别被其忽略的 63% 以上负均值英语神经元及更紧凑的高选择性多语言簇。
- vs LSN & LRN (Zhang et al., 2026):Zhang 等人在熵的基础上加入了最大激活率项并设立硬阈值分类多语言神经元,但依然受困于正激活率统计,在 gate-up 乘积位点性能损失达 90%;DLN 基于连续分布几何聚类,在 \(z\) 位点仍保持强健有效性,且单神经元破坏效率高出 3× 以上。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙跳出二值化激活率范式,用连续概率重叠积分与二聚类优雅统一了 SLN 与 MLN 的发现。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 种模型(最高至 70B)、语言建模与两项下游基准、随机位移对照、位点泛化与跨语言生成引导,因果证据链极为扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰,图表数据丰富详实,对反直觉现象(如英语全负、中文依赖协同簇)的机理解释极具洞察力。
- 价值: ⭐⭐⭐⭐⭐ 为多语言大模型的可解释性与机理分析奠定了全新的分布感知基石,对模型轻量化编辑与语言控制具有很高的实用价值。