Knowledge Localization in Mixture-of-Experts LLMs Using Cross-Lingual Inconsistency¶

会议: NeurIPS 2026
arXiv: 2603.17102
领域: 可解释性
关键词: 混合专家模型 (MoE), 知识定位, 跨语言不一致性, 可解释性, 因果消融

一句话总结¶

利用大语言模型在多语言事实召回中自然存在的跨语言不一致性，提出 XICI 框架，通过对比成功与失败正向传播中的 MoE 路由激活定位事实知识专家，仅需消融约 0.3% 的专家即可使模型事实召回失败率超过 40%。

研究背景与动机¶

随着前沿大语言模型广泛转向稀疏混合专家（Mixture-of-Experts, MoE）架构，模型的可解释性研究面临前所未有的挑战。传统针对稠密模型的机械可解释性方法（如神经元级反向工程、积分梯度与因果追踪）依赖连续可微的激活状态，但在 MoE 中，每个解码器层仅有少数专家被离散激活，使得知识表征高度分散且充满冗余，传统电路分析与知识定位手段极易失效。

与此同时，多语言大模型普遍存在跨语言不一致性现象：对于同一个事实性问题，模型在一种语言中能准确召回，换到另一种语言却频频出错。过去学术界往往将这种不一致性视为跨语言能力不均衡的缺陷并试图消除，但在可解释性视角下，这恰恰提供了一组纯天然的对比样本。相比于人工施加噪声或合成扰动带来的语义漂移，语义完全等价的多语言提问天然诱发了成功与失败两套不同但同语义的计算图。

基于这一洞察，本文不再回避多语言性能方差，而是将其作为逆向剖析 MoE 内部路由机制的有力杠杆。核心 idea：利用多语言语义等价提问构建正负激活样本桶，通过非参数统计检验与路由门控差值筛选关键专家，实现无需合成扰动的 MoE 知识精确定位。

方法详解¶

整体框架¶

本文提出的 XICI（Cross-lingual Inconsistency for Contrastive Identification）框架主要分为两个阶段：第一阶段是对同一事实问题在多语言下进行评测，收集模型在正负样本集中的逐层 MoE 路由权重；第二阶段是对路由门控值执行逐层去偏与统计对比分析，筛选出与该知识点强相关的关键专家，并通过因果消融进行功能性验证。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多语言事实问题输入<br/>语义等价短文本问答"] --> B["多语言路由数据采集<br/>正向 hook 记录 token 级门控概率"]
    B --> C["泛化专家过滤与语言去偏<br/>排除首尾层 / 高频黑名单 / 减去语言均值"]
    C --> D["Mann-Whitney U 统计检验<br/>对比正确集与错误集 Δ 激活分布"]
    D --> E["幅值差阈值与排序截断<br/>中位数差过滤 + 综合排序保留 Top-25"]
    E --> F["因果消融功能验证<br/>置换 logit 为最小值抑制目标专家"]

关键设计¶

1. 路由数据采集与序列级门控聚合：消除 token 级离散噪声

MoE 模型的路由层为每个输入隐状态计算对 $E$ 个专家的路由 logit $\bm{z}$，并按特定门控函数选择 top-$k$ 专家分配权重。为评估专家对整体答案的真实贡献，XICI 不直接采用原始 logit，而是使用模型实际的归一化门控权重： $$G(\bm{z})_{\varepsilon} = \begin{cases} \frac{f(\bm{z})_{\varepsilon}}{\sum_{j \in \text{top-}k} f(\bm{z})_j}, & \text{if } \varepsilon \in \text{top-}k \\ 0, & \text{otherwise} \end{cases}$$ 其中 GLM-4.5-Air 采用逐 expert 的 Sigmoid 激活 $f(\bm{z})=\sigma(\bm{z})$，而 Qwen3-30B-A3B 采用 Softmax 激活。为降低生成序列中逐 token 的路由抖动，XICI 对长度为 $L_i$ 的整条序列（包含 prompt、输出及特殊 token）的所有 token 门控权重计算平均值，得到序列级责任度标量 $\bm{p}_i^{(\text{lang}, l)} \in [0, 1]^E$。

2. 泛化专家过滤与语言基线去偏：隔离语义无关的混淆特征

为了防止选出的专家仅仅擅长处理低级句法、特定语言形态或固定输出格式，XICI 引入了三道正交过滤机制。首先，硬性排除网络的首尾若干层（Qwen3 排除前 6 层与后 6 层，GLM 排除前 5 层与后 5 层），因为底层主要负责低级文本分词与跨语言空间映射，顶层负责输出格式排版，真实事实语义主要聚集在中间层。其次，构建高频黑名单：在整个数据集中超过 5% 的样本里位列前 1% 高权重的专家被直接拉黑（约占全模型专家总数的 5%），剔除执行通用机制的“常驻专家”。最后，对每个专家减去该语言在全数据集上的平均激活值，消除特定语言偏置： $$\Delta_i^{(\text{lang}, l)} := \bm{p}_i^{(\text{lang}, l)} - \frac{1}{N}\sum_{j=1}^{N} \bm{p}_j^{(\text{lang}, l)}$$

3. 非参数 MWU 检验与多重假设控制：稳健筛选知识专家

针对某个特定问题 $i$，将所有语言划分为模型回答正确的语言子集 $C_i$ 与回答错误的语言子集 $W_i$。对于候选层 $l$ 中的任意专家 $\varepsilon$，提取其在两组语言中的去偏激活分布。XICI 采用单尾 Mann-Whitney U（曼-惠特尼秩和检验）评估正确组的激活是否显著高于错误组，显著性阈值设为 $p \le 0.05$。由于大规模模型包含数千个专家，单纯基于秩检验极易发生多重假设检验的假阳性，因此额外施加两项约束：一是要求两组间去偏激活的中位数差必须大于幅值阈值 $\tau$（GLM 设为 0.01，Qwen3 设为 0.005）；二是结合 U 统计量与幅值差对通过检验的专家进行综合排序，单题严格封顶保留最多 25 个专家，确保定位结果可解释且集中。

4. 保持隐状态分布的因果消融：精确检验功能必要性

为验证定位出的专家是否真正承载该事实知识的功能必要性，XICI 采用因果消融。在 MoE 的正向传播中，将待消融专家的路由 logit 替换为该层所有专家 logit 的最小值 $\min_{\varepsilon} z(\varepsilon)$。由于 MoE 随后会对 top-$k$ 专家进行重新归一化分配权重，这种操作无需外部零填充或强行重置激活向量，既完全静音了目标专家，又最大程度维持了输入下一层隐状态的天然统计分布。评测时在整题维度一次性消融全部定位专家（占模型专家总数约 0.3%），并重新在所有语言上提问。

实验关键数据¶

主实验¶

在涵盖 12 种语言的 ECLeKTic、31 种语言的 MultiLoKo 和 42 种语言的 Global MMLU Prehistory 数据集上，对 GLM-4.5-Air（45 个 MoE 层，共 5760 个路由专家）与 Qwen3-30B-A3B-Instruct-2507（48 个 MoE 层，共 6144 个专家）进行知识定位与因果消融验证。消融成功率（Ablation Success Rate）定义为消融后由正确变为错误的比例；假性收益率（Spurious Gain Rate）定义为消融后由错误转为正确的比例；净差值（Rate Difference）为两者之差。

模型	方法/配置	评估题目数	平均定位专家数	消融成功率	假性收益率	净破坏差值 (RD)	全语言失效题数
GLM-4.5-Air	XICI (本文)	381	20.4	48.0%	3.9%	44.1%	69 (18.1%)
GLM-4.5-Air	随机题目混洗基线	381	20.4	7.3%	3.8%	3.5%	-
GLM-4.5-Air	同等数量随机专家基线	381	20.4	5.0%	3.9%	1.1%	-
Qwen3-30B-A3B	XICI (本文)	325	16.7	35.5%	3.4%	32.0%	38 (11.7%)
Qwen3-30B-A3B	随机题目混洗基线	325	16.7	7.4%	3.7%	3.6%	-
Qwen3-30B-A3B	同等数量随机专家基线	325	16.7	4.4%	3.2%	1.2%	-

消融实验：跨语言输入对比单语言复述输入¶

为了探究跨语言差异在知识定位中是否具有不可替代性，作者在 MultiLoKo 英文子集上使用 Gemini-3-Pro 生成了 10 个高质量英文复述变体，对比在单一语言复述（Eng）与跨语言翻译（X-ling）下的表现。

模型	变体来源	题目变体数	有不一致性的题目数	成功定位专家题数	平均专家数	消融成功率	净破坏差值 (RD)	全失效率
GLM-4.5-Air	英文复述 (Eng)	11	76	47	9.7	34.5%	32.2%	23
GLM-4.5-Air	跨语言 (X-ling)	31	158	125	15.2	50.1%	45.9%	28
Qwen3-30B-A3B	英文复述 (Eng)	11	125	56	9.4	18.2%	15.9%	9
Qwen3-30B-A3B	跨语言 (X-ling)	31	139	102	9.1	34.5%	31.6%	10

关键发现¶

极小参数比例的功能阻断：在两个 30B 级别的 MoE 模型中，仅消融约 16-21 个专家（约占全模型参数的 0.3%），即可在超过 40% 的原正确场景下阻断知识召回，在 11%~18% 的问题上使模型彻底丧失在所有语言上的召回能力。
随机混洗证实知识特异性：将为问题 A 定位的专家消融在问题 B 上（随机题目混洗），消融成功率迅速跌落至 7.3%~7.4%，与纯随机挑选专家相近，证明选出的专家高度专属于特定事实，而非通用解题专家。
多语言方差优于单语言同义改写：单语言复述由于句法高度相似，模型输出行为趋同（全对或全错比例高），可用于对比的不一致题目大幅减少，且统计功效不足导致定位准确率和消融成功率显著落后于多语言版本。
专家层级分布差异：GLM-4.5-Air 中定位出的知识专家更偏向分布在网络中后层（第 26-40 层），而 Qwen3-30B-A3B 则呈现跨多层聚集的三个峰值区间。

亮点与洞察¶

将多语言缺陷逆转为诊断利器：巧妙地将长期以来被视为缺陷的多语言性能波动，转化为无损、无需人工构造扰动的高质量因果对比正负样本桶。
贴合 MoE 架构特性的轻量因果探针：利用 MoE 内部离散的路由门控概率进行非参数统计检验，计算开销仅需标准正向推理，克服了传统梯度法与因果追踪在 MoE 上的低效与不可行性。
揭示 MoE 知识存储的离散与冗余共存本质：实验中观察到 3%~5% 的假性收益率，印证了 MoE 内部存在冗余的备用路由路径；但 40%+ 的消融破坏率同时证实了特定知识依然依赖关键瓶颈专家的参与。

局限与展望¶

依赖跨语言不一致性前提：若模型在所有语言下均能稳健回答（如过于浅显通识的常识）或全语言均回答错误，XICI 无法构建对比集合，适用范围受制于任务难度。
必要性不等于充分性与存储定位：因果消融证明了被选专家对提取知识是必要的，但无法确认知识是直接参数化存储在该专家内，还是该专家仅承担某种特征变换桥梁作用；反向强行激活这些专家并不能帮原本错误的语言唤醒知识。
长思维链推理场景下的噪声干扰：带有丰富推理步骤的 Thinking 模型由于生成序列长、路由状态剧烈变化，给静态门控统计引入大量噪声，如何在推理模型中提纯知识路由信号仍待探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 视角极其独特，开创性地将跨语言不一致性转化为 MoE 知识定位的天然因果信号。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖两个主流 30B 级 MoE、三大多语言数据集，设计了严格的题目混洗与随机对照基线。
写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密，从问题分析、统计公式推导到因果消融设计层层递进，消融与对照非常清晰。
价值: ⭐⭐⭐⭐⭐ 为深入理解开源大模型 MoE 内部机理与后续精确的 MoE 知识编辑提供了重要的分析范式。