Emergent Semantic Role Understanding in Language Models¶

会议: NeurIPS 2026
arXiv: 2605.09187
领域: LLM 其他
关键词: 语义角色标注, 涌现能力, 线性探测, 机械可解释性, 神经元重组

一句话总结¶

通过在冻结的自回归 Transformer 上进行 QA-SRL 线性探测与因果神经元消融实验，证实语义角色结构在无监督预训练中即可自发涌现，且其底层神经元表征随模型规模增大由局部专门化转向分布式与跨角色干扰。

研究背景与动机¶

语言模型通过自回归因果语言建模目标在海量语料上训练，展现出远超单纯文本补全的多层级语言能力。然而，学术界长期存在一个核心争端：语言模型内部捕获的高阶语言结构——特别是表征“谁在何时何地对谁做了什么”的谓词-论元语义角色理解（Semantic Role Understanding）——究竟是在无监督预训练阶段自发涌现出来的，还是在有监督的下游微调过程中被动构建的？此前针对大模型能力“涌现”的研究往往聚焦于非线性离散指标（如 Exact Match），容易掩盖模型内部连续的表征能力演化过程；而传统的特征探测分类器（Probing Classifiers）又常将单纯的“可解码性”（Decodability）与预训练权重的真正“涌现”（Emergence）混为一谈。

这种探究的核心瓶颈在于：直接微调会彻底重塑网络内部权重，使研究者无法剥离预训练表征与微调适应效应各自的贡献；同时，语义角色标注（SRL）传统上依赖复杂的结构化句法树或 PropBank 标签体系，难以直接对齐自回归生成模型的因果注意力机制。更关键的是，即便表征中存在某种语义角色特征，传统探测也无法确认这些特征是模型执行推理的因果必要组件，还是仅仅为统计相关性副产物。

本文的切入角度是建立一套严格受控的消融探测框架与神经机制因果验证链条：在自回归框架下采用无显式标签体系的问答式语义角色标注（QA-SRL），设计冻结自回归主干的线性探测与同容量随机基线进行严格差分，并引入时序 CKA（Centered Kernel Alignment）及基于主成分分析（PCA）的靶向神经元因果消融。核心 idea：通过冻结自回归 Transformer 主干并仅训练线性问答提取头，剥离预训练表征对语义角色抽取的独立贡献度，并结合因果神经元消融揭示语义角色表征在规模扩展过程中由集中局部编码向分布式与跨角色干扰重组演化的内在机制。

方法详解¶

整体框架¶

本文构建了从无监督自回归预训练到任务探测，再到内在机制分析与因果消融验证的完整分析管线。首先在固定词表（bert-base-uncased，~30K）下，于 WikiText-103 语料上从零预训练 4 种跨越 3 个数量级参数规模的 Decoder-only Transformer（Tiny 0.4M、Small 3.2M、Base 18.9M、Medium 56.7M），确保模型输入分布和分词粒度严格一致。接着将微调任务转化为 QA-SRL 问答抽取格式 [question] [SEP] [sentence]，保留全因果注意力机制以杜绝微调期注意力泄漏。在此基础上分别设立随机初始化基线、冻结探测与全量微调三种范式以分解归因贡献；最后通过 PCA/t-SNE 降维投影、神经元协同激活相关性与靶向置零消融，因果验证语义角色神经元的分布与演变。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["WikiText-103 文本输入<br/>无显式标注自回归预训练"] --> B["预训练多尺度 Transformer<br/>0.4M 至 56.7M 四种规模"]
    B --> C["三范式线性探测评估<br/>随机基线 / 冻结探测 / 全微调"]
    C --> D["时序 CKA 与零适应层级探测<br/>追踪表征漂移 / 隔离自适应影响"]
    D --> E["PCA 角色选择性神经元识别<br/>ANOVA 显著性提取 Top 神经元"]
    E --> F["双重因果神经元消融<br/>特定角色置零评估与跨模型复现"]

关键设计¶

1. 三范式线性探测与归一化涌现度量：解耦预训练涌现与微调适应

为严格区分模型能力是来源于预训练网络权重还是微调阶段的参数适应，本文设立了三个严格受控的实验条件：① 随机基线（Random baseline），Transformer 主干处于随机初始化状态并完全冻结，仅更新词嵌入与问答线性头；② 冻结探测（Frozen probe），加载预训练 Transformer 主干并完全冻结所有 Transformer 层及位置编码，仅训练词嵌入与问答线性头；③ 全量微调（Full fine-tuning），全模型参数端到端联合优化。问答头由两个独立的线性投影向量 \(\mathbf{w}_{\text{start}}, \mathbf{w}_{\text{end}} \in \mathbb{R}^d\) 构成，分别将序列隐状态序列 \(\mathbf{H} \in \mathbb{R}^{L \times d}\) 映射为起始与终止位置的标量 logits：\(\mathbf{s} = \mathbf{H}\mathbf{w}_{\text{start}}\)，\(\mathbf{e} = \mathbf{H}\mathbf{w}_{\text{end}}\)。通过引入容量完全匹配的随机基线消除纯嵌入与投影层参数带来的底噪，定义归一化涌现得分：

\[\text{Emergence}_{\text{norm}} = \frac{F1_{\text{frozen}} - F1_{\text{random}}}{F1_{\text{full}} - F1_{\text{random}}}\]

将任务提升拆解为预训练贡献 \(\Delta_{\text{pre}} = F1_{\text{frozen}} - F1_{\text{random}}\) 与微调追加贡献 \(\Delta_{\text{ft}} = F1_{\text{full}} - F1_{\text{frozen}}\)，直接量化自监督预训练在语义角色抽取任务上提供的“零成本”收益占比。

2. 零适应层级探测与时序 CKA：追踪表征漂移与纯权重涌现

由于在冻结探测中微调了词嵌入以适应未在预训练中作为分隔符见过的 [SEP] 标记，词嵌入梯度可能会向冻结层传播残差适应。为排除这一混淆因素，本文设计了双重隔离机制：一是零适应（Zero-adaptation）逐层线性探测，在预训练完成的瞬时、未经历任何下游微调数据暴露前，直接冻结包括词嵌入在内的所有前序参数，仅用验证集样本在单个隐藏层上训练极小容量线性分类器；二是通过中心化核对齐（Centered Kernel Alignment, CKA）跟踪微调全过程中激活表征相对于预训练初始空模型（Null model）的时序漂移轨迹：

\[\text{CKA}(\mathbf{X},\mathbf{Y}) = \frac{\|\mathbf{Y}^{\top}\mathbf{X}\|_{F}^{2}}{\|\mathbf{X}^{\top}\mathbf{X}\|_{F}\|\mathbf{Y}^{\top}\mathbf{Y}\|_{F}}\]

实验证明浅层表征在微调过程中高度稳定保持预训练特征，而深层表征随着微调轮次推进出现显著表征漂移（CKA 降至 0.25~0.49），证实了底层语言建模目标已自发塑造了坚实的语义角色抽象基础。

3. PCA 角色选择性神经元识别与协同激活相关性分析

为探测模型内部隐状态是否形成了局部化或分群化的语义角色概念，作者从前馈网络（FFN）激活入手，收集所有验证样本在各层中间神经元的激活向量。针对每个隐层执行主成分分析（PCA），并利用方差分析（ANOVA）的 \(F\) 统计量筛选出在 PropBank 语义角色间具有显著区分度的主成分（\(p < 0.0001\)）。从每个具有判别力的主成分中提取绝对载荷最高的 Top 5 神经元，每层至多收集 20 个角色特异性神经元（涵盖施事 Agent/ARG0、时间 Time/ARGM-TMP、地点 Location/ARGM-LOC 及方式 Manner/ARGM-MNR）。进而计算同角色与跨角色神经元之间的皮尔逊协同激活相关系数 \(\rho_{\text{within}}\) 与 \(\rho_{\text{across}}\)：

\[\Delta\rho(l) = \bar{\rho}_{\text{within}} - \bar{\rho}_{\text{across}} = \alpha \cdot \left(\frac{l}{L}\right)^{\beta}\]

拟合得到幂律关系（\(\alpha = 0.29, \beta = 1.31, R^2 = 0.53\)），揭示出同一语义角色的神经元协同激活显著强于跨角色神经元，且功能分异度随网络深度呈现单调增强趋势。

4. 角色条件靶向神经元消融：揭示规模驱动的表征重组与跨角色干扰

为打破“相关性不等于因果性”的局限，研究进一步设计了角色条件靶向神经元消融实验（Role-conditioned Neuron Ablation）。在模型预训练权重中将 PCA 识别出的特定角色神经元的前向与后向权重强制置零，随后在 QA-SRL 上微调并仅在携带该角色金标答案的子集上评估特定角色 \(F1\)。该机制揭示出高度依赖尺度的拓扑重组规律：对于时间角色（Time），神经元在所有尺度上均展现出稳定的正向因果重要性（置零导致 F1 普遍下降 2.4%~4.9%）；然而对于施事角色（Agent），小模型上神经元具有明确因果必要性（置零致 F1 下降 1.9%~2.9%），但在大模型（Base 与 Medium）中神经元置零后 Agent F1 反而激增（+1.9% 与 +14.4%）。结合组件级电路分析（80% 因果贡献所需的组件集中度随规模从 58% 降至 46%），证明大模型在容量充裕时神经元形成了高度冗余和分布式交叠表征，特定单神经元对主干产生跨角色干扰，消融单个偏置神经元反而释放了更优的分布式表征路径。

实验关键数据¶

主实验¶

主实验在 QA-SRL 验证集上系统评估了 4 种自研尺度模型在随机基线、冻结探测与全量微调下的词级重叠 F1 值（5 次随机种子平均值）。

模型规模	Transformer参数	随机基线 F1 (%)	冻结探测 F1 (%)	全微调 F1 (%)	预训练贡献 \(\Delta_{\text{pre}}\)	微调贡献 \(\Delta_{\text{ft}}\)	归一化涌现度 \(E\)
Tiny	0.4M	24.2 ± 0.6	36.4 ± 0.8	44.6 ± 0.4	+12.1 ± 1.0	+8.2 ± 0.9	0.60 ± 0.06
Small	3.2M	25.3 ± 0.1	39.6 ± 0.7	53.3 ± 0.7	+14.3 ± 0.7	+13.7 ± 0.9	0.51 ± 0.03
Base	18.9M	25.5 ± 0.2	43.6 ± 0.5	63.8 ± 0.4	+18.1 ± 0.5	+20.2 ± 0.6	0.47 ± 0.02
Medium	56.7M	26.1 ± 0.5	44.7 ± 0.5	65.8 ± 0.7	+18.6 ± 0.7	+21.1 ± 0.9	0.47 ± 0.02

消融实验¶

消融实验分为两部分：一是严格的冻结词嵌入仅保留 [SEP] 标记可训练的消融验证（表 A，消除嵌入更新残差影响）；二是核心的角色条件特异性神经元因果消融验证（表 B，展示消融目标神经元后对应角色特定子集的 F1 变动）。

表 A：严格冻结嵌入消融（仅允许 [SEP] 学习分隔符，5 种子均值）

模型规模	冻结预训练 F1 (%)	冻结随机基线 F1 (%)	纯Transformer涌现差值 \(\Delta\)	统计显著性
Tiny (0.4M)	23.9 ± 1.0	24.4 ± 1.3	-0.5 ± 1.1%	不显著 (\(p=0.38\))
Small (3.2M)	27.9 ± 1.1	27.4 ± 0.7	+0.5 ± 1.9%	不显著 (\(p=0.59\))
Base (18.9M)	30.5 ± 0.8	27.8 ± 0.4	+2.7 ± 1.0%	极显著 (\(t=6.2, p=0.004\))
Medium (56.7M)	31.6 ± 0.4	28.0 ± 0.7	+3.6 ± 1.1%	极显著 (\(t=7.5, p=0.002\))

表 B：角色条件靶向神经元消融实验（评估各角色特定子集 F1 变化 \(\Delta\)）

被消融角色神经元	Tiny 角色 F1 (\(\Delta\))	Small 角色 F1 (\(\Delta\))	Base 角色 F1 (\(\Delta\))	Medium 角色 F1 (\(\Delta\))	跨尺度演变特征说明
Agent (ARG0)	0.0% (-2.9%)	11.5% (-1.9%)	14.4% (+1.9%)	24.0% (+14.4%)	符号反转：从小模型的因果必要转向大模型的表征干扰
Time (ARGM-TMP)	2.4% (-2.4%)	9.8% (-4.9%)	22.0% (-2.4%)	7.3% (-4.9%)	跨尺度一致因果抑制：置零导致时间抽取性能全面受损
Location (ARGM-LOC)	0.0% (0.0%)	0.0% (0.0%)	3.6% (0.0%)	3.6% (0.0%)	效应接近零：缺乏独立专门化神经元，倾向全域分布式编码
Manner (ARGM-MNR)	3.8% (+3.8%)	0.0% (0.0%)	3.8% (0.0%)	3.8% (+3.8%)	影响微弱，多依赖深层全局句法与语义合成

关键发现¶

预训练持续赋予稳定的零样本涌现基底：在所有尺度下，冻结主干的线性探测相比随机基线稳定带来 12.1 至 18.6 个 F1 点数的纯增益，零适应逐层探测在微调前即达到 10%~26% F1，证实谓词-论元结构早在单向因果语言建模中即已内生自发形成。
归一化涌现度随规模单调衰减的内在机制：随着模型规模由 0.4M 扩展至 56.7M，归一化涌现度 \(E\) 从 0.60 下降至 0.47。这并非说明大模型“遗忘”了预训练语义，而是因为微调阶段的参数适应能力呈现非线性跃升（\(\Delta_{\text{ft}}\) 从 8.2 暴增至 21.1 点），掩盖了预训练的固有贡献比重。
施事神经元的符号反转与多模型可复现性：Agent 神经元从小型模型中的因果必要组件（置零导致性能跌落），演化为 Medium 模型中的严重干扰源（置零后 F1 反增 14.4%）。这一符号反转现象在开源成熟模型 GPT-2（124M 展现 -9.4% 抑制，355M 弱化至 -0.8%）及 Pythia（70M 展现 -8.3%，410M 跃升至 +0.5%）的无重训消融中得到完美复现。
跨角色不对称干扰：在大模型中，消融 Time 神经元使得 Time F1 下降 4.9%，但全数据集总体 F1 却上升 1.0%；消融 Agent 神经元则同时提升了 Agent F1（+14.4%）和总体 F1（+5.8%），证明多任务/多角色的隐式竞争导致局部神经元对高频角色产生了系统性压制。

亮点与洞察¶

解耦“可解码性”与“真正涌现”的严谨方法论：引入参数容量完全一致的随机架构基线与仅更新 [SEP] 的消融设置，有效切断了输入格式适配与词嵌入表征漂移对因果判断的干扰，为语言模型表征探测树立了坚实的基准规范。
表征表型由“局部集中”向“重叠分布式”的连续演化：PCA 解释方差随模型扩大由 19.2% 单调降至 7.3%，同时回路分析中 80% 关键贡献组件比例逐步下降。这给可解释性研究敲响了警钟——不能简单假设在小模型上挖掘出的单义“回路”（Circuits）会在大规模模型中原样保持功能，更大模型倾向于形成高度纠缠、动态分担的分布式神经网络组织。
神经元置零释放性能的剪枝与对齐启示：大型模型中消融单一角色的“伪专一”神经元能够带来多达 14.4% 的性能反弹，表明未对齐的大模型内部存在大量未校准的相互抑制机制，通过定向神经元剪枝或激活引导有望直接改善长尾复杂语义抽取的精度。

局限与展望¶

预训练语料与计算瓶颈：受限于算力，自研主干主要在 WikiText-103（约 103M token）上训练，Medium 模型的 token-to-parameter 比例仅为 1.8，远低于 Chinchilla 最优比例（~20），且预训练尚未完全收敛（处于保守估计下界）；未来需要在更充沛的通用预训练语料（如 FineWeb/The Pile）上验证十亿级参数模型的演变。
标注噪声与单种子消融估计：QA-SRL 依赖启发式问答与自动化标注对齐，相较专家标注存在约 27.6% 的未标注误差（虽然差分消融可在很大程度上消除系统性底噪）；同时自研模型的重训消融实验因算力消耗为单种子点估计，需在后续工作中扩展至多次运行的置信区间评估。
由 FFN 神经元向自注意力回路的细粒度延伸：当前因果消融主要作用于前馈网络（FFN）神经元，尚未完整刻画自注意力头（如 Induction Heads 或 S-Inhibition Heads）在语义角色绑定中的交互动力学。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次在单向自回归模型上系统解耦语义角色理解的预训练自发涌现与微调适应，揭示神经元因果特异性随尺度的拓扑重组]
实验充分度: ⭐⭐⭐⭐⭐ [构建 4 个自研模型跨越 3 个数量级，配套时序 CKA、逐层零适应探测、PCA 协同激活与因果消融，并在 GPT-2 和 Pythia 上完成跨家族复现]
写作质量: ⭐⭐⭐⭐⭐ [逻辑推导极其严密，概念边界区分清晰（如 Decodable vs. Emergent），公式与图表呈现规范统一]
价值: ⭐⭐⭐⭐⭐ [对大模型语言结构涌现本质提供了坚实的因果经验证据，对机制可解释性回路分析在模型扩展下的泛化性具有重要纠偏意义]