跳转至

Beyond Decodability: Reconstructing Language Model Representations with an Encoding Probe

会议: EMNLP 2026
论文: ACL Anthology
领域: 可解释性
关键词: 编码探针, 线性回归, 语言模型表征, 解码可解释性, 特征相关性

一句话总结

针对传统解码探针无法跨特征统一度量贡献度且易受特征共线性误导的问题,本文提出反转探针方向的编码探针(Encoding Probe),利用多变量 Ridge 回归与特征消融重构模型内部表征,首次在统一未解释方差(UV)尺度上严格解耦并量化了声学、音素、说话人、句法与词汇特征的独立贡献。

研究背景与动机

探针(Probing)是解析深度神经网络与大语言模型表征机制最核心的技术支柱之一。在经典范式中,研究人员通常设计解码探针(Decoding Probe),训练浅层分类器或回归器从模型隐层激活向量中预测特定的语言学或物理属性(例如词性标签、句法树深度、音素后验概率或说话人身份)。尽管这一范式在 wav2vec 2.0、HuBERT 和 BERT 等多模态与文本模型中成功“解码”出了丰富的结构信息,但解码探针仅能证明“该信息是否可被提取(decodable)”,却无法反映该特征究竟在多大程度上塑造了模型的表征几何结构。当面对多类不同量纲、不同先验分布的任务时(例如 100 类的说话人分类平衡准确率与 40 类的音素识别准确率),分类指标之间完全无法直接比较,导致研究人员无法评估哪类特征对内部激活的贡献更大。

更为严重的是,自然语言与语音特征之间存在强烈的内在共线性(Feature Correlations)。例如词汇身份与语法词性高度耦合,特定词汇往往对应极其固定的语法功能;而在语音中,声学底层特征与音素、说话人声色在时域上高度重叠。传统的解码探针极易将词汇身份等“虚假相关信号”误判为独立的句法表征提取能力,先前的对抗消融实验或基线控制方法(如控制任务或条件探针)不仅实现繁琐,且难以同时对多维连续特征进行联合控制。这种方法学局限在可解释性领域引发了长期争论,甚至导致学界对语言模型是否真正编码了抽象句法结构产生怀疑。

受到神经科学中“大脑编码(Brain Encoding)”范式的启发,本文转换了探针的映射方向:不再从神经表征预测属性,而是以可解释特征作为输入来重构模型的内部隐层激活。这种多元回归架构不仅能够在一个统一的无量纲方差尺度下跨特征直接对比重要性,更天然继承了经典回归分析对共线性变量联合控制与独立贡献剥离的能力。核心 idea:反转探针方向构建以可解释语言特征预测模型激活的编码探针(Encoding Probe),通过统一的未解释方差(UV)指标与特征消融实验,在严格控制特征共线性的同时量化各语言属性对模型内部表征的实际塑造程度。

方法详解

整体框架

编码探针的核心思想是将传统的判别映射 \(f: X \to Y\)(从隐藏表征 \(X\) 映射到目标属性 \(Y\))反转为生成式重构映射 \(g: Y \to X\)。输入特征集合 \(Y\) 涵盖文本或语音输入中提取的完备可解释特征子集(Full),包括低级声学描述符、音素后验概率、说话人独热标签、句法结构特征以及静态词嵌入向量。针对目标模型的每一层隐层激活状态,训练一个多变量 Ridge 回归模型来最小化表征重构误差。随后,通过在特征输入中分别剔除特定特征块(如剔除说话人身份、剔除句法或剔除词汇),计算未解释方差(Unexplained Variance, UV)的增量,从而精确测定该特征在排除了其他特征关联后对表征的独立净贡献。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始音频波形 / 文本序列输入"] --> B["多维可解释特征抽取"]
    B --> C["帧级与子词级无池化对齐映射"]
    C --> D["多变量 Ridge 编码回归重构"]
    D --> E["系统化特征消融与独立贡献量化"]
    E --> F["输出:各层未解释方差 UV 增量分析"]

关键设计

1. 多维可解释特征抽取:构建覆盖音素声学与句法语义的完备特征全集 针对不同模态下表征成分复杂交织的痛点,论文构建了一个覆盖语音到底层声学、高层语篇的多层级特征全集 \(Y_{\text{Full}}\)。对于语音信号,提取了基于 openSMILE 的 25 维 eGeMAPSv02 底层声学特征(包含基频、共振峰、响度及 MFCC 等)、由高保真模型提取的音素后验概率(PPG)向量,以及发音人独热编码;对于符号文本与结构,利用 spaCy 提取了词性标注、依存弧标签等离散分类特征,以及句法树深度、当前 token 在语法树中的深度、词序列位置与句子总词数等连续特征,并引入 100 维静态 fastText 词嵌入作为无上下文句法信息的词汇表征代理。通过汇集跨尺度的可解释特征,全集 \(Y_{\text{Full}}\) 得以作为解释模型表征方差的基准上界。

2. 帧级与子词级无池化对齐映射:消除时间池化引入的人工偏差 传统探针分析语音模型时常将多个连续帧强制平均池化到词级别,这不可避免地向语音表征分析中强加了文本概念,并模糊了局部声学动态。本文设计了纯粹以原始神经单元为基准的无池化对齐策略:语音模型直接在 20ms/25ms 的声学帧(Frame)级别操作,通过 WebMAUS 强制对齐工具将词级句法与词汇标注映射并对齐到各个时间戳的帧上,过滤静音帧后随机抽取;文本模型则直接在 BERT 的子词(Subword Token)级别操作并对齐。该设计使探针直接面向模型内部最原生、未受损的隐层表征向量,保证了特征重构过程在时间颗粒度上的严格保真。

3. 多变量 Ridge 编码回归重构:基于线性正则化预测隐层神经激活 为了量化特征集合对模型表征的解释能力,编码探针采用 \(L_2\) 正则化的多变量 Ridge 回归算法建立映射 \(g: Y \to X\)。针对目标表征矩阵 \(X \in \mathbb{R}^{N \times D}\) 和特征矩阵 \(Y \in \mathbb{R}^{N \times K}\),模型求解闭式解以预测重构激活 \(\hat{X}\)。正则化系数 \(\alpha\) 在对数网格 \(\{10^n \mid n \in \mathbb{Z}, -3 \le n \le 5\}\) 上经严格交叉验证选定。以未解释方差(Unexplained Variance, UV)作为核心评价指标: $$ \text{UV}(g) = \frac{\text{SS}{\text{res}}}{\text{SS}_i|}}} = 1 - R^2 = \frac{\sum_{i=1}^N |x_i - \hat{x2^2}{\sum $$ 当特征集合能够完美重构隐层激活时 }^N |x_i - \bar{x}|_2^2\(\text{UV}=0\);当特征与表征完全无关、仅能预测均值时 \(\text{UV}=1\)。这为后续衡量各特征在统一尺度下的解释力提供了严格的无量纲数学基础。

4. 系统化特征消融与独立贡献量化:通过方差增量解耦共线性特征 传统解码探针面对高度相关的特征(例如词汇与词性、音素与说话人)无法厘清谁是主导因素。编码探针利用回归分析中的方差分解原理,通过构建特征全集基线模型 \(g_{\text{Full}}: Y_{\text{Full}} \to X\) 以及移除目标子集 \(Y_i\) 的消融模型 \(g_{\setminus Y_i}: Y_{\text{Full}} \setminus Y_i \to X\),定义特征 \(Y_i\) 的独立相对贡献量为消融引发的未解释方差增量: $$ \Delta \text{UV}(Y_i) = \text{UV}(g_{\setminus Y_i}) - \text{UV}(g_{\text{Full}}) $$ 若剔除某一特征(如句法标签)导致 UV 显著上升,即证明该特征在被其他所有特征(如词汇 embedding)联合解释后,依然包含塑造隐层表征的独立独特方差;反之若 UV 几乎不变,则表明该特征在解码探针中的可提取性纯粹源于与其他特征的虚假共线性。此外,论文还引入了随机打乱(Permutation/Shuffle)控制组与 PCA 维度对齐控制组,彻底排除了单纯输入维度变化对回归自由度造成的干扰。

实验关键数据

主实验

为了证明解码探针与编码探针结论的巨大差异,论文首先在 LibriSpeech train-clean-100 上评估了 wav2vec2-base 各隐层对说话人身份(Speaker ID)和音素标签(Phone label)的传统解码性能,并在第 12 层和第 9 层分别取得了极高的解码指标,但二者不可横向比对:

评估层级与特征类型 测试准确率 Acc. (%) 平衡准确率 Bal. acc. (%) Macro-F1 (%) 解码结论局限性
Layer 0 (Speaker ID) 46.7 43.7 42.4 底层说话人特征已高于随机基线 (0.4%)
Layer 6 (Speaker ID) 49.3 45.7 45.7 中间层出现表征解耦波谷
Layer 12 (Speaker ID) 95.3 94.5 94.9 解码率极高,但无法判定是否主导表征
Layer 0 (Phone label) 52.5 39.9 39.5 基础声学特征提供初步分类能力
Layer 6 (Phone label) 75.6 69.8 71.7 中层音素可解码性迅速提升
Layer 9 (Phone label) 76.4 70.3 72.2 峰值平衡准确率达 70.3%
Layer 12 (Phone label) 58.7 46.3 47.2 顶层音素解码准确率显著回落

在使用编码探针进行表征重构时,各特征对表征解释方差的增量揭示出与解码完全不同的结论:在预训练 wav2vec2-base 和 ASR 微调模型中,声学与音素特征对隐层重构的贡献(\(\Delta \text{UV}\) 上升幅度)大幅超过说话人身份;而在说话人识别(SID)微调模型的顶层(Layer 9-12),\(\text{UV}(g_{\text{Full}})\) 逼近 0,且剔除 Speaker 特征后 UV 骤升至接近 1.0,而剔除声学或音素特征后的 UV 曲线与 Full 几乎重合,证明此时模型顶层表征几乎 100% 被说话人特征占据,其他信息被彻底丢弃。

消融实验

针对文本模型(BERT-base)和语音模型(wav2vec2-base / ASR-tuned)中句法与词汇特征的共线性争议,论文开展了单独消融与联合消融的编码探针重构分析。表 5 汇报了从 fastText 词嵌入解码句法特征的内在共线性基准,而编码探针消融则进一步量化了二者对内部表征的独立贡献:

评估维度 / 控制实验配置 评估指标 实验测得数值 核心机制说明
fastText → 词性 (POS) 解码 Accuracy 0.628 证明词汇本身包含显著的词性共线性先验
fastText → 依存标签解码 Accuracy 0.417 部分句法依存可直接由词形/词义预测
fastText → 树深度 / 词位置解码 \(R^2\) 0.012 ~ 0.030 静态词向量基本无法线性解码结构树深度
说话人分类 (Acoustics 特征) Accuracy 0.061 20ms 本地声学参数仅包含微弱说话人线索
说话人分类 (Phonetics 特征) Accuracy 0.008 音素后验概率与说话人身份近乎正交
说话人分类 (联合声学+音素) Accuracy 0.071 显式底层特征几乎无法直接线性恢复说话人
PCA 维度对齐控制 (Lexicon 25维) 相对方差解释占比 ~57% 降维至声学特征同等维度后仍保留超半数贡献
PCA 维度对齐控制 (Lexicon 10维) 相对方差解释占比 ~29% 证明特征维度对绝对方差有影响但非主导因素

关键发现

  • 解码存在性与方差主导性的显著脱节:在 SID 微调模型的顶层,解码探针仍能以远高于随机的准确率解码出音素信息,但编码探针显示音素特征被剔除后 UV 变化量近乎为 0。这表明解码探针检测到的“可用信息”可能仅占模型激活方差极微弱的边缘子空间,并未在表征构建中发挥核心作用。
  • 句法表征具有不可被词汇解释的独立贡献:在 BERT 和 wav2vec2 中,尽管从词嵌入中即可解码出 62.8% 的词性信息,但在编码探针中剔除 Syntax 特征后,UV 始终在 Full 基线上方产生明确的向上跳跃。这一结论有力推翻了“语言模型中的句法表征完全是词汇共线性副产物”的假说,确认句法特征独立参与塑造了内部空间。
  • 任务目标对内部表征几何产生重构效应:ASR 目标驱动模型主动丢弃说话人方差(\(\Delta \text{UV}_{\text{Speaker}}\) 显著收窄),同时放大高层对词汇与音素的方差拟合;而 SID 目标则在深层完全压制底层声学与音素表征,使得表征空间几乎完全坍缩到说话人流形上。

亮点与洞察

  • 研究视角从判别提取反转为生成重构:将可解释性问题转化为“自变量能否解释因变量方差”的标准多元统计回归框架,自然消解了不同分类任务间平衡准确率不可比的根本性度量难题。
  • 为特征共线性争议提供了严格的分析范式:通过条件方差分解与特征剔除,成功将词汇语义对句法判别的干扰彻底剥离,为多模态与文本模型的可解释性研究确立了稳健的因果隔离参照系。
  • 跨模态特征在统一尺度的表征比较:首次在同一套回归框架内同时横跨文本与语音 Transformer 模型,揭示了微调目标对不同物理层级语言学特征的重塑机制。

局限与展望

  • 线性假设带来的拟合上限:本文基于多变量 Ridge 回归实现编码探针,尽管保证了可解释性并避免了探针自学习非线性假象,但无法拟合模型隐层中可能存在的复杂非线性特征编码。
  • 观测性相关分析而非干预因果:编码探针分析本质上仍属于统计回归关联分析,揭示的是可解释特征与表征激活之间的方差对应,无法证明这些特征直接因果主导了模型的下游推理计算。
  • 特征工程与空间维度的依赖性:表征可重构的程度高度取决于研究者预先设计抽取的特征集完备性及其向量维度,未来需进一步探索非参数化或更自洽的语言学特征空间构建方法。

相关工作与启发

  • vs 传统解码探针 (Decoding Probes, 如 Belinkov 2022 / Alain & Bengio 2017):传统探针求解 \(X \to Y\),受制于分类任务基线与偶然高解码准确率;本文求解 \(Y \to X\),统一在 \(1-R^2\) 尺度下衡量表征方差贡献,避免了假阳性误判。
  • vs 条件探针 (Conditional Probing, Hewitt et al. 2021):Hewitt 等人通过在解码输入中拼入控制变量来消除共线性;本文编码探针天然支持任意多变量的联合回归与子集消融,能够一次性评估数十种连续与离散特征的独立边际贡献。
  • vs 结构探针与表征相似性分析 (Structural Probes / RSA, Hewitt & Manning 2019 / Kriegeskorte et al. 2008):结构探针关注几何距离与树结构的相关性,RSA 关注样本间相对距离矩阵;编码探针则直接量化特定语言属性在表征方差中所占的绝对与相对比例。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 颠覆性反转探针方向,建立语言模型表征方差重构分析范式。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖文本与语音多模态模型、跨任务微调及置换/维度严密对照。
  • 写作质量: ⭐⭐⭐⭐⭐ 统计逻辑清晰严密,论据层次分明且动机洞察深入。
  • 价值: ⭐⭐⭐⭐⭐ 解决了长期困扰可解释性领域的跨任务度量不可比与特征虚假共线性难题。