Invariant Features in Language Models: Geometric Characterization and Model Attribution¶

会议: NeurIPS 2026
arXiv: 2605.06458
OpenReview: https://openreview.net/forum?id=TdITA4NH7Z
领域: 可解释性
关键词: 大语言模型, 语义不变性, 流形切空间, 对比子空间分解, 模型归属

一句话总结¶

本文提出局部几何表征框架，通过对比敏感度广义特征值分解将大模型隐层空间解耦为不变语义子空间与干扰子空间，揭示了语义不变性在模型深层的涌现规律，并将其成功应用于零样本模型归属识别。

研究背景与动机¶

现代大语言模型展现出了对表面释义（paraphrasing）的强大鲁棒性：提示词在词汇选择、文体风格或句法结构上的显著变动，往往仍能引导模型内部产生极其相似的推理过程与一致的生成结果。这一经验事实表明，Transformer 内部形成了某种抽象于浅层词汇形式的稳定语义表征。然而，现有可解释性与表示学习研究多聚焦于静态探测、词嵌入几何或表征相似度度量（如 CKA、PWCCA），缺乏对语义稳定性几何起源的形式化刻画，亦未能在潜空间中将“保持语义的扰动”与“改变语义的扰动”从机制上分离开来。

这种认知的核心矛盾在于：大模型的连续潜空间极度高维，但经验上语义等价的输入又表现出高度的紧凑收敛性；现有的无监督方差分解（如 PCA）仅能捕捉全局激活能量，极易将浅层干扰成分与核心语义混淆。研究者亟需一种原则性的局部几何分析方法，既能精确界定表征流形上的语义切方向与冗余干扰方向，又能在不依赖额外训练或输出层指纹的前提下，分离出承载本质含义的模型内部几何特征。

本文切入这一问题的角度是将表征流形分解为正交的语义与干扰切空间，并借助对比敏感度协方差的广义特征值求解。核心 idea：通过构建语义保持与语义改变的两组局部差分协方差，利用广义特征值分解精确提取对释义扰动鲁棒、对语义变动敏感的不变子空间，证明不变特征在模型中深层集中涌现并承载因果语义机制，进而作为内生几何指纹实现鲁棒的零样本模型归属。

方法详解¶

整体框架¶

本文的方法 pipeline 围绕“局部扰动构建 → 敏感度协方差估计 → 正则化广义特征值分解 → 不变特征投影与多层聚合签名 → 零样本归属验证”五个核心阶段展开。对输入 prompt，模型在各层提取最后一个 token 的隐状态向量，随后通过语义保持（SP）与语义改变（SC）差分向量刻画局部切空间。经对比子空间分解后，不仅实现了表征空间中核心语义分量与干扰分量的代数解耦，还能将中深层高特征值层的不变表征拼接为模型特征签名。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询与局部扰动族<br/>锚点 x + SP释义扰动 + SC语义扰动"] --> B["阶段1：局部切空间灵敏度协方差估计<br/>提取末尾Token隐状态计算差分协方差 S_sp 与 S_sc"]
    B --> C["阶段2：正则化广义特征值子空间发现<br/>求解广义特征值方程并QR正交化构建投影基底"]
    C --> D["阶段3：流形不变特征解耦与因果干预<br/>拆解为不变分量 z_inv 与干扰分量 z_nuis"]
    D --> E["阶段4：跨层高特征值不变区域聚合签名<br/>拼接顶层不变子空间构成模型紧凑几何指纹"]
    E --> F["下游验证：零样本原型模型归属<br/>余弦相似度匹配识别原始/微调/蒸馏模型源"]

关键设计¶

1. 局部切空间灵敏度协方差估计：精准捕捉局部几何流形方向 针对高维潜空间中语义变动与表面扰动混杂的痛点，该设计基于流形假设将局部邻域切空间近似解耦为 $T_z \mathcal{M} \approx T_z^{\mathrm{semantic}} \cup T_z^{\mathrm{nuisance}}$。对给定锚点输入 $x$，构建 $n$ 个保持语义的释义样本 $\{x_i^{\mathrm{sp}}\}_{i=1}^n$ 与 $m$ 个改变语义的内容替换样本 $\{x_j^{\mathrm{sc}}\}_{j=1}^m$。在模型各层提取末尾 token 的隐状态向量 $\Phi_\ell(x) \in \mathbb{R}^d$，并计算局部一阶有限差分：$\Delta z_i^{\mathrm{sp}} = \Phi_\ell(x_i^{\mathrm{sp}}) - \Phi_\ell(x)$ 与 $\Delta z_j^{\mathrm{sc}} = \Phi_\ell(x_j^{\mathrm{sc}}) - \Phi_\ell(x)$。由此得到两个经验敏感度协方差算子： $$S_\ell^{\mathrm{sp}} = \frac{1}{n} \sum_{i=1}^n \Delta z_i^{\mathrm{sp}} (\Delta z_i^{\mathrm{sp}})^\top, \quad S_\ell^{\mathrm{sc}} = \frac{1}{m} \sum_{j=1}^m \Delta z_j^{\mathrm{sc}} (\Delta z_j^{\mathrm{sc}})^\top$$ 从局部微分几何角度看，当输入扰动足够微小时，该统计量直接对应于网络局部雅可比矩阵在特定扰动分布下的灵敏度能量映射，使复杂的流形切空间分析转化为可计算的协方差对比。

2. 正则化广义特征值子空间发现：对比分离不变语义与表面干扰 针对释义样本量通常远小于模型隐层维度（$n \ll d$）导致协方差矩阵严重降秩、传统特征求解发生奇异性的问题，本设计构造了岭正则化广义特征值问题。通过最大化瑞利商 $\lambda(v) = \frac{v^\top S_\ell^{\mathrm{sc}} v}{v^\top (S_\ell^{\mathrm{sp}} + \epsilon I) v}$，寻找在语义变化下变化剧烈、但在释义扰动下保持极小方差的极值方向： $$S_\ell^{\mathrm{sc}} v = \lambda (S_\ell^{\mathrm{sp}} + \epsilon I) v$$ 特征值 $\lambda$ 越大，表明该方向包含的语义判别力越强、对表面扰动的鲁棒性越好。选取前 $k$ 个最大特征值对应的特征向量 $V_\ell^{\mathrm{inv}} = [v_1, \ldots, v_k]$，并使用 QR 分解求得欧氏空间下的标准正交基 $U_\ell^{\mathrm{inv}} = \mathrm{orth}(V_\ell^{\mathrm{inv}})$。由此构建投影算子 $P = U_\ell^{\mathrm{inv}} (U_\ell^{\mathrm{inv}})^\top$，将隐状态 $z$ 严格分解为不变语义分量与干扰分量： $$z_{\mathrm{inv}} = U_\ell^{\mathrm{inv}} (U_\ell^{\mathrm{inv}})^\top z, \quad z_{\mathrm{nuis}} = (I - U_\ell^{\mathrm{inv}} (U_\ell^{\mathrm{inv}})^\top) z$$ 这种构造型正交分解去除了无监督方法对整体方差尺度的盲目依赖，直接锁定了语义不变特征的子空间坐标系。

3. 流形不变特征解耦与因果干预：验证不变成分对模型输出的因果控制 为了验证所识别的不变子空间并非单纯的统计相关，而是真正承载模型语义决策的因果实体，本设计在各层激活值上传播时实施切空间级干预。保持锚点样本的干扰成分 $h_{\mathrm{nuis}}^{(a)}$ 完全固定，仅将其不变成分替换为施主样本（donor）的不变特征： $$h^{\mathrm{int}} = h^{(a)} + \alpha (h_{\mathrm{inv}}^{(d)} - h_{\mathrm{inv}}^{(a)})$$ 若施主样本属于组内语义保持释义（Within-SP），干预后的输出分布几乎无偏；而若施主样本属于组内语义变动（Within-SC）或跨领域语义变动（Between-group），即使表面干扰特征仍保留原锚点结构，模型输出的后验概率分布也会发生剧烈漂移。这从因果干预层面上证实了不变子空间在语义引导中的主导地位。

4. 跨层高特征值不变区域聚合签名：捕捉模型特异性几何指纹 大模型训练处于高度非凸的优化曲面中，即便多个模型学习到了相似的外部语义行为，其内部表征流形的局部曲率、朝向与基底排列仍具有强烈的模型特异性。本设计依据层级广义特征值谱的相对质量分布，筛选出不变结构最为显著的中深层集合 $\{\ell_i, \ldots, \ell_j\}$，并将各选定层的不变投影拼接为多层紧凑几何签名： $$s_m(x) = \mathrm{Agg}(z_{\mathrm{inv}}^{(\ell_i)}, \ldots, z_{\mathrm{inv}}^{(\ell_j)})$$ 在下游模型归属任务中，给定测试模型的不变签名 $s_t(x)$，通过余弦相似度匹配 $\hat{m} = \arg\max_{m \in \mathcal{F}} \mathrm{Sim}(s_t(x), s_m(x))$ 即可进行零样本原型分类。这一机制不仅不依赖于有监督分类器或脆弱的文本水印，而且能够自然穿透微调与知识蒸馏等模型适配过程。

一个完整示例¶

以语义组“France”为例，锚点查询为“What is the official language of France?”： 1. 扰动采样：生成 SP 释义“Which language holds official status in France?”以及 SC 语义变动“What is the national currency of France?”（简单语义偏移）与“What is the longest river in South America?”（复杂跨域语义偏移）。 2. 状态抽取与分解：在 Mistral-7B 提取第 20 层最终 token 隐藏表示，差分计算得到 $S_{20}^{\mathrm{sp}}$ 与 $S_{20}^{\mathrm{sc}}$，正则化求解后取出前 $k=32$ 个不变特征向量。 3. 因果干预验证：将锚点的不变分量替换为 SP 变体的不变分量，KL 散度仅为 0.036；而替换为 SC 变体时，KL 散度飙升至 0.341，跨主题替换更是达到 0.974，直观体现出不变分量对核心答案“French”的因果控制。 4. 模型归属识别：使用未经微调的基座原型签名匹配经过 Alpaca 指令微调后的 Mistral 检查点，其余弦相似度依然超过 91.4%，成功从 9 种备选模型家族中精准辨识出源模型。

实验关键数据¶

主实验¶

论文在覆盖 9 大开源模型家族（Mistral-7B, Llama-3-8B, Gemma-7B, Qwen2.5-7B, GLM-4-9B, DeepSeek-MoE-16B, InternLM2-7B, Phi-4-mini, Falcon3-7B）以及 10 个概念主题（共 410 个受控测试用例）上进行了全面评测。在零样本模型归属实验中，对比了本文提出的对比不变表征（$Z_{\mathrm{inv}}$）与保持相同维度的传统主成分分析（PCA）基线在基座模型（Base）、监督微调（Fine-Tuning）与知识蒸馏（Distillation）设置下的准确率。

模型架构	适配设置	本文方法 ($Z_{\mathrm{inv}}$)	PCA 基线	准确率提升
Llama-3.1-8B	Base Model	96.8%	87.4%	+9.4%
Llama-3.1-8B	Fine-Tuning	95.3%	85.1%	+10.2%
Llama-3.1-8B	Knowledge Distillation	93.9%	82.7%	+11.2%
Mistral-7B	Base Model	95.7%	86.2%	+9.5%
Mistral-7B	Fine-Tuning	94.8%	84.6%	+10.2%
Mistral-7B	Knowledge Distillation	92.6%	81.9%	+10.7%
Qwen2.5-7B	Base Model	95.1%	85.8%	+9.3%
Qwen2.5-7B	Fine-Tuning	93.8%	83.4%	+10.4%
Qwen2.5-7B	Knowledge Distillation	91.7%	80.6%	+11.1%
Gemma-7B	Base Model	94.2%	84.9%	+9.3%
Gemma-7B	Fine-Tuning	92.9%	82.8%	+10.1%
Gemma-7B	Knowledge Distillation	90.8%	79.8%	+11.0%

在不同主题语义组（Group 1 Cats, Group 4 Photosynthesis, Group 6 Einstein）中评估的语义位移能量向干扰子空间的泄露比率（$E_{\mathrm{nuis}}$）表明，所有模型的语义位移能量均处于 0.010 至 0.023 的极低区间（平均在 1%~2%），而 PCA 基线的投影泄露率高达 30%~70%，证明本文方法成功将跨组语义位移完全限制在不变子空间之外。

消融实验¶

消融实验聚焦于隐状态表征干预的因果效应分析，评测在替换不变分量（$A_{\mathrm{inv}}$）或干扰分量（$A_{\mathrm{nuis}}$）时，模型输出后验的 KL 散度与 Logit 均方误差（MSE）。

干预配置与施主类型	评估指标	Mistral-7B	Llama-3-8B	Qwen2.5-7B	DeepSeek-MoE	效应机制说明
不变分量替换: 组内同义释义 (Within-SP)	KL 散度 ↓	0.036	0.040	0.047	0.052	释义扰动几乎不改变输出概率分布
不变分量替换: 组内语义变动 (Within-SC)	KL 散度 ↑	0.341	0.360	0.401	0.427	局部微小语义变化即引起明显的输出漂移
不变分量替换: 跨组语义变动 (Between)	KL 散度 ↑	0.974	0.986	0.984	0.985	完全破坏原有语义导致输出后验重构
干扰分量替换: 组内同义释义 ($A_{\mathrm{nuis}} \leftarrow A_{\mathrm{SP,nuis}}$)	KL 散度 ↓	0.124	0.138	0.142	0.149	干扰替换对输出影响较弱且缺乏选择性
干扰分量替换: 组内语义变动 ($A_{\mathrm{nuis}} \leftarrow A_{\mathrm{SC,nuis}}$)	KL 散度 ↓	0.109	0.114	0.129	0.138	变动干扰分量并不能引起因果语义改变
不变子空间维度消融 ($k \in \{1, 10, 32\}$)	SC/SP 分离度	重叠一致	重叠一致	重叠一致	重叠一致	前 1-10 个主特征向量已捕获绝大部分语义能量

关键发现¶

不变特征在网络中深层集中涌现：层级广义特征值谱分析显示，前几个主要特征值随着网络深度加深呈现出显著的对数级增长，语义抽象并非均匀分布，而是在中深层网络急剧聚集收敛。
干扰子空间缺乏语义选择性：对干扰成分 $A_{\mathrm{nuis}}$ 进行 SP 和 SC 替换时，两条 KL 曲线在各层几乎重合演化，表明干扰子空间无法因果控制模型的具体语义决策。
几何特征穿透模型后处理与蒸馏：即便基座模型经历全量指令微调（SFT）或被蒸馏至极小参数量，其基于不变区域的局部几何结构仍旧高度保真，展现了极强的表征指纹韧性。

亮点与洞察¶

将语义不变性转化为可解的广义特征值问题：巧妙地将流形切空间中抽象的“语义不变与表面多变”形式化为瑞利商最优化，摆脱了启发式探测训练的黑盒不确定性。
以模型内生几何结构替代外挂水印：揭示了 Transformer 即使产生同质化的高级文本输出，其潜空间几何基底依然带有独特的优化轨迹印记，为零样本模型知识产权保护开辟了全新路径。
因果干预闭环验证：不局限于静态的表征相似度或投影残差比，而是直接在隐层切空间实施向量补丁（patching）并衡量 logits 漂移，建立了严谨的因果解释性范式。

局限与展望¶

干扰子空间存在弱语义残留：作者坦承数据驱动的正交补分解无法达到纯净的理论完全解耦，对干扰成分替换仍能检测到非零的轻微 KL 漂移，未来需要探索非线性流形投影或黎曼流形测地线度量。
受控合成扰动依赖：当前敏感度估计依赖高质量的配对释义与受控语义突变样本，在完全无监督、未标注的大规模野外语料上的泛化分解能力尚待检验。
模型规模跨度边界：小型模型（如 Phi-4-mini）在浅层的不变性分离不如百亿级密集模型锐利，暗示语义几何结构的清晰度与参数规模存在某种相变关联，值得深入探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从局部切空间与对比广义特征值角度严格刻画大语言模型的语义不变性几何。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 9 大模型家族、全层谱分析、因果干预、消融实验以及跨微调/蒸馏的模型归属验证。
写作质量: ⭐⭐⭐⭐⭐ 数学公式定义精准，几何图景与因果动机论述严密，逻辑链路一气呵成。
价值: ⭐⭐⭐⭐⭐ 对大模型机理可解释性、表示学习理论以及模型版权归属取证均具有显著的启发与应用价值。