Gluing Local Contexts into Global Meaning: A Sheaf-Theoretic Decomposition of Transformer Representations¶

会议: NeurIPS 2026
arXiv: 2610.17117
OpenReview: https://openreview.net/forum?id=P5J2YE6sLF
论文: https://arxiv.org/abs/2610.17117
代码: https://cwru-aism.github.io/gluing-lc-page/
领域: 其他
关键词: 细胞层理论, 层拉普拉斯算子, 跨上下文一致性, 内容子空间, 激活工程转向

一句话总结¶

本文利用细胞层理论（Cellular Sheaves）在复述图上构建层拉普拉斯算子，无需训练即可将冻结 Transformer 激活分解为跨表述不变的语义内容核空间与承载因果影响的表层变化空间，并推导出表征转向脆弱性的代数拓扑度量。

研究背景与动机¶

当前 Transformer 表征机制可解释性研究在理解模型内部状态时，面临语义内容与表述形式纠缠的核心困境。相同的客观语义事实在不同句式下（如“巴黎是埃菲尔铁塔的所在地”与“埃菲尔铁塔位于巴黎”）会诱发显著相异的隐藏层激活状态。现有的可解释性分析范式大多局限于单一激活向独立字典特征的稀疏分解（如稀疏自编码器 SAE）、预选属性在线性探针下的可读性测试，或是针对两套激活空间整体几何结构的粗粒度相关性度量（如 CKA、SVCCA）。然而，这些工具均未对跨上下文一致性提供有效判定，无法解耦出表征中跨表达保持恒定的语义内容与随表述变动的表面扰动。

这种理论盲区的现实后果直接暴露在基于激活干预的模型表征转向（Activation Steering）技术中。相同的表征转向向量注入不同模型时，其有效性差异极大，有时能精准控制行为，有时却导致生成质量严重崩塌，且缺乏可解释工具提前预测模型的干预响应边界。将句子表述的变化视为局部观测证据，可以发现核心矛盾在于：单一复述对仅能充当局部观测证据，孤立的局部视角无法天然保证模型在全局表征流形上形成一致的语义流形切片，且深层网络在前向传播时层与层之间的几何变换极易破坏复述等价性。

本文从拓扑代数中的细胞层理论切入，将多对复述样本视作表征图上的节点，以限制映射和余边界算子衡量局部表述的不一致性。核心 idea：在复述图与跨层激活网格上构建细胞层（Cellular Sheaf），利用层拉普拉斯算子的核空间精确分离跨句式不变的语义内容，利用其谱补空间捕获高因果影响的表述扰动，并以跨层闭环诱导的霍奇调和质量作为模型转向脆弱性的拓扑诊断指标。

方法详解¶

整体框架¶

本文构建的机制可解释性分析框架在完全冻结的模型参数上执行，无需梯度更新。整体流程分为单层匹配图（Matching Graph）的层分解与多层匹配网格（Multi-Layer Matching Grid）的拓扑循环分析两部分。在单层匹配图上，节点 stalk 承载输入句子的隐藏状态，边连接语义等价的复述句对，并通过学习到的限制映射矩阵将高维激活投射到低维公共比较空间；余边界算子计算边两端投影差异，由此构造出的经验层拉普拉斯矩阵的特征分解直接实现了特征空间的解耦。在跨越深度的多层网格上，层与层之间的正交普鲁克分析（Procrustes Alignment）建立了跨层传输，形成代数 1-闭链，利用离散霍奇分解计算调和质量以刻画表征脆弱性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入复述句子对与冻结模型激活"] --> B["限制映射降维投影"]
    B --> C["余边界计算与层拉普拉斯谱分解"]
    C --> D["正交补解耦与因果转向干预"]
    D --> E["多层网格构建与霍奇调和质量诊断"]
    E --> F["输出语义子空间、因果敏感方向与模型脆弱性评估"]

关键设计¶

1. 限制映射降维投影：在低维公共边空间对齐复述激活 直接在全维度残差流中度量复述差异会受到庞大本底噪声干扰，且维度高导致特征值问题计算代价过大。本文在图 $G=(V,E)$ 上赋予每个节点 stalk $\mathcal{F}(v) = \mathbb{R}^d$（即隐藏激活向量），并在每条边赋予低维公共比较 stalk $\mathcal{F}(e) = \mathbb{R}^k$（其中 $k \ll d$，通常取 $k=128$）。节点到边的线性限制映射记为 $\mathcal{F}_{v \trianglelefteq e} = P^\top$，其中变换矩阵 $P \in \mathbb{R}^{d \times k}$ 具备三种构造范式：基于成对激活的主成分分析（Joint-PCA）、典型相关分析（CCA）以及最大化成对变异对总变异比值的对比 Fisher 判别（Contrastive Fisher）。将特征分解限制在 $k \times k$ 维的对称矩阵空间中，极大加速了跨 124M 至 13B 规模模型时的计算。

2. 余边界计算与层拉普拉斯谱分解：无监督解耦内容与变异 为形式化检验局部表述在全局的一致性，系统定义 0-余链的余边界算子 $(\delta^0 s)_e = P^\top s_{v_1} - P^\top s_{v_2}$，其一致性能量 $E_{\text{cons}}(s) = \sum_e \|(\delta^0 s)_e\|^2$ 在复述内容完全一致时严格为零。经验层拉普拉斯矩阵形式化为： $$L_{\mathcal{F}} = \frac{1}{N} \sum_{i=1}^N \Delta_i^{(k)} (\Delta_i^{(k)})^\top \in \mathbb{R}^{k \times k}, \quad \Delta_i^{(k)} = P^\top h_i^{(1)} - P^\top h_i^{(2)}$$ 在代数拓扑性质下，该矩阵的低能核空间 $H^0 = \ker(\delta^0)$ 对应特征值接近零的底层特征向量，其物理意义为在所有复述对中保持完全恒定的全域语义内容；而其谱补空间（高特征值特征向量，记为 $H^1$ 方向）则集中了表述方式、语法结构以及表面形式的变异。通过正交投影算子 $\Pi_{H^0} = P V_{H^0} V_{H^0}^\top P^\top$，可精确从任意激活中滤除或保留特定语义成分。

3. 正交补解耦与因果转向干预：针对表面变异的高信噪比控制 常规激活工程技术（如 CAA）直接提取目标与原始完成文本之间的全局均值差 $\Delta = \bar{h}_{\text{target}} - \bar{h}_{\text{source}}$，往往将特定表述噪声与事实语义强行捆绑。本文基于拉普拉斯谱分解设计了两种增强转向向量：其一为从原始差值中完全剔除内容分量的 $H^0$-removed 转向 $\Delta_{H^1} = \Delta - \Pi_{H^0}\Delta$；其二为向高方差 $H^1$ 维度投影并依据特征值能量加权的加权干预向量。在严格控制转向向量范数与基线对齐的条件下，仅改变模型的表层行文风格，而不破坏事实检索路径。

4. 多层网格构建与霍奇调和质量诊断：深度累积环路量化架构脆弱性 单层匹配图由于不存在拓扑环路，代数第一上同调群平凡化（$H^1 = 0$）。为捕获深层表示在变换中的非交换性，本文横跨网络深度堆叠激活构建网格：横向边连接同层复述，纵向边连接相邻层间同一句子的激活。相邻层之间的垂直边通过正交普鲁克映射（Procrustes alignment）$R_{l \to l+1}$ 建立对应坐标基准。多层网格生成了 $b_1 = N(L-1)$ 个独立的代数 1-闭链，每个闭环测试层间状态迁移与复述等价性是否可交换。离散霍奇分解将模型导出的边余链 $\omega$ 分解，其落入调和子空间 ker$(L_1)$ 的能量占比称为霍奇调和质量（Hodge Harmonic Mass）。当网络各层传递对复述表达存在严重畸变时，调和质量显著增高，可直接作为衡量模型表征对几何扰动脆弱性的无监督先验标尺。

损失函数 / 训练策略¶

本方法完全基于预训练模型的前向激活做闭式矩阵分解，不涉及反向传播更新与训练损失。当推广至自监督预训练的几何正则化场景时，本文证明可引入层正则化目标： $$\mathcal{L} = \operatorname{tr}(L_{\mathcal{F}}) - \beta \log \det \operatorname{Cov}(f)$$ 该目标将层拉普拉斯迹（对应于成对表征差异的均方误差）与协方差矩阵的对数行列式惩罚（防止特征流形维度塌陷）结合，无需显式负样本或复杂的动量更新机制即可维持表征空间的满秩流形。

实验关键数据¶

主实验¶

主实验在 ROME CounterFact 基准上评估从 $H^0$ 空间检索事实的能力，测试集包含 150 个未见过的独立事实，要求在相同关系的高度干扰项中实现 Top-1 事实检索。基线包括原始全维表征（Full）、全维概念消除算法 LEACE 及其降至 20 维的对照组（LEACE-20D）、无监督 PCA-20 与随机投影 Rand-20。

模型	隐藏层维度	Full 检索率 (%)	LEACE-full (%)	LEACE-20D (%)	PCA-20 (%)	Sheaf $H^0$ (20D, 本文)	相对 LEACE-full 提升
GPT-2 (124M)	768	43.1	43.1	28.9	24.6	85.3	+42.2 pp
Phi-2 (2.7B)	2560	69.1	69.1	38.8	37.2	87.1	+18.0 pp
Mistral-7B	4096	77.7	77.7	36.8	34.5	87.1	+9.4 pp
OLMo-2-7B	4096	81.3	81.3	40.9	35.7	82.8	+1.5 pp
Qwen-2.5-7B	3584	49.4	49.4	36.8	37.5	64.1	+14.7 pp
Gemma-2-9B	3584	54.4	54.4	32.3	27.5	77.9	+23.5 pp
Llama-2-7B	4096	68.2	68.2	25.7	22.3	80.4	+12.2 pp
Llama-3-8B	4096	72.7	72.7	28.2	24.4	88.0	+15.3 pp

消融实验¶

消融实验包含两项核心检验：其一为单层匹配图拓扑约束方式（成对无环森林 vs 包含所有复述的闭环环图 vs 全连接完全图）对 $H^0$ 检索的影响；其二为限制映射 $P$ 的选取方式对提取内容核空间纯度的影响。

拓扑结构 / 限制映射机制	b1 闭环数	平均 CounterFact 检索率 (%)	相比 Pair-only 变化	说明
Pair-only (两两成对森林)	0	80.8	基准	仅利用成对局部几何约束
Multi-paraphrase Ring (复述闭环)	$N_{\text{train}}$	87.3	+6.5 pp	联合约束事实的全部复述句
Paraphrase Clique (完全图)	$\gg N_{\text{train}}$	87.3	+6.5 pp	边密度进一步增加未带来额外增益
Acyclic Path (边数匹配无环链)	0	88.5	+7.7 pp	证明提升源自联合约束而非拓扑环闭合
限制映射：Joint-PCA $P$	-	81.6	基准	将特征空间投影压缩至 128 维
限制映射：Identity $P$ (无投影)	-	77.5	-4.1 pp	直接在原全维空间求 $C_W$ 核空间依然有效
限制映射：Random Orthonormal $P$	-	74.2	-7.4 pp	5 次随机种子正交投影仍大幅战胜非核基线

在因果功能消融验证中，将高变异 $H^1$ 坐标置零对模型输出造成的影响，是置零等方差控制坐标的 5.6× 至 26.5×（在 Llama-2-13B 上达到 26.5×，在 GPT-2 上为 18.2×），且直接剔除 $H^1$ 特征基使模型事实召回率直接骤降至 0%~5%。

关键发现¶

核空间提取的本质性与投影无关：即使采用单位矩阵或完全随机的正交投影作为限制映射，$H^0$ 在 20 维下的事实检索精度依然稳定超过 74%~77%，远高于未做核提取的 PCA-20（30.5%），证明内容不变性内生于复述差分协方差矩阵的核空间结构中，而非人工特征工程产物。
调和质量与转向脆弱性严格单调：在多层拓扑网格上度量的霍奇调和质量横跨近 3 个数量级（Mistral-7B 为 $10^{-4}$，Llama-2-7B 高达 0.079）。调和质量越低的模型在受到随机几何扰动时事实保留能力越强，两者呈现显著的斯皮尔曼等级相关（$\rho = 0.90, p = 0.014$）。
脆弱架构与鲁棒架构的最优干预范式不同：在脆弱的 Llama-2-7B 上，高强度随机干预导致事实保留率塌缩至 4.2%，而对比层转向算法能将其拉回至 31.0%；但在低调和质量的 Mistral-7B 和 Llama-3-8B 上，大扰动下随机扰动已具有高耐受性，层引导干预的最优工作区间位于中低扰动范数（$\alpha \in [0.10, 0.15]$）。

亮点与洞察¶

将表征对齐问题形式化为细胞层的局部粘合条件：巧妙避开了训练额外神经网络探针的过拟合问题，将语言学复述等价性映射为层上截面的一致性条件，用层拉普拉斯算子给出了无监督表征解耦的优雅闭式解。
深度网格上的离散霍奇理论开辟模型诊断新路径：将网络前向传播与语义等价变换的非对易性量化为代数 1-闭链上的非零曲率，使得单次无梯度的纯前向传播即可精准评估不同 LLM 底层架构的表示鲁棒性。
为表征工程与概念擦除提供了严谨代数统一视角：证明了经典概念擦除工具（如 LEACE）在秩-1 消除下的理论边界，揭示了谱补空间在表征因果操纵中远胜随机方向的高密度影响力。

局限与展望¶

限制映射的跨领域泛化存在衰减：在 MRPC、PAWS 等语料上学习得到的投影基 $P$ 转移到事实关系检索任务时会出现约 25 pp 的性能衰减，表明局部几何的流形结构对具体文本领域有一定依赖。
异构 stalk 间的全同同调拓展受限：当前多层构造依赖同构的隐藏层维度。对于跨多模态编码器或不同宽度层间的前向网络，由于必须引入逐节点异构限制映射与非单位普鲁克传输，高维代数闭环的有效性仍有待更深入的理论推演。
调和质量预测当前仅在小规模模型集上完成验证：虽然在所测试的 6 种主流模型架构上表现出高度等级相关，但要在工业级部署中作为通用标准，仍需覆盖更多长上下文与 MoE 架构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将细胞层理论与离散霍奇分解系统引入 Transformer 表征跨上下文一致性解耦与脆弱性分析。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 9 种代表性模型（124M-13B）、多项事实检索与激活干预基准，包含详尽消融与因果验证。
写作质量: ⭐⭐⭐⭐⭐ 数学严密，代数拓扑定义与经验神经网络机制映射清晰，实验设计层层递进。
价值: ⭐⭐⭐⭐⭐ 为深入理解 Transformer 表征几何流形提供了全新代数拓扑工具，对鲁棒激活干预与自监督正则化具有重要指导意义。