decomposing how prompting steers behavior¶
会议: NeurIPS 2026
arXiv: 2606.03093
领域: 可解释性
关键词: 提示词调控, 表征几何, 嵌套几何分解, 激活干预, 仿射变换
一句话总结¶
本文提出嵌套几何分解框架，将提示词对内部表征的改变分解为平移、刚体缩放、轴向缩放、仿射与非线性变换，发现提示词主要以平移改变激活方差，但下游任务几何与行为的因果恢复关键取决于仿射变换引入的跨维度特征混合。
研究背景与动机¶
大语言模型（LLM）与视觉语言模型（VLM）在推理时能够通过修改提示词指令直接改变下游行为，例如仅需将指令从“描述目标类别”切换为“描述艺术风格”，模型便会关注完全不同的特征并输出对应属性。然而，这种无须参数更新的行为调控机制在模型内部究竟对应着何种表征重组过程，至今仍是一个未解的机理问题。
现有的相关研究主要从两个分离的视角切入：表征分析工作证实了提示词与上下文会系统性重塑内部表征几何（如改变流形容量、表征相似性与轨迹结构），但多依赖标量诊断指标，缺乏对表征流形变换类型的显式数学刻画；激活调控（activation steering）研究虽然表明加性向量、旋转或仿射映射等人为构造的简单几何干预能诱发行为改变，但这些算子大多来自人工设计或局部探测，未能检验自然提示词诱发的真实激活改变究竟属于何种几何变换族。
这两条路线的核心矛盾在于：我们缺乏一个系统化的测量与因果验证框架，来将自然提示词诱发的全量表征变化精确分解为互不重叠、层层递进的数学变换类别。本文的核心 idea 是构建一个从平移、各向同性刚体变换、轴向缩放刚体变换、仿射变换到非线性映射的五层嵌套几何分解层次结构，在保持刺激集配对的前提下拟合提示词流形间的变换映射，并通过单层激活因果干预评估其对目标几何与行为的恢复程度。
方法详解¶
整体框架¶
本文的方法以刺激不变（stimulus-invariant）的全局映射为研究对象。对固定的视觉或文本刺激集 \(\mathcal{S}\) 与两个不同的提示词 \(A\) 和 \(B\)，抽取模型在第 \(\ell\) 层最后一个输入提示词 token 处的隐状态矩阵 \(\mathbf{X}^A, \mathbf{X}^B \in \mathbb{R}^{N \times D}\)。为了解开变换的复杂性，框架构建了一个严格嵌套的变换假设族 \(\mathcal{F}_{\mathrm{T}} \subset \mathcal{F}_{\mathrm{O_u}} \subset \mathcal{F}_{\mathrm{O_a}} \subset \mathcal{F}_{\mathrm{L}} \subset \mathcal{F}_{\mathrm{N}}\)，并在交叉验证划分下求解最小化 Frobenius 重构误差的最优映射。随后，通过在单层将提示词 \(A\) 的隐状态替换为映射后的预测隐状态，沿着剩余层继续前向传播，因果评测表征几何（RSA/Silhouette）与最终生成行为的恢复水平。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入刺激集 S 与配对提示词 A/B"] --> B["隐状态提取与中心化<br/>提取第 l 层末尾 token 激活 XA, XB"]
B --> C["平移变换：质心位移向量<br/>求解均值漂移 b = mu_B - mu_A"]
C --> D["各向同性刚体变换：正交 Procrustes 对齐<br/>SVD 求解旋转矩阵 Q 与全局缩放 c"]
D --> E["轴向缩放刚体变换：对齐基下的独立增益调节<br/>沿对齐坐标轴最小二乘求解对角阵 D"]
E --> F["仿射变换：跨维度线性特征混合<br/>岭回归闭式解全矩阵 M"]
F --> G["非线性残差拟合：浅层多层感知机<br/>双层 MLP 学习残差几何变换"]
G --> H["因果激活干预与双重视角评估<br/>单层状态替换后测定 RDM 相似度与行为正确率"]关键设计¶
1. 平移变换：质心位移向量
针对表征流形在空间中整体位移的基础假说，平移变换族 \(\mathcal{F}_{\mathrm{T}}\) 仅引入全局均值漂移参数 \(\mathbf{b} \in \mathbb{R}^D\)。在对两组刺激表征分别计算均值向量 \(\boldsymbol{\mu}^A\) 与 \(\boldsymbol{\mu}^B\) 后，其闭式解为：
$$
\widehat{\mathbf{b}} = \boldsymbol{\mu}^B - \boldsymbol{\mu}^A
$$
该设计对应概念向量（concept vector）或加性调控假说，用于隔离单纯激活均值偏移对表征分布的贡献。
2. 各向同性刚体变换：正交 Procrustes 对齐
为了探究流形是否仅在保持全局相对几何形状的前提下发生旋转、镜像与等比例缩放，\(\mathcal{F}_{\mathrm{O_u}}\) 在去均值中心化矩阵 \(\widetilde{\mathbf{X}}^A\) 与 \(\widetilde{\mathbf{X}}^B\) 间引入正交矩阵 \(\mathbf{Q} \in O(D)\) 与标量尺度因子 \(c > 0\)。通过对互协方差矩阵 \(\mathbf{C} = \widetilde{\mathbf{X}}^{A\top}\widetilde{\mathbf{X}}^B\) 进行奇异值分解 \(\mathbf{C} = \mathbf{U}\boldsymbol{\Sigma}\mathbf{V}^\top\)，得到经典 Procrustes 解析解：
$$
\widehat{\mathbf{Q}} = \mathbf{U}\mathbf{V}^\top, \qquad \widehat{c} = \frac{\langle \widetilde{\mathbf{X}}^A\widehat{\mathbf{Q}}, \widetilde{\mathbf{X}}^B \rangle_F}{|\widetilde{\mathbf{X}}^A|_F^2}
$$
该变换保留了成对样本间的归一化欧氏距离与距离排序，用以衡量不改变点云内部几何形状的刚体对齐能力。
3. 轴向缩放刚体变换：对齐基下的独立增益调节
为了分离各特征维度的差异化增益放大与跨维度混叠，\(\mathcal{F}_{\mathrm{O_a}}\) 沿用前一步解出的最优正交基 \(\widehat{\mathbf{Q}}\)，先构建刚体对齐特征 \(\mathbf{Z} = \widetilde{\mathbf{X}}^A \widehat{\mathbf{Q}}\)，再允许每个正交轴拥有独立的非负缩放因子 \(d_j\)，即对角矩阵 \(\mathbf{D} = \mathrm{diag}(d_1, \dots, d_D)\)。每个维度的尺度因子通过一维最小二乘独立求解：
$$
\widehat{d}j = \frac{\langle \mathbf{Z}, \qquad j = 1, \dots, D
$$
此举排除了坐标系任意旋转混淆，严格测试仅通过独立轴向增益调节能否重建目标表征。}, \widetilde{\mathbf{X}}^B_{:,j} \rangle}{|\mathbf{Z}_{:,j}|_2^2
4. 仿射变换：跨维度线性特征混合
提示词若要改变特征之间的相对权重并实现子空间投影重组，需要允许任意维度间的线性组合。仿射变换族 \(\mathcal{F}_{\mathrm{L}}\) 引入完全无约束的线性变换矩阵 \(\mathbf{M} \in \mathbb{R}^{D \times D}\)。使用岭回归（正则化参数 \(\lambda = 1\)）进行闭式求解：
$$
\widehat{\mathbf{M}} = \left(\widetilde{\mathbf{X}}^{A\top}\widetilde{\mathbf{X}}^A + \lambda \mathbf{I}\right)^{-1} \widetilde{\mathbf{X}}^{A\top}\widetilde{\mathbf{X}}^B
$$
与刚体和对角缩放相比，全矩阵 \(\mathbf{M}\) 能够显式执行剪切（shear）与特征维度的交叉混合，是衡量线性表征重组假说的核心层级。
5. 非线性残差拟合：浅层多层感知机
为了检验超出线性框架之外的非线性表征重组，\(\mathcal{F}_{\mathrm{N}}\) 实例化为一个共享单隐藏层 MLP \(g_{\boldsymbol{\theta}}\)（隐藏单元 \(H = 512\)，GELU 激活）。MLP 接收中心化输入 \(\widetilde{\mathbf{X}}^A\) 并拟合残差，使用 AdamW 优化器（学习率 \(10^{-3}\)，权重衰减 \(10^{-3}\)）在训练折上训练 200 个 epoch。由于容量受限，其解释方差增量 \(\Delta R^2_{\mathrm{N}}\) 可作为任意复杂非线性变换解释能力的经验下界。
损失函数 / 训练策略¶
每一层变换类 \(k \in \{\mathrm{T}, \mathrm{O_u}, \mathrm{O_a}, \mathrm{L}, \mathrm{N}\}\) 均在五折分层交叉验证下，最小化 Frobenius 范数重构误差： $$ \widehat{f}k = \arg\min^A)|_F^2 $$ 定义未经变换的基线残差为 }_k} |\mathbf{X}^B - f(\mathbf{X\(\mathrm{RSS}_0 = \|\mathbf{X}^B - \mathbf{X}^A\|_F^2\)，第 \(k\) 层的累积解释方差为 \(R_k^2 = (\mathrm{RSS}_0 - \mathrm{RSS}_k) / \mathrm{RSS}_0\)。本层相比前序层级的增量贡献定义为 \(\Delta R_k^2 = R_k^2 - R_{k-1}^2\)。在测试集上计算该增量指标，并严格约束增量与不可解释残差之和为 1。因果干预时，对测试样本在第 \(\ell\) 层注入变换激活并采用贪心解码生成最多 50 个 token。
实验关键数据¶
主实验¶
在 3 个大语言模型（OPT-2.7B、Llama-3-8B-Instruct、Qwen3-8B）和 3 个多模态大模型（BLIP-2、LLaVA-OneVision-7B、Qwen3-VL-8B）上，测试 6 个双属性数据集（EmotionalStory、WritingStyle、Number、EmoSet、StyleTransfer、COCO）。在表征层面使用目标 RDM 斯皮尔曼相关系数与 Silhouette 轮廓系数，行为层面评测相关性（Relevance）与准确率（Accuracy）。
| 模型与数据集设置 | 评测维度 | 原始 Prompt A | 平移变换 (T) | 轴向缩放 (Oa) | 仿射变换 (L) | 非线性 (N) | Oracle Prompt B |
|---|---|---|---|---|---|---|---|
| LLaVA-OneVision (COCO G1, ℓ=22) | 任务相关性 (%) | 0.0 | 58.3 | 72.1 | 89.6 | 92.4 | 96.8 |
| LLaVA-OneVision (COCO G1, ℓ=22) | 行为准确率 (%) | 0.0 | 41.2 | 56.7 | 78.5 | 82.0 | 85.3 |
| Qwen3-VL (COCO G1, ℓ=27) | 任务相关性 (%) | 0.0 | 36.4 | 63.6 | 90.9 | 94.5 | 98.2 |
| Qwen3-VL (COCO G1, ℓ=27) | 行为准确率 (%) | 0.0 | 27.3 | 45.5 | 72.7 | 81.8 | 89.1 |
| 全模型汇聚 (深层表征) | RDM Spearman \(\rho\) | 0.04 | 0.04 | 0.28 | 0.53 | 0.61 | 0.76 |
| 全模型汇聚 (深层表征) | Silhouette 分数 | -0.08 | -0.08 | 0.06 | 0.21 | 0.27 | 0.38 |
消融实验¶
基于嵌套分解的方差贡献率（\(\Delta R^2\)）与几何因果干预消融，展示各几何变换层级对激活方差的解释比例以及对下游行为因果引导的关键作用。
| 变换层级 (Config) | 增量方差解释 \(\Delta R^2\) 均值 | 几何恢复贡献 (RDM \(\rho\) 增益) | 行为准确率增益 (Accuracy) | 几何/行为特性说明 |
|---|---|---|---|---|
| 纯平移 (\(\mathcal{F}_{\mathrm{T}}\)) | 0.55 - 0.78 | 0.00 (无变化) | +30.0% ~ +41.2% | 主导激活方差变化，不改动成对相对距离排序 |
| 刚体均匀缩放 (\(\mathcal{F}_{\mathrm{O_u}}\)) | 0.03 - 0.12 | 0.00 (无变化) | +2.1% ~ +5.4% | 保留流形内在几何形状，改变全局朝向与尺度 |
| 刚体轴向缩放 (\(\mathcal{F}_{\mathrm{O_a}}\)) | 0.02 - 0.06 | +0.24 | +9.2% ~ +15.5% | 各轴增益调制，开始重构类间分离度 |
| 全仿射变换 (\(\mathcal{F}_{\mathrm{L}}\)) | 0.08 - 0.21 | +0.25 | +21.8% ~ +27.2% | 引入跨维度线性混合，几何与行为大幅跃升 |
| 非线性 MLP (\(\mathcal{F}_{\mathrm{N}}\)) | 0.01 - 0.05 | +0.08 | +3.5% ~ +9.1% | 捕捉高阶残差，相较仿射变换边际收益有限 |
关键发现¶
- 激活改变在空间方差层面由简单变换主导：在全网络层级中，平移变换解释了 55% 至 78% 的激活方差，证明提示词诱发的主要表征改变在量级上表现为一个均值方向偏移。
- 几何与行为恢复存在层级解耦：尽管平移与均匀刚体变换解释了绝大部分激活方差，但根据定义它们无法改变基于秩相关的 RDM 和 Silhouette 分数；真正恢复目标任务几何结构与高准确率行为的转折点是仿射变换（\(\mathcal{F}_{\mathrm{L}}\)），这表明跨维度线性特征混合是提示词重构任务流形的关键机制。
- 模型架构决定路由策略：OPT-2.7B 在浅层依赖较少的平移，需要更高维的旋转与仿射分量；而 Llama-3-8B 与 Qwen3-8B 则表现出高度紧凑的低维指令编码策略，其 Procrustes 对齐维度显著更低。在 VLM 中，BLIP-2 的 Q-Former 输出在深层依然以平移向量为主，而端到端联合训练的模型表现出更强的信息混合灵活性。
亮点与洞察¶
- 嵌套几何分解将抽象的指令调控拆解为严格包含的李群与代数结构，为激活工程提供了可量化、层层剥离的标准度量尺。
- 揭示了激活方差与行为调控因果能力的“矛盾”：大方差的平移向量能促使模型给出目标领域的初步词汇，但要精确建立任务内部的区分度与类别几何，必须依赖小方差却至关重要的仿射特征混合。
- 发现仿射变换是解释自然提示词效应的高性价比上限，非线性 MLP 带来的边际增益微弱，为未来轻量级隐空间调控算法（如低秩仿射调控）提供了坚实的机理支撑。
局限与展望¶
- 本文分析限定于单轮零样本指令提示，未涵盖少样本示例（few-shot ICL）、软提示（soft prompt）及长上下文思维链推理过程。
- 激活干预仅在单个网络层的最后一个输入 prompt token 处执行，尚未探索多层协同干预或横跨序列上下文的动态多 token 变换机制。
- 未来工作可探索基于仿射分解的自适应无梯度调控算法，将离线估计的仿射算子迁移至轻量化端侧模型的实时推理纠偏中。
相关工作与启发¶
- vs 激活加法调控 (Activation Addition / Steering Vectors)：现有方法（如 ActAdd、CAA）多局限于加性向量（即本文的平移层级 \(\mathcal{F}_{\mathrm{T}}\)）；本文证实了纯向量加法虽能改变相关性，但无法重塑内部相对几何，仿射变换才是完整恢复任务几何的最小充分变换。
- vs 旋转与正交投影调控 (Angular / Null-space Steering)：角度与旋转方法探索了正交空间操作，但本文在数据驱动下发现单纯各向同性旋转带来的方差与行为恢复增益有限，必须结合跨轴线性混合。
- vs 标量表征几何分析 (Representational Capacity / RSA)：以往工作仅用标量指标衡量提示词重塑表征的程度，本文首次给出了流形间具体的映射算子闭式族并进行了反向因果合成验证。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出严格嵌套的表征几何分解模型，填补了自然提示词机制与激活调控之间的形式化理论空白。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 个开源模型、跨文本与图像 6 个数据集、数千刺激及 6 组提示词配对，因果干预与统计验证极为详实。
- 写作质量: ⭐⭐⭐⭐⭐ 数学形式严谨，逻辑推导清晰，图表设计兼具深度与可读性。
- 价值: ⭐⭐⭐⭐⭐ 为大模型可解释性、机制可解释性及推理期表征操纵提供了重要且具指导意义的理论基准。