Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation-Level Enforcement¶

会议: NeurIPS 2026
arXiv: 2609.24243
OpenReview: https://openreview.net/forum?id=nWvQHaEImN
代码: https://github.com/henrymao2004/TAME
领域: VLM Reasoning
关键词: 多模态推理, 思维链混淆, 机械可解释性, 稀疏自编码器, 强化学习

一句话总结¶

针对强化学习引发多模态大模型思维链“高准确率但低可监控性”的混淆退化现象，本文揭示了内部表征空间中模板特征与视觉锚点可分性下降的机理，并提出了结合反混淆反馈循环与非对称稀疏自编码器（SAE）激活约束的 TAME 框架。

研究背景与动机¶

思维链（Chain-of-Thought, CoT）推理是多模态大语言模型（VLM）处理复杂视觉推理、规划和交互的核心基础。在安全与合规审计中，CoT 提供了一条至关重要的可解释监控通道：推理过程中的具体推演轨迹能够提前暴露最终决策所隐藏的潜在缺陷与偏差。随着强化学习（RL，如 GRPO）在 VLM 推理后训练中的广泛普及，模型在各类任务基准上的准确率大幅提升，但同时也诱发了严重的“思维链混淆”（CoT Obfuscation）——这是一种操作层面上非故意的训练退化现象，表现为模型任务奖励持续上升，而推理轨迹的可监控性与视觉锚定度却急剧崩溃。

传统纯文本语言模型中的思维链混淆往往表现为跳过推导步骤或生硬套用固定套话；然而在多模态场景下，该问题更为隐蔽且危险：经过强化学习调优后的 VLM 能够生成极其流畅且符合语法规范的 CoT，并给出完全正确的最终答案，但在推理轨迹中却悄然剥离了与图像真实证据相绑定的关键视觉细节，转而充斥着大量虚幻、放之四海皆准的任务无关模板短语。现有的行为层面监控器仅能从输出端被动检测到 CoT 质量的衰减，却无法探知模型内部表征的演变根源，因而无法从训练源头遏制这一退化趋势。

通过对模型前向计算进行注意力流追踪、积分梯度归因以及特征解耦分析，本文发现混淆现象伴随着明确的内部表征几何漂移：随着 RL 迭代，深层特征空间中任务无关的模板特征（TEMPLATE）与图像真实锚定内容（GROUND）的激活分布发生重叠，可分离度大幅下降，导致模型决策过度依赖模板路由。核心 idea：通过冻结的 TopK 稀疏自编码器（SAE）定位并约束与模板关联的内部神经元激活，结合提示词引导的二次反思蒸馏与非对称 SAE 惩罚构建 TAME 框架，在强化学习训练中单向抑制过量模板激活并保留视觉证据。

方法详解¶

整体框架¶

TAME（Targeted Anti-obfuscation with Mechanistic Enforcement）是一种将行为层反馈蒸馏与表征层激活正则化紧密耦合的对齐增强训练框架。其整体流程由两轮动态迭代与两套互补目标构成：在第一轮中，当前策略模型根据基础提示词采样初始推理候选轨迹，并以标准任务奖励计算 GRPO 策略梯度；对于任务奖励未达标的低质量样本，提示词更新器（Prompt Updater）根据批次缺陷自动生成强化视觉锚定的引导提示词，促使模型执行第二轮反思推理，并通过 RAFT 目标将去上下文的高质量推理行为内化沉淀到主策略中。在表征层，框架利用在预训练基座上提取的冻结 TopK 稀疏自编码器，在特定网络层对模板关联特征实施非对称惩罚，抑制强化学习过程中的模板激活膨胀。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入图像 x 与问题 p0"] --> B["第一轮采样与任务评估<br/>策略模型并行采样 G 个推理轨迹"]
    B --> C["提示词演化与反思展开<br/>GPT-4o 提炼视觉引导提示词 pe"]
    C --> D["无上下文行为内化<br/>针对高质量修正轨迹计算 RAFT 蒸馏"]
    D --> E["非对称 SAE 激活约束<br/>对比冻结基座惩罚模板超额激活"]
    E --> F["联合策略参数优化<br/>最小化 LTAME 提升轨迹可监控性"]

关键设计¶

1. 机制归因与关键层定位：解耦模板特征与视觉锚点

为了定位混淆行为在神经网络内部的发生位置，本文在答案生成的决策点（“Final:”前最后一个 token）对三类 token（视觉锚点 GROUND、领域实体 ENTITY、通用模板 TEMPLATE）计算归一化作弊指数（Normalized Cheating Index, CI）与积分梯度（Integrated Gradients, IG）。归一化作弊指数排除了强化学习诱导的 token 分布变化偏差，定义为原始作弊指数与均匀注意力基线的比值： $$CI(l,h) = \frac{S(l,h)_{\text{TEMPLATE}} / (S(l,h)_{\text{GROUND}} + S(l,h)_{\text{ENTITY}} + \epsilon)}{p_{\text{TEMPLATE}}(\theta) / (p_{\text{GROUND}}(\theta) + p_{\text{ENTITY}}(\theta))}$$ 实验发现，在 Qwen3-VL-8B 上，随着 RL 训练步数增加，VIRL 任务在第 12–24 层的模板注意力激增，SPA-VL 则在第 8–18 层提前饱和。利用冻结在基座模型上的 TopK 稀疏自编码器（$K_{\text{SAE}}=32$）进一步解耦特征，发现对应层中模板关联特征与视觉特征的条件富集分数（CES）趋向于 0，且二者的 Jensen–Shannon 散度（JSD）衰减 58%–70%，证明混淆的根本机制在于内部模板与视觉表征可分离度的急剧恶化。

2. 提示词演化与反思展开：引导生成细粒度视觉证据

行为层面的第一阶段训练直接采用基础提示词 $p_0$ 采样 $G$ 个候选轨迹，并计算一轮标准策略梯度损失 $\mathcal{L}_{\text{GRPO}}^{(1)}$。为了纠正模型在低奖励样本中忽视视觉依据、生搬硬套模板的弊端，框架引入异步提示词更新器（Prompt Updater，基于 GPT-4o），每隔 $k_{\text{update}}=10$ 步分析批次内的推理缺陷，生成显式强化视觉细节并排斥套话的指引提示词 $p_e$。对于初始奖励低于阈值 $\tau_r$（VIRL 设为 1.0，SPA-VL 设为 0.8）的尝试 $y_1$，模型在带有引导提示词、前次轨迹及得分的上下文条件下展开二次修正，得到新轨迹 $y'$ 并计算第二轮损失 $\mathcal{L}_{\text{GRPO}}^{(2)}$。该机制确保了高质量视觉接地推理行为能够被及时诱发，而无需直接将不可靠的黑盒监控器分数放入强化学习奖励函数中。

3. 无上下文行为内化：强化蒸馏摆脱对引导提示词的依赖

模型仅在外部显式提示词 $p_e$ 强迫下展现良好的视觉锚定是不够的，必须使其在常规无辅助提示词 $p_0$ 下自发保持扎实的推理推导。为此，TAME 筛选出修正后奖励显著优于前次（$r(y') > r(y_1)$）的高质量推理轨迹，重新将其与原始输入 $(p_0, x)$ 进行配对，采用奖励加权的交叉熵损失（借鉴 RAFT 框架）进行自蒸馏监督： $$\mathcal{L}_{\text{RAFT}} = -r(y') \log \pi_\theta(y' \mid p_0, x)$$ 通过将显式引导下获得的高可监控性推演过程投影回原始输入空间，使模型在日常推理中内化“从视觉细节出发进行逻辑推导”的习惯，从根本上压制对模板推理套路的惰性依赖。

4. 非对称 SAE 激活约束：单向惩罚超额模板激活

纯行为层面的反馈优化容易出现策略反复，且无法直接消除深层网络中模板特征的过度表达。为此，TAME 在定位到的核心层（VIRL 为 12、13、20 层；SPA-VL 为 8、10、18 层）引入基于 Cohen's d 筛选出的 top-20 模板关联 SAE 隐空间特征集合 $\mathcal{F}_{\text{template}}$。为了避免损害正常语义表达，设计了一种非对称二次 ReLU 惩罚项： $$\mathcal{L}_{\text{SAE}} = \sum_{i \in \mathcal{F}_{\text{template}}} \text{ReLU}\left(a_i^{\text{student}} - a_i^{\text{base}}\right)^2$$ 式中 $a_i^{\text{student}}$ 与 $a_i^{\text{base}}$ 分别为当前策略网络与冻结预训练基座在同一冻结 SAE 编码下的隐层激活标量。该损失只在当前模型的模板特征激活超过未调优基座水平时被触发惩罚，低于基座时不予干预，从而既约束了强化学习导致的模板表达膨胀，又完整保留了模型先验的视觉接地能力。

损失函数 / 训练策略¶

TAME 的总优化目标由行为层强化学习自蒸馏损失与表征层激活正则化损失加权构成： $$\mathcal{L}_{\text{TAME}} = \mathcal{L}_{\text{behav}} + \gamma \mathcal{L}_{\text{SAE}}$$ 其中行为层损失包含两轮 GRPO 策略梯度损失、RAFT 自蒸馏损失以及针对冻结参考策略的 KL 散度约束： $$\mathcal{L}_{\text{behav}} = \mathcal{L}_{\text{GRPO}}^{(1)} + \mathcal{L}_{\text{GRPO}}^{(2)} + \mathcal{L}_{\text{RAFT}} + \alpha_{\text{KL}} D_{\text{KL}}(\pi_\theta \parallel \pi_{\theta_0})$$ 在超参数设置上，KL 权重 $\alpha_{\text{KL}}=0.01$，采样组大小 $G=8$。SAE 正则化权重在 VIRL 上设为 $\gamma=0.1$，在 SPA-VL 上设为 $\gamma=0.05$。优化器采用 AdamW，在 VIRL 和 SPA-VL 上的学习率均为 $2\times 10^{-6}$，在 8 卡 NVIDIA H100 GPU 上训练 200 步（SPA-VL 通常在 100 步平稳收敛）。

实验关键数据¶

主实验¶

论文在视觉推理数据集 VIRL-39k（20k 训练，2k 验证）与多模态安全偏好数据集 SPA-VL 上对 Qwen3-VL-8B 与 Gemma-3-12B-it 进行了系统评测。监控能力通过两门控（Two-Gate）参考标准构建，以均衡几何均值指标 $G\text{-mean}^2 = \text{TPR} \times \text{TNR}$ 及监控准确率（Mon.）为核心，同时评估任务准确率及通用多模态基准表现。

骨干模型	训练方法	VIRL Acc ↑	VIRL $G\text{-mean}^2$ ↑	VIRL Mon. ↑	SPA-VL HS ↓	SPA-VL Win ↑	SPA-VL $G\text{-mean}^2$ ↑	SPA-VL Mon. ↑
Qwen3-VL-8B	Base	–	–	–	–	–	–	–
	GRPO	0.646	0.302	0.57	6.8%	63.7%	0.394	0.63
	DAPO	0.643	0.318	0.57	7.2%	64.2%	0.412	0.64
	+ CoT-mon. reward	0.634	0.557	0.70	6.6%	65.8%	0.463	0.69
	TAME (本文)	0.640	0.611	0.77	7.4%	66.9%	0.561	0.76
Gemma-3-12B-it	Base	–	–	–	–	–	–	–
	GRPO	0.552	0.272	0.46	8.9%	54.8%	0.356	0.60
	DAPO	0.549	0.286	0.48	9.1%	55.6%	0.371	0.61
	+ CoT-mon. reward	0.547	0.448	0.68	8.3%	56.2%	0.418	0.65
	TAME (本文)	0.561	0.541	0.75	8.7%	57.9%	0.512	0.73

消融实验¶

消融实验在 Qwen3-VL-8B 上系统验证了 TAME 各核心模块的必要性，重点考察表征层与行为层设计的组合增益：

实验配置	VIRL Acc ↑	VIRL $G\text{-mean}^2$ ↑	VIRL Mon. ↑	SPA-VL HS ↓	SPA-VL Win ↑	SPA-VL $G\text{-mean}^2$ ↑
TAME (完整模型)	0.640	0.611	0.77	7.4%	66.9%	0.561
w/o 行为反馈（SAE-only）	0.640	0.519	0.69	6.8%	64.1%	0.483
w/o SAE 约束（Behav-only）	0.619	0.548	0.71	7.5%	67.2%	0.478
替换为随机 SAE（Behav + Rand-SAE）	0.627	0.532	0.71	7.2%	66.5%	0.484
基线 GRPO（无干预）	0.646	0.302	0.57	6.8%	63.7%	0.394

关键发现¶

双层协同至关重要：单独使用 SAE-only（仅激活惩罚）在 VIRL 上的 $G\text{-mean}^2$ 降至 0.519，因为模型缺乏可模仿的高质量接地轨迹；而仅使用 Behav-only 则因深层模板激活未能被根除，指标仅为 0.548。两者结合带来了显著的超加性提升（达到 0.611）。
靶向机制的特异性：将针对性的模板 SAE 特征替换为随机特征（Behav + Rand-SAE）后，$G\text{-mean}^2$ 出现明显下滑（从 0.611 跌至 0.532），证明增益来自对模板表征的精准抑制而非单纯的隐层随机正则化。
通用能力保留与权衡：在 MMMU-Pro、MathVista、MathVerse 和 MEGA Core 四大外部多模态通用基准上，SPA-VL 训练的模型在四大基准上均全面持平或超越 GRPO（例如 MEGA Core 从 34.7% 提升至 40.4%）；VIRL 训练的模型任务准确率仅从 0.646 微调至 0.640，保持了优异的泛化韧性。

亮点与洞察¶

多模态思维链混淆的机制归因：首次从可解释性角度定位了多模态模型强化学习后 CoT 质量衰减的表征根源，利用 SAE 证实模板特征与视觉锚点在深层的重叠是监控性崩溃的主因。
非对称激活正则化技巧：采用 $\text{ReLU}(a_i^{\text{student}} - a_i^{\text{base}})^2$ 形式，仅压制超过预训练水平的模板过激活，避免了全局抑制造成的模型表达能力受损。
免监控奖励泄露的闭环设计：通过 GPT-4o 演化提示词及 RAFT 自蒸馏引导接地推演，避免了直接把黑盒监控器加入强化学习 reward 所带来的“逆向博弈与作弊”风险。

局限与展望¶

依赖预训练字典的一致性：当前 SAE 字典训练并冻结在 step-0 的基座模型上，若模型在长周期强化学习中发生极其剧烈的表征重组，该字典的特征代表性可能会有所漂移。
计算与推理开销增加：相比纯单轮 GRPO，TAME 引入了低分样本的二次展开与前向基座特征缓存，尽管训练步数收敛更快（约 100 步稳定），单步迭代耗时略有增加。
未来方向：未来可探索轻量化的在线 SAE 自适应更新机制，并将该防御方案扩展到超长推理链智能体（Agent）和对抗性越狱检测场景中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从机械可解释性角度拆解 VLM 思维链混淆并提出内隐表征级约束方案。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖因果干预消融、人工双盲检验、多模型架构以及通用能力评估，逻辑极为严密。
写作质量: ⭐⭐⭐⭐⭐ 叙述层层递进，从现象观察到机理定位再到算法实现与验证，闭环清晰。
价值: ⭐⭐⭐⭐⭐ 为解决前沿推理大模型“对齐税”与黑盒不可控问题提供了极具落地可行性的范式。