Do Thinking Tokens Help with Safety?¶

会议: NeurIPS 2026
arXiv: 2606.25013
OpenReview: https://openreview.net/forum?id=e7zF0NYC0J
代码: https://github.com/narutatsuri/lrm_safety_deliberation
领域: 安全
关键词: 思考Token, 大推理模型, AI安全, 审思对齐, 拒绝决策

一句话总结¶

本文系统评估了推理模型中的思考Token对安全决策的实际效用，发现模型的拒绝/遵循决策早在第一个思考Token的隐层表征中就已被固化锁定，后续思考过程本质上是前缀补全而非审思修正，且现有主流安全防御手段主要通过压制审思信号加剧过度拒绝。

研究背景与动机¶

大语言推理模型（LRMs）通过在最终回答前生成长链思考标记（Thinking Tokens），在数学解题、代码生成等具有确定性奖励的复杂任务上展现出了跨越式的推理能力。受此启发，学术界与工业界普遍抱有一种强烈的直觉：更长、更深入的测试时思考能够赋予模型反思与权衡其安全原则的“心理空间”，从而在保持对良性请求有用性的同时精准识别并阻断有害恶意输入，根本性改善攻击成功率（ASR）与过度拒绝率（ORR）之间固有的安全权衡张力。宪政AI（Constitutional AI）与近期推崇的审思对齐（Deliberative Alignment）等防御范式均在不同程度上依赖这一基本假设。

然而，已有对指令微调模型浅层安全对齐的研究表明，安全边界往往在序列早期极少数Token处就已成型，且极易受到简单前缀操控的越狱攻击。即使推理模型在表面上生成了貌似经过反复权衡、包含正反辩驳的思维链，这种文字层面的自我审查是否真正参与了下游安全决策的动态流转，抑或仅仅是对早期确定结果的事后合理化包装，至今缺乏严谨的表征几何学与因果干预证据。这一矛盾构成了理解推理模型安全机制的认知盲区。

针对这一关键疑问，本文全面审视了思考过程对安全决策的因果贡献，深入探究了首个思考Token的特征可解译性、思考前缀对后续决策轨迹的锁定效应，以及句子级审思波动的因果有效性。核心 idea：通过探针与轨迹干预揭示推理模型的安全决策在预填充结束与首个Token处即已完成表征锁定，思考轨迹呈现前缀补全机制而非审思修正，且现有安全防御策略并未诱导真实审思而是以牺牲良性可用性为代价扩大过度拒绝。

方法详解¶

整体框架¶

本文构建了一套涵盖表征几何探测、前缀决策方差评估、句子级因果扰动分析以及软硬件对齐防御迁移的系统性分析管线。整个方法流程从给定的对话提示词出发，在输入预填充阶段与自回归思考生成阶段提取各关键位置的隐层激活态，依次探测安全信号的涌现时机、思考前缀对候选回答分布的约束刚度，以及显式文本审思片段对最终决策的真实因果推动力。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询与预填充提示词"] --> B["首Token表征探测与费舍尔判别比<br/>捕捉预填充末端安全信号骤升与谷状分布"]
    B --> C["思考前缀截断与延续方差评估<br/>度量各预算比例下多路生成的决策漂移度"]
    C --> D["句子级立场反转因果分析<br/>判定锁定状态与实质有效/表演性审思"]
    D --> E["防御干预机理剖析<br/>检验推理期注入与微调/RL训练的真实效用"]
    E --> F["输出安全决策评测：ASR与ORR"]

关键设计¶

1. 首Token表征探测与费舍尔判别比：量化未见思考文本前的安全决策可解码性

针对传统评估仅依赖最终输出文本而无法观测安全意图何时凝聚的问题，本设计在思考轨迹的首个标记位置提取模型最后一层隐层表征 $\mathbf{h}_0$，并利用迹归一化费舍尔判别比（Fisher Discriminant Ratio）与带正则化的线性探针进行几何可分性度量。费舍尔判别比 $J(t)$ 计算拒绝组 $R$ 与遵循组 $C$ 均值表征在类内方差归一化下的距离： $$J(t) = \big(\boldsymbol{\mu}_{R}(t) - \boldsymbol{\mu}_{C}(t)\big)^{\top} \big(\operatorname{tr}\boldsymbol{\Sigma}_{W}(t)\big)^{-1} \boldsymbol{I} \big(\boldsymbol{\mu}_{R}(t) - \boldsymbol{\mu}_{C}(t)\big)$$ 其中 $\boldsymbol{\mu}_R(t)$ 和 $\boldsymbol{\mu}_C(t)$ 分别为位置 $t$ 处的类条件均值向量，$\operatorname{tr}\boldsymbol{\Sigma}_{W}(t)$ 代表类内协方差矩阵的迹。同时，通过在主成分降维特征上训练带有 Youden's $J$ 最优阈值选择的对折交叉验证逻辑回归探针，严格排除了首个表面 Token 词频特征的虚假混淆，实证表明判别比呈现典型的“U型谷”，即在尚未生成任何可读思考前安全信号就已急剧富集，并在预填充末尾形成阶跃式突增。

2. 思考前缀截断与延续方差评估：判定思考过程是前缀补全还是审思修正

为了验证模型是真正利用思考空间反思决策，还是单纯将既定轨迹进行自回归补全，本设计引入前缀条件下的响应延续方差指标。对每个输入提示词采样多个独立的思考轨迹，并在自然长度的 $B \in \{20\%, 40\%, 60\%, 80\%, 100\%\}$ 截断预算处固化前缀，进而自各前缀条件采样 $N$ 个最终响应并记录拒绝率 $q_{m,B}$。归一化伯努利延续方差定义为： $$\mathrm{ContinuationVariance}(B) = \mathbb{E}_{m}\big[4 q_{m,B}(1 - q_{m,B})\big]$$ 当该指标接近理论投币基线 $0.875$ 时，说明后续思考能自由颠覆早期倾向；反之若在极低预算截断下迅速归零，则直接证明思考流本质上是早期承诺的被动延伸，后续 Token 几乎无法跳脱出已奠定的决策漏斗。

3. 句子级立场反转因果分析：剥离虚假表演性审思与实质因果转向

针对思考文本中常出现诸如“等等，我必须考虑安全规则”等看似深思熟虑的辞藻，本设计提出了针对思考文本分句的因果干预分析方案。首先利用前沿大模型对思考轨迹分句评定立场标签 $s \in \{-1, 0, +1\}$（分别代表拒绝倾向、中立推理与遵循倾向），定位发生立场颠覆（Oscillation）的前后句子索引 $i_{\mathrm{pre}}$ 与 $i_{\mathrm{post}}$。通过分别截断至两处前缀并采样 $K=100$ 次最终输出，以立场对齐位移量度量该片段的因果冲击： $$\Delta\hat{q}_{i_{\mathrm{pre}}:i_{\mathrm{post}}} = s_{\mathrm{post}} (q_{x^{\mathrm{post}}} - q_{x^{\mathrm{pre}}})$$ 若基线拒绝率 $q_{x^{\mathrm{pre}}}$ 已落入饱和区间（$\le 0.05$ 或 $\ge 0.95$），该震荡被归类为“锁定状态”（Locked）；若位移在统计学上未引起输出分布的显著迁移，则严格定性为“表演性审思”（Performative）。该机制精确剔除了文本表象与底层决策脱钩的干扰，严谨捕捉真正具备决策导向作用的审思孤岛。

4. 防御干预机理剖析：评估推理期注入与对齐微调对审思动力学的重塑效应

针对现存各类旨在增强思考安全性的干预策略，本设计将其拆解为推理期前缀/熵触发注入（如 SafePath-ZS、SafeRemind、PSR）与训练期显式对齐优化（如 STAR-1、SafeKey、R1-ACT、ThinkSafe、STAIR、RAPO）。在统一度量 ASR 与 ORR 的同时，联动考察干预前后模型首Token表征可读性变化、总立场震荡次数及有效因果震荡次数的升降。该设计打破了传统仅看 ASR 单一指标的局限，揭示出防御干预究竟是激活了模型深层的批判性反思，抑或是粗暴截断思考通路将系统推向过度防御的退化态。

实验关键数据¶

主实验¶

主实验在 Qwen3-8B、Olmo-3-7B-Think、Phi-4-Reasoning 与 GPT-OSS-20B 四款具有代表性的开源前沿推理模型上展开，基准数据集涵盖对抗越狱（WildJailbreak、FORTRESS）与过度拒绝测试集（OR-Bench-Hard、FalseReject、CoCoNot、PHTest、ORFuzzSet），综合评测基线及各类防御干预前后的 ASR 与 ORR（均为越低越好）。

模型	防御类型	方法	ASR (%) ↓	ORR (%) ↓	评估结论
Qwen3-8B	Base	无干预基线	86.9	6.0	基线偏向遵循，过度拒绝极低但极易受害
Qwen3-8B	推理期	SafePath-ZS	68.2	13.5	ASR下降18.7%，ORR加剧上升7.5%
Qwen3-8B	训练期	ThinkSafe	30.9	44.6	显著压制有害遵循，但过度拒绝恶化38.6%
Qwen3-8B	训练期	RAPO	34.7	35.0	ASR与ORR发生剧烈权衡平移
Olmo-3-7B-Think	Base	无干预基线	70.6	21.2	安全基线相对均衡
Olmo-3-7B-Think	推理期	PSR	38.0	43.5	降低ASR同时导致ORR翻倍（+22.3%）
Olmo-3-7B-Think	训练期	RAPO	17.7	49.9	ASR大幅下降52.9%，ORR飙升至49.9%
Phi-4-Reasoning	Base	无干预基线	47.3	38.5	基线防御较强但过度拒绝基数偏高
Phi-4-Reasoning	推理期	SafeRemind	33.3	70.4	诱发极端过度拒绝（ORR超过70%）
Phi-4-Reasoning	训练期	STAR1	35.8	45.3	未能实现双赢，仍在Pareto前沿滑动
GPT-OSS-20B	Base	无干预基线	26.5	44.9	模型天然高度保守
GPT-OSS-20B	训练期	STAR1	71.7	14.8	异常反转：过度拒绝下降但ASR暴增45.2%
GPT-OSS-20B	训练期	ThinkSafe	18.8	52.3	ASR压制至18.8%，代价为ORR达到52.3%

首Token表征可读性与消融分析¶

为了明确首个思考Token的隐层表征（Rep.）与词面浅层特征（Text）在预测最终拒绝状态上的信息差异，探针实验在有害数据池（Harmful）、良性数据池（Benign）及联合数据池（Pooled）上分别测试了 AUROC 和平衡准确率（BAcc）。

模型	探针特征源	Harmful AUROC	Harmful BAcc	Benign AUROC	Benign BAcc	Pooled AUROC	Pooled BAcc
Qwen3-8B	Rep. ($\mathbf{h}_0$)	0.948 ± 0.010	0.878 ± 0.019	0.888 ± 0.025	0.804 ± 0.031	0.971 ± 0.004	0.919 ± 0.008
Qwen3-8B	Text (TF-IDF)	0.492 ± 0.042	0.502 ± 0.005	0.502 ± 0.019	0.502 ± 0.002	0.499 ± 0.017	0.502 ± 0.002
Olmo-3-7B-Think	Rep. ($\mathbf{h}_0$)	0.881 ± 0.016	0.794 ± 0.017	0.891 ± 0.012	0.810 ± 0.014	0.949 ± 0.005	0.872 ± 0.008
Olmo-3-7B-Think	Text (TF-IDF)	0.500 ± 0.000	0.500 ± 0.000	0.500 ± 0.000	0.500 ± 0.000	0.500 ± 0.000	0.500 ± 0.000
Phi-4-Reasoning	Rep. ($\mathbf{h}_0$)	0.875 ± 0.014	0.792 ± 0.016	0.840 ± 0.016	0.763 ± 0.018	0.897 ± 0.006	0.816 ± 0.008
Phi-4-Reasoning	Text (TF-IDF)	0.561 ± 0.022	0.537 ± 0.011	0.502 ± 0.014	0.516 ± 0.004	0.515 ± 0.013	0.518 ± 0.004
GPT-OSS-20B	Rep. ($\mathbf{h}_0$)	0.916 ± 0.013	0.829 ± 0.020	0.878 ± 0.012	0.796 ± 0.013	0.939 ± 0.004	0.861 ± 0.007
GPT-OSS-20B	Text (TF-IDF)	0.678 ± 0.031	0.671 ± 0.025	0.619 ± 0.013	0.597 ± 0.009	0.601 ± 0.012	0.592 ± 0.008

关键发现¶

表征可读性极高且独立于浅层词汇：在所有测试模型上，隐层表征探针均在无任何显式思考生成前实现了 0.840–0.948 的单池 AUROC，在联合池甚至高达 0.971，平衡准确率近 88%–92%；而文本词频对照探针完全逼近 0.50 的随机猜测基线，证明决策意图深植于激活空间内部而非由首词词法泄漏驱动。
思考轨迹极速刚性固化：在仅开放 20% 自然思考长度的前提下，响应延续方差已逼近于 0（均远低于 0.2，基线随机翻转期望方差为 0.875），模型后续生成的千百个思考Token几乎完全服从前缀锚定的拒绝/遵循导向，丧失动态纠偏弹性。
表演性审思占据绝对统治地位：全流程中仅有 15%–34% 的采样轨迹包含文本级立场反转；在出现的反转片段中，高达 71%–92% 属于不具备统计因果效应的“表演性审思”，其中 72.8%–76.6% 的反转发生时模型的底层响应分布早已进入不可逆的锁定状态（$q \le 0.05$ 或 $\ge 0.95$）。
现有防御措施陷入虚假安全陷阱：无论是指针式推理注入（SafePath、PSR、SafeRemind）还是微调与偏好学习（STAR-1、RAPO、ThinkSafe），几乎无一例外通过在思考链中粗暴推高拒绝倾向来降低 ASR，随之而来的是过度拒绝率大幅飙升，同时实质有效审思震荡次数普遍暴跌 60%–95%，并未诱导真正的推理反思。

亮点与洞察¶

解构了“思考即审思”的传统认知幻象：论文以扎实的表征探针和因果消融实证揭示出当前推理模型的思考标记更多是既定决策的事后自洽化阐述，为学术界盲目崇拜长链推理解决对齐问题的倾向敲响了警钟。
精细化解剖文本表象与决策内核的割裂：创新性地设计了基于大模型立场标注与多路前缀截断的因果位移判定框架，清晰界定了“锁定状态”与“表演性审思”，为长文本思维链的保真度（Faithfulness）分析确立了标准化方法论。
指明了防御方法过度拟合形式的问题：指出了当下安全微调与推理期注入机制往往只是迫使模型背诵安全模版语句，未来对齐设计必须摆脱表面文本奖惩，转向直接激励推理过程中因果审思决策行为的新型目标函数。

局限与展望¶

作者承认的局限：研究评测主要聚焦于中等参数规模（7B–20B）的开源代表性推理模型，尚未在超大规模专有闭源模型（如 o1、o3 等系列）上进行激活层级别的探针验证；同时评测维度主要收敛于有害拒绝与过度拒绝的双向权衡，未覆盖幻觉事实性、多轮越狱交互及欺骗性对齐等复杂维度。
潜在的研究局限：实验中的截断干预与固定前缀注入可能在自回归注意力分布中引入轻微分布偏移（Distributional Shift），尽管采用了多路重采样加以平滑，但在特定边缘样本上仍可能低估超长推理带来的长程自适应潜力。
具体改进方向：探索在预训练及强化学习（RL）阶段直接约束首Token隐层信息泄漏的去偏目标，或通过过程奖励（Process Reward）显式强化后段思考片段对最终决策改变的梯度回传权重，从根本上训练模型进行真实的反思与翻盘决策。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从隐层几何与因果干预双重视角打破长链思考利于安全的直觉假设，视角极具颠覆性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖四大家族开源主力模型，跨越2500条高难度攻击与6750条过拒样本，结合探针、因果干预与全套防御复现。
写作质量: ⭐⭐⭐⭐⭐ 论证脉络极度清晰严谨，从首Token表征探测逐级深入至因果震荡分析，图表表达精当有力。
价值: ⭐⭐⭐⭐⭐ 对推理模型的安全对齐机制提出了深刻反思，为下一代真正具备安全审思能力的设计指明了痛点与方向。

模型	探针特征源	Harmful AUROC	Harmful BAcc	Benign AUROC	Benign BAcc	Pooled AUROC	Pooled BAcc
Qwen3-8B	Rep. (\(\mathbf{h}_0\))	0.948 ± 0.010	0.878 ± 0.019	0.888 ± 0.025	0.804 ± 0.031	0.971 ± 0.004	0.919 ± 0.008
Qwen3-8B	Text (TF-IDF)	0.492 ± 0.042	0.502 ± 0.005	0.502 ± 0.019	0.502 ± 0.002	0.499 ± 0.017	0.502 ± 0.002
Olmo-3-7B-Think	Rep. (\(\mathbf{h}_0\))	0.881 ± 0.016	0.794 ± 0.017	0.891 ± 0.012	0.810 ± 0.014	0.949 ± 0.005	0.872 ± 0.008
Olmo-3-7B-Think	Text (TF-IDF)	0.500 ± 0.000	0.500 ± 0.000	0.500 ± 0.000	0.500 ± 0.000	0.500 ± 0.000	0.500 ± 0.000
Phi-4-Reasoning	Rep. (\(\mathbf{h}_0\))	0.875 ± 0.014	0.792 ± 0.016	0.840 ± 0.016	0.763 ± 0.018	0.897 ± 0.006	0.816 ± 0.008
Phi-4-Reasoning	Text (TF-IDF)	0.561 ± 0.022	0.537 ± 0.011	0.502 ± 0.014	0.516 ± 0.004	0.515 ± 0.013	0.518 ± 0.004
GPT-OSS-20B	Rep. (\(\mathbf{h}_0\))	0.916 ± 0.013	0.829 ± 0.020	0.878 ± 0.012	0.796 ± 0.013	0.939 ± 0.004	0.861 ± 0.007
GPT-OSS-20B	Text (TF-IDF)	0.678 ± 0.031	0.671 ± 0.025	0.619 ± 0.013	0.597 ± 0.009	0.601 ± 0.012	0.592 ± 0.008