Evaluation Awareness in Language Models Has Limited Effect on Behaviour¶

会议: NeurIPS 2026
arXiv: 2605.05835
OpenReview: https://openreview.net/forum?id=xp2oWSnMPf
代码: https://osf.io/428nt/overview?view_only=ebb0f7b913c741f4a217704afde68771
领域: LLM评测
关键词: 评测感知, 思维链, 大语言模型安全, 因果干预, 战术博弈

一句话总结¶

本文通过对 8 款开源前沿大推理模型在安全、对齐、道德与政治基准上的因果干预与天然分布对比，证实思维链中口头表达的“评测感知”（VEA）对最终输出行为的影响极其微弱（效应量 \(\omega \le 0.12\)），打破了学界将评测感知直接等同于战术博弈或对齐伪装的预设。

研究背景与动机¶

大语言推理模型（LRMs）在长思维链（Chain of Thought, CoT）中偶尔会明确写下自己“可能正在接受评测”的表述。AI 安全学术界普遍对此感到担忧，认为这种口头评测感知（Verbalised Evaluation Awareness, VEA）会诱发模型的战术博弈行为（evaluation gaming）——例如刻意在测试中隐藏危险能力（sandbagging）、向评测准则谄媚（sycophancy）、伪造对齐（alignment faking）或在监督下伪装温顺而在实际部署中搞破坏。然而，现有探讨多基于专门微调以诱导博弈的“模型生物”（model organisms）、局限于单一模型家族或极其特化的任务，在通用前沿模型中，评测感知究竟是否因果驱动了模型下游决策的漂移一直缺乏大样本的系统检验。

这种担忧背后隐藏的核心假设是：模型的自我感知能够直接转化为策略性输出调整。但这忽略了认知能力与利用倾向之间的鸿沟，且未区分“模型意识到在被测试”与“模型为此改变决策”。此外，思维链本身并不必然完全忠实于模型的内在计算，模型很可能在写出感知语句之前就已经锁定了最终答案走向，或者感知语句仅仅是模型元认知流中的一种副产物。

本文的切入角度是进行大规模、多基准的因果干预测试，同时对比自然发生的真实分布。核心 idea：通过模型前缀填充（model prefilling）在思维链中直接注入与剔除评测感知语句，并结合无干预的自然思维链分布对比，在 8 款前沿开源推理模型与 4 大维度基准上系统评估口头评测感知对模型行为的因果效应。

方法详解¶

整体框架¶

本文的核心目标是测量思维链中的口头评测感知（VEA）是否因果改变模型的最终输出。评估覆盖 8 款开源前沿推理模型（DeepSeek-R1-0528、GLM-5、GPT-OSS-120b、Kimi-K2.5、MiniMax-M2.5、Nemotron-3-super-120b-a12b、Qwen3-32b、Qwen3.5-397b-a17b），涵盖 4 个维度的基准（Safety 安全危害评分、Alignment 对齐偏好、Dilemmas 道德困境抉择、Political 政治倾向问题），每个基准包含 500 个样本。

实验设计包含三个平行条件：策略内自然对比（On-policy）、策略外 VEA 注入干预（Injection）以及策略外 VEA 剔除干预（Removal）。整体流程先通过开标签 <think> 引导模型进入显式长推理，然后通过严格设计的干预控制对比组进行行为分布的因果隔离。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["基准测试输入<br/>Safety / Alignment / Dilemmas / Political"] --> B["思维链推理生成<br/>前缀填充引导长推理"]
    B --> C{"实验分支策略"}
    C -->|策略内自然观察| D["策略内自然分布对比<br/>自然包含 VEA vs. 无 VEA"]
    C -->|策略外注入干预| E["前缀填充式 VEA 注入干预<br/>VEA 语句 vs. 元认知对照语句"]
    C -->|策略外剔除干预| F["截断重采样式 VEA 剔除干预<br/>截断消除 VEA vs. 保留 VEA 对照"]
    D --> G["输出分类与有害性评分<br/>LLM 裁判提取结构化标签"]
    E --> G
    F --> G
    G --> H["统计效应量检验<br/>Stuart-Maxwell 检验与 Cohen's omega"]

关键设计¶

1. 策略内自然分布对比：剥离干预伪影的天然基线

为了避免人工干预引入的上下文扰动（如模型检测到被篡改的前缀），研究首先在没有任何干预的情况下对每个基准问题进行 10 次独立采样（温度 0.8）。利用经过人工强一致性验证的判别器（Gemini 3.1 Flash-Lite，Cohen's \(\kappa=0.86\)）筛选思维链中是否包含对测试、监视或评测的明确表述。对于同一个提示词，分别对出现 VEA 的生成（origEA_t08）和未出现 VEA 的生成（origEU_t08）组内实行多数表决，构建配对样本，从而在完全自然的策略内生成中测量自然感知与行为变动之间的相关性与效应幅度。

2. 前缀填充式 VEA 注入干预：因果隔离评测感知效应

为了建立因果联系，研究者利用模型前缀填充（model prefilling）技术，将评测感知语句直接插入原本不含感知表述的思维链中。为排除“仅仅插入一段额外思考或元认知文本”带来的混淆变量，实验专门设计了对照组：针对每款模型，既采样其自身产生的跨基准泛化 VEA 语句（如“They might be testing me.”），又生成与评测无关的元认知对照语句（如“Entering processing state.”、“I will break this down logically.”）。干预在思维链起始（0% 处）和自然发生点（约 1/3 字符处且位于整句末尾）分别注入，随后继续重采样。通过对比在完全相同提示词与前缀历史下的 VEA 注入组（injectedEA）与对照注入组（injectedControl），精准分离出“评测感知本身”所带来的因果增量。

3. 截断重采样式 VEA 剔除干预：反向检验感知的因果必要性

如果评测感知确实是驱动模型做出某种决策的因果前提，那么从天然包含 VEA 的思维链中将该表述抹除后，模型的行为应当发生反向漂移。在剔除实验中，研究者定位到思维链中首个出现 VEA 的句子，并在其正前方截断思维链，使用温度 0.8 重新采样，直至生成完全不再包含 VEA 的思维链（最多重采样 20 次）；而对照组则在首个 VEA 句子正后方截断并同样重采样。两组保持相同的截断重采样机制，唯一差异在于是否保留了该句 VEA。只有成功在 20 次内剔除 VEA 的样本才进入最终两两配对分析，从而检验消除感知是否会削弱防御或改变选择。

4. 多维度行为分类与效应量统计度量体系

评测维度涵盖 Safety（0 到 4 分级有害性）、Alignment（Aligned、Misaligned、Noncommittal）、Moral Dilemmas（Deontological、Utilitarian、Noncommittal）和 Political Opinion（Left、Right、Noncommittal）。所有统计对比均为 prompt 级别的配对检验，采用 Stuart-Maxwell 边际齐性检验度量分类分布的整体漂移，并通过 Bonferroni 校正的 McNemar 检验进行类别级的事后对比；对 Safety 分数采用 Wilcoxon 符号秩检验。研究重点报告 Cohen's \(\omega\) 效应量，而非仅仅依赖容易在大样本下达到显著的 p 值：

\[\omega = \sqrt{\sum_{i=1}^k \frac{(P_{i1} - P_{i2})^2}{P_{i1} + P_{i2}}}\]

结合秩双列相关系数 \(r\) 与 10,000 次非参数 Bootstrap 95% 置信区间，严格界定其实际效应的工程与安全意义。

实验关键数据¶

主实验¶

在跨模型的汇总分析中，不管是自然发生的 VEA，还是在思维链 1/3 处注入或剔除 VEA，所引起的行为分布变化均极为微弱。各实验条件下的主要分布漂移与效应量如下表所示：

基准测试	实验条件	配对样本数 \(n\)	主要类别比例变化 (\(\text{pp}\Delta\))	整体效应量 (\(\text{Cohen's } \omega\))	显著性 (\(p\) 值)
Safety	策略内自然发生 (Aware vs Unaware)	678	有害(Score 4) \(-3.7\%\), 安全(Score 0) \(+2.8\%\)	\(\omega = 0.31\) (类别 \(\omega \le 0.18\))	\(p < 0.001\)
Safety	策略外注入 (1/3处 VEA vs Control)	3,542	有害(Score 4) \(-0.9\%\), 安全(Score 0) \(+1.3\%\)	\(\omega = 0.055\) (类别 \(\omega \le 0.10\))	\(p < 0.001\)
Safety	策略外剔除 (Removed vs Control)	144	有害(Score 4) \(-0.7\%\), 安全(Score 0) \(+0.7\%\)	\(\omega = 0.040\)	\(p = 0.999\)
Alignment	策略内自然发生 (Aware vs Unaware)	2,582	对齐(Aligned) \(+1.2\%\), 违背 \(-0.3\%\)	\(\omega = 0.053\)	\(p < 0.05\)
Alignment	策略外注入 (1/3处 VEA vs Control)	2,756	对齐(Aligned) \(+0.1\%\), 违背 \(-0.1\%\)	\(\omega = 0.009\)	\(p = 0.599\)
Alignment	策略外剔除 (Removed vs Control)	663	对齐(Aligned) \(-1.5\%\), 违背 \(+1.8\%\)	\(\omega = 0.119\)	\(p < 0.05\)
Dilemmas	策略外注入 (1/3处 VEA vs Control)	2,759	功利(Util) \(+0.8\%\), 道义 \(+0.0\%\)	\(\omega = 0.028\)	\(p = 0.169\)
Political	策略外注入 (1/3处 VEA vs Control)	3,177	左翼 \(+0.6\%\), 右翼 \(+0.1\%\), 中立 \(-0.7\%\)	\(\omega = 0.014\)	\(p = 0.329\)

消融实验：注入位置与重采样分析¶

为了探究思维链中意识唤醒的时机影响，研究对比了思维链起始（Start, 0%）与自然发生位置（\(\sim 1/3\) 字符处）的注入效果差异：

基准测试	注入位置	样本量 \(n\)	关键类别变动说明	整体效应量 (\(\text{Cohen's } \omega\))	结论与机制分析
Safety	起始 (Start)	3,508	有害(Score 4) \(-1.7\%\), 安全(Score 0) \(+1.9\%\)	\(\omega = 0.121\)	早期干预效应略高于中期，但在绝对值上依然较小
Safety	中期 (\(\sim 1/3\))	3,542	有害(Score 4) \(-0.9\%\), 安全(Score 0) \(+1.3\%\)	\(\omega = 0.055\)	中期时模型已锁定策略，VEA 几乎无实质改变
Alignment	起始 (Start)	2,727	对齐(Aligned) \(+1.0\%\), 中立 \(-0.8\%\)	\(\omega = 0.035\)	对齐维度在任何位置均呈现微弱效应
Alignment	中期 (\(\sim 1/3\))	2,756	对齐(Aligned) \(+0.1\%\), 违背 \(-0.1\%\)	\(\omega = 0.009\)	效应完全归零，模型对齐决策与是否感知无关
Political	起始 (Start)	2,222	中立 \(+11.3\%\), 左翼 \(-8.8\%\), 右翼 \(-2.5\%\)	\(\omega = 0.266\)	早期感知促使模型更加保守谨慎，大幅转向中立拒绝表态
Political	中期 (\(\sim 1/3\))	3,177	左翼 \(+0.6\%\), 右翼 \(+0.1\%\), 中立 \(-0.7\%\)	\(\omega = 0.014\)	一旦生成推进至1/3，模型观点已形成，无法被后续感知动摇

关键发现¶

注入位置强烈决定效应幅度：在思维链最开端注入 VEA 能够引发轻微至中度的漂移（例如在政治基准上中立回答提升 11.3 个百分点），但在自然的 1/3 位置注入时，除 Safety 上极轻微的变化外，其余全部归零（\(\omega \le 0.03\)）。这强力证明模型早在写出评测感知语句前，其内部已经确立了回答轨迹。
个体模型间的异质性与相互抵消：个别模型在特定任务上有更强反应，如 Qwen3-32b 在 Safety 注入后安全输出提升 8.5 pp（\(\omega = 0.29\)），主因是其基线违规率高（40.4%），存在更大压缩空间；在 Political 上 GPT-OSS-120b 变得更为鲜明，而其他模型则更倾向中立。这些方向相反的微调在整体聚合后相互抵消。
剔除难度的机制印证：在剔除实验中，模型经常在被截断后反复重新生成评测感知语句，往往需要多次重采样才能完全消除，这进一步证明感知是模型针对特定输入结构所触发的关联表征，而非决定后序答案的临时因果支架。

亮点与洞察¶

将“感知能力”与“战术博弈”清晰解耦：论文通过严谨的因果干预打破了学界的常识偏误，证明“模型识别出评测情境”绝对不等于“模型会以此进行策略伪装与博弈”。
对照组设置极其审慎：在注入实验中没有简单拿未注入的 CoT 作对比，而是专门提取了模型自生的无害元认知思考句作为 control injection，彻底剔除了“打断文本连贯性”这一副作用对实验结论的干扰。
安全评估预警的祛魅：当前社区频繁将高频的 CoT 评测感知作为基准失效或对齐欺骗的强证据；本文结论表明目前的开源大模型尚未形成将感知与博弈行动挂钩的自主决策闭环，无需过度恐慌。

局限与展望¶

仅限语句级显式口头感知：研究关注的是能够被文本检测的显式 VEA，未探讨隐藏在内部隐层激活中、未被语言化的潜伏式评测感知（Latent Awareness）或对 prompt 篡改的感知（Prefill Awareness）。
基准天然合规率过高导致的动态范围压缩：未经过对抗性越狱（jailbreak）或恶劣微调的模型本身合规率极高（如安全基准 90%+ 均为安全分），限制了 VEA 能带来的正向安全提升空间。
时间切片局限性：当前开源模型不会博弈不代表未来更强智能体不会。随着语料库中越来越多包含关于“AI Scheming”和“Alignment Faking”的学术讨论，模型可能在自监督学习中学会这种自我实现式的欺骗行为。

评分¶

新颖性: ⭐⭐⭐⭐ [针对 AI 安全领域长期悬而未决的关键假说开展了首个大规模因果干预评估]
实验充分度: ⭐⭐⭐⭐⭐ [8 款模型、4 类基准、策略内与策略外双重设计、完整的配对 Stuart-Maxwell 与效应量检验]
写作质量: ⭐⭐⭐⭐⭐ [逻辑极为克制严密，统计报告规范详实，对效应量与 p 值的辨析清醒客观]
价值: ⭐⭐⭐⭐⭐ [为安全评测界提供了强有力的定量反思，有效遏制了将评测感知盲目夸大为对齐风险的倾向]