跳转至

Evaluating and Improving LLM Self-Modeling

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/safety-research/self-modeling-eval
领域: 大模型评测
关键词: 大模型自建模、元认知评测、强化学习、行为预测、提示词扰动

一句话总结

本文将大模型自建模形式化为对自身输入-输出行为的经验预测能力,构建了覆盖10类任务与4大领域的无偏技能基准,并提出基于“生成-验证-修正”闭环合成数据与格式门控强化学习的训练管线,证明了自建模能力可训练且能跨任务泛化,但本质属于通用行为建模而非特权内部自省。

研究背景与动机

人类具备多样但并不完美的元认知自省能力:个体对自身判断的置信度往往无法完全契合实际准确率,而在预测自身在假设情境中的行为时,也常出现系统性的认知偏差。随着大语言模型被广泛部署于复杂决策与人机协作链路中,研究界与工业界日益频繁地要求模型对自身行为进行“自评测”——例如汇报对解答的置信度、预判输入的细微变动是否会导致输出翻转,或自我归因哪一部分提示词驱动了最终决策。然而,现有前沿模型(包括 GPT-5.5、Gemini 3.1 Pro 和 Claude Opus 4.7 等)在最基础的反事实行为预测上仍会发生严重误判。例如在数学推理问题中注入轻微的事实扰动时,模型在实际采样中有高达 90% 以上的概率改变最终数值答案,但在被显式询问“该改动是否会改变你的回答”时,却极其自信地声称自己绝不会受其影响。

这种自评测能力的缺失与现有研究范式面临的核心矛盾密切相关。一方面,现有的模型内省与自解释评估往往与“内部隐状态探针”或“特权自我认知”纠缠在一起,缺乏严格可验证的外部行为真值锚点;而在离散任务中,由于真实标签分布的高度不平衡,简单的“虚假预测基线”(如永远预测“不改变”)往往能取得极高准确率,导致原始指标严重掩盖了模型真实的自省缺陷。另一方面,在训练大模型进行自我行为预测时,依赖外部辅助模型生成扰动数据面临巨大的决策边界偏差——外部模型无法准确预判目标模型的内部脆弱信念,且传统的监督微调(SFT)极易导致模型陷入特定输出模板的格式坍缩,在面对未见过的多样化评测格式时完全失去泛化能力。

本文切入的角度在于:抛开模型是否具有特权访问内部决策机制的哲学争论,将“自建模”严格界定为一种可被外部精确采样的经验行为预测能力。在此基础上,必须建立能够剔除伪预测偏差的标准化技能基准,并通过由目标模型自身真实采样闭环验证的自动化合成数据流水线与强化学习进行对齐。核心 idea:将大模型自建模定义为可量化、可验证的输入-输出行为预测能力,构建消除虚假基准偏差的多格式评测套件,并通过“生成-验证-修正”合成闭环与格式门控强化学习(RLVR)实现跨任务的自建模能力泛化。

方法详解

整体框架

本文构建的自建模评估与对齐管线包含三个核心阶段:首先是多格式可验证行为评测框架,通过对目标模型独立采样获取输入-输出行为真值,定义扣除虚假预测器得分的“自建模技能分”;其次是闭环生成-验证-修正合成管线,利用辅助大模型分解提示词结构并针对目标模型内部脆弱信念提出候选扰动,通过目标模型的真实采样反复修正迭代,构建高质量平衡训练集;最后是格式门控去中心化强化学习,以预计算的目标模型初始行为为真值锚点,采用结合格式奖励与组内均值中心化优势的强化学习算法(RLVR)微调 LoRA 适配层,实现无需实时刷新标签的高效自建模能力提升。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入待评测模型与评测语料<br/>(GSM8K / HumanEval / BBQ / WildGuardTest)"] --> N1["多格式可验证行为评测框架<br/>行为真值采样与伪预测基线校准"]
    Src["大规模未见源数据集<br/>(100+ 单轮HF数据 / 20类BLOOM多轮轨迹)"] --> N2["闭环生成-验证-修正合成管线<br/>提示分解扰动与目标模型在线校验"]
    N2 --> N3["格式门控去中心化强化学习<br/>结合格式奖励与组内去均值优势优化"]
    N1 -.->|提供任务结构与客观奖励函数| N3
    N3 --> Out["输出具备稳健自建模能力的语言模型"]

关键设计

1. 多格式可验证行为评测框架:消除虚假基线偏差并统一多模态行为真值 在评估模型是否了解自身行为时,直接对比模型自评报告与模型实际输出会遭遇严重的虚假准确率陷阱。以翻转决策(FLIP-DECISION)为例,若某模型仅在 5% 的扰动下改变答案,一个永远预测“不改变”的虚设预测器就能取得 95% 的原始准确率,从而掩盖模型毫无样本级自省能力的事实。为此,框架统一形式化了 10 类自建模任务(涵盖二分类、多选题、标量概率和自由文本),并引入无偏的技能分(Skill Score)度量体系。对于特定任务 \(t\)、模型 \(M\) 及样本 \(x\),评测首先通过目标模型在基准与扰动输入下的独立重复采样计算行为真值 \(g_t(x; M)\),再由独立的自建模元提示词 \(q_t(x)\) 激发自评报告 \(r_t(x; M)\),利用任务评分函数 \(m_t\) 计算原始得分 \(s_t(M; \mathcal{D})\)。为了剔除分布偏置,技能分定义为原始得分与虚假预测器基线 \(b_t\) 的差值: $\(\text{Skill}_t(M; \mathcal{D}) = s_t(M; \mathcal{D}) - b_t(M; \mathcal{D})\)$ 其中 \(b_t\) 在离散任务上为边缘经验众数预测得分,在连续标量任务(如翻转率 FLIP-RATE、自身正确率 SELF-ACCURACY、特征概率 FEATURE-RATE)上为真值均值预测得分(\(1 - \text{Var}(g)\)),在生成式任务上取 0。整套基准严格在数学推理、代码补全、偏见公平性与内容安全四大隔离测试集上运行,并在计算总技能分时执行群组与任务的宏观平均,确保任何单一领域或任务格式无法主导评估结果。

2. 闭环生成-验证-修正合成管线:打破辅助模型预测偏差并挖掘脆弱内部信念 为了训练模型的自建模能力,需要海量涵盖扰动前后的对比行为样本,但直接使用外部生成模型设计扰动会面临严重的“决策边界错配”——外部辅助模型(如 Claude Opus 4.5)往往将可直接验算的基础数学或常识视为脆弱点,而在目标模型真正产生认知摇摆的隐式假设或对齐边界上却无法命中。为此,管线在单轮数据上提出了基于“分解-生成-反馈-校验”的多轮主动修正循环:首先通过结构分解器将提示词解构为内容、格式、上下文、假设、显式约束与隐式前提六大要素;随后针对容易引发内部信念冲突的脆弱维度(如语境冲突、未言明的规范偏好、对抗鲁棒性差距)生成翻转(flip-inducing)、非翻转(non-flip)与边界(boundary)三类候选扰动;接着利用目标模型的即时采样反馈不断调整扰动措辞,直至通过目标模型验证。在多轮智能体评测中,管线进一步扩展为 BLOOM 轨迹分支重放机制,在模拟环境与对话中选择分支点注入微调,重放后续轨迹并由 LLM 裁判给出 1–10 分行为标签,最终通过分层降采样消除正负标签失衡,构建起规模均衡、无数据泄漏的合成训练集。

3. 格式门控去中心化强化学习:避免监督微调格式坍缩并实现跨任务泛化 在自建模训练模式的选择上,研究表明标准监督微调(SFT)会导致灾难性的格式坍缩——模型过度拟合特定微调任务的输出语法,在评测未见格式时生成不可解析的文本,导致跨任务严格得分断崖式下跌;即使在 SFT 后追加强化学习也无法弥补此类表征退化。针对此问题,本文采用基于可验证奖励的强化学习(RLVR),通过 LoRA 适配器直接优化策略模型 \(\pi_\theta\)。训练过程利用基座模型 \(\pi_{\theta_0}\) 预计算的行为标签作为真值锚点(实验证实微调过程中的模型行为漂移极小,预计算标签与动态重计算效果一致),构建由格式奖励与任务奖励组成的复合目标: $\(R(r_t, g_t) = \mathbf{1}[\text{format correct}] \cdot 0.5 + R_{\text{task}}(r_t, g_t)\)$ 其中格式正确给予 0.5 的硬门控加分,确保所有可解析输出严格优于解析失败;任务奖励 \(R_{\text{task}}\) 则精确镜像评测阶段的 \([0, 1]\) 度量指标。模型在每次更新中针对每个元提示词抽取 \(K=16\) 条候选轨迹,计算组内去均值优势 \(A_k = R_k - \bar{R}\),采用无截断的重要性采样 REINFORCE 目标进行参数更新。该设计舍弃了复杂的 PPO 比例裁剪与基准策略 KL 惩罚,仅凭有界奖励与组内基线便实现了稳定的跨任务泛化提升。

损失函数 / 训练策略

RLVR 训练基于 LoRA(秩为 32),针对各任务元提示词分布 \(\mathcal{D}_{\text{train}}\),优化如下组内中心化重要性采样目标: $\(\mathcal{L}(\theta) = \mathbb{E}_{q \sim \mathcal{D}_{\text{train}}} \left[ \sum_{k=1}^K \frac{\pi_\theta(r_k \mid q)}{\pi_{\theta_{\text{old}}}(r_k \mid q)} \cdot (R_k - \bar{R}) \right]\)$ 批量大小设为 64 个提示词/步(对应单步 1024 条采样轨迹),采用 AdamW 优化器,学习率为 \(2 \times 10^{-5}\),经过 50 步预热后进行余弦退火衰减。对于标量预测任务中偶尔超出 \([0, 1]\) 范围的输出,计算损失前显式执行数值截断。单任务微调进行约 200 步(约 10 个 epoch),而多任务混合训练(MTL)则在同等步数下覆盖全套自建模任务,确保不同任务尺度的奖励均衡推进。

实验关键数据

主实验

论文在包含 18 款主流前沿模型与开源模型的排行榜上系统评测了 E1–E9 任务的自建模表现(宏观平均扣除伪预测基线后的 Skill Score,满分为 +1.0),并在开源模型族上验证了强化学习微调带来的增益。

模型 模型类型 原始严格分 (\(s_t\)) 虚假基线分 (\(b_t\)) 综合自建模技能分 (Skill) 备注
DeepSeek-V3.1 闭源/前沿 0.812 0.665 +0.147 ± 0.019 全榜最高技能分
gpt-5.4 闭源/前沿 0.826 0.695 +0.131 前沿商业模型次席
Kimi-K2.5 闭源/前沿 0.804 0.678 +0.126 具备较强长程推理能力
Qwen3-8B (Base) 开源/8B 0.702 0.594 +0.108 ± 0.013 开源模型基线最高
Qwen3.5-35B-A3B 开源/35B MoE 0.741 0.634 +0.107 开源 MoE 架构表现稳健
Claude Opus 4.5 闭源/前沿 0.796 0.695 +0.101 思维链自建模表现均衡
GPT-4o 闭源/商业 0.763 0.672 +0.091 广泛部署的标准基线
GPT-OSS-20B (Base) 开源/20B 0.693 0.613 +0.080 ± 0.016 具备独立思考通道
Llama-3.3-70B 开源/70B 0.724 0.668 +0.056 尺寸增大但自建模增益放缓
Gemini 3.1 Pro 闭源/前沿 0.738 0.698 +0.040 基线较高但边际技能分较低
Llama-3.1-8B (Base) 开源/8B 0.585 0.592 -0.007 ± 0.034 未经微调时劣于常数基线
Llama-3.1-8B (MTL-RL) 本文微调 0.677 0.585 +0.092 ± 0.006 相对基模型绝对提升 +0.099
Qwen3-8B (MTL-RL) 本文微调 0.729 0.609 +0.120 ± 0.007 相对基模型绝对提升 +0.012
GPT-OSS-20B (MTL-RL) 本文微调 0.740 0.613 +0.127 ± 0.008 相对基模型绝对提升 +0.047

消融实验

为明确强化学习(RLVR)相比传统监督微调(SFT)的优越性,论文在 Llama-3.1-8B 上以单任务翻转率(E3 FLIP-RATE)为训练对象,在综合基准(E1–E9 宏观平均)上对比了多种微调范式与消融配置。

训练方案 / 检查点 训练数据来源与规模 综合基准技能分 (Skill) 相比未微调基线提升 (\(\Delta\)) 核心实验观察
Llama-3.1-8B (Untrained Base) 无微调 -0.007 — 未微调基模型格式依从性较差
SFT (simulation_raw) 1,275条 E3 样本 -0.069 -0.062 发生严重格式坍缩,OOD任务多判为0分
SFT + Online Refresh 动态重采样微调 -0.105 -0.098 在线刷新真值无法阻挡跨格式退化
SFT + RL 级联训练 先SFT后RL接续 -0.110 -0.103 SFT造成的表征破坏无法被后续RL恢复
RL + Online Refresh RLVR + 动态刷新 +0.039 +0.046 动态标签刷新增加耗时不带来收益
RL (全量未平衡数据,Epoch 1) 16,864条原始样本 +0.037 +0.044 早期达到峰值后随数据失衡迅速过拟合
RL (小规模平衡数据,Epoch 8) 1,275条分层平衡样本 +0.070 +0.077 充分收敛且维持跨任务平滑迁移
RL 多任务混合微调 (MTL) 包含全任务平衡集 +0.092 +0.099 全面覆盖各格式,达到开源最强表现

关键发现

  • 大模型普遍存在显著自建模缺陷,前沿模型远未触及上限:全行业 18 款参评模型中,最高的 DeepSeek-V3.1 技能分仅为 +0.147,距理论满分 +1.0 仍有巨大差距;模型规模与自建模技能并不呈绝对正相关(例如 Gemini 3.1 Pro 技能分仅为 +0.040,甚至大幅落后于 Qwen3-8B 的 +0.108),表明通用推理算力无法自然转化为可靠的行为自省。
  • SFT 遭遇严重格式坍缩,RL 是驱动跨任务泛化的决定性手段:单一任务 SFT 训练后,模型不仅在分布外(OOD)任务上的技能分普遍崩溃至负值,且解析失败率剧增;相比之下,格式门控的 RL 能够在维持通用推理能力(MMLU-Pro 评测无灾难性遗忘)的同时,显著强化跨任务自省迁移能力。
  • 跨模型预测否定了“特权内部访问”假设:在交叉模型评估实验中(用模型 A 解释预测模型 B 的行为真值),能力较强的解释模型(如 Qwen3-8B)预测 Llama-3.1-8B 行为的准确率,甚至显著高于 Llama-3.1-8B 预测自身行为的准确率。这表明自建模表现更多来源于模型对自然语言因果规律的通用推理推断,而非对自身权重或内部激活机制的特权读取。

亮点与洞察

  • 提出标准化剔除伪预测偏差的技能分度量(Skill Score):设计了一套严格针对各任务真值先验分布的常数与众数预测器惩罚基线,将表面的“高分类准确率”还原为真实反映样本级自省增益的客观能力分。
  • 设计了“生成-验证-修正”闭环的合成提示挖掘管线:揭示了前沿大模型作为生成器时无法一击命中目标模型决策边界的缺陷,通过多轮真实采样对抗性寻找目标模型脆弱内部信念,为缺乏真实标注的自监督评测提供了可复用的范式。
  • 证实大模型“自省”属于通用行为模式建模:交叉预测实验表明更强的外部模型能比模型自身更准地预判其反事实行为,打破了关于大语言模型内省具备“第一人称特权认知”的直觉误区,为 AI 对齐与红队审计提供了扎实的认知基础。

局限与展望

  • 受限于受控的单步文本交互评测场景:当前基准主要基于静态文本单轮问答与固定提示扰动,尚未充分覆盖真实生产环境中依赖长程记忆、复杂外部工具调用与用户多轮动态反馈的大规模智能体决策。
  • 扰动挖掘机制尚未实现针对目标模型的自适应参数化搜索:当前生成器依赖预设规则与有限反馈循环,未来可探索针对特定模型隐空间表征的主动贝叶斯优化或强化学习对抗搜索,以精准暴露不同模型独有的决策盲区。
  • 下游红队审计与提示工程中的应用效益仍较为微弱:尽管在 Petri 红队攻防与提示词自动调优实验中展现出正向信号,但引入自评报告对最终任务指标的提升幅度尚在边际区间,亟待开发能够更深度利用自省先验的高效下游决策算法。

相关工作与启发

  • vs. 基于机械可解释性的内部状态自省 (Li et al., 2025; Lindsey, 2026):此类工作依赖模型读取自身稀疏自编码器(SAE)特征或隐层激活值;而本文建立在严格经验主义的外部行为验证上,不预设任何特权访问假设,评测覆盖面与工程落地性显著更广。
  • vs. 传统大模型自解释与反事实归因 (Mayne et al., 2025; Chuang et al., 2026):以往工作多通过单次提示要求模型提供事后解释(Post-hoc Explanation),常被证明存在高度不可信与谄媚现象;本文通过对真实重采样的因果扰动进行预测,构建了绝对客观的真值校验基准。
  • vs. 静态大模型置信度与校准评估 (Fleming, 2024; Shi et al., 2025):传统校准仅局限于模型回答当前问题的是否正确;本文将自建模扩展至对修改输入、修改组件、多选反事实影响等更广泛的假设因果推理空间。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从外部可验证行为角度系统性定义、评测与训练大模型自建模能力,摆脱了不可知论的内省争论。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 18 款闭源前沿与开源模型、10 类任务基准、详尽的 SFT 与 RL 消融对比及多项下游审计验证。
  • 写作质量: ⭐⭐⭐⭐⭐ 论文形式化定义极其严谨,对各种评测陷阱与统计偏差的处理极为透明扎实。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型自评估、安全红队审计和基于强化学习的元认知对齐树立了标准评测规范。