Measuring Weak-to-Strong Legibility of Reasoning Models¶

会议: NeurIPS 2026
arXiv: 2603.20508
OpenReview: https://openreview.net/forum?id=IR4nD1PK12
论文: https://arxiv.org/abs/2603.20508
领域: Reasoning
关键词: 推理模型、弱到强易读性、迁移效用、可扩展监督、思维链审计

一句话总结¶

本文针对强化学习推理模型（RLM）思维链在多智能体协同与弱模型监控中的可理解性问题，提出弱到强“迁移效用”评测框架，揭示出现有高准确率与高效率模型在弱模型迁移易读性上的显著倒挂。

研究背景与动机¶

测试时计算（Test-Time Compute）与长思维链（Chain-of-Thought, CoT）已成为大语言模型模拟“系统二”深思熟虑推理的核心范式。当前主流推理模型（如 DeepSeek-R1、GPT-OSS、Kimi-K2 等）主要依托基于可验证奖励的强化学习（RLVR）进行后训练，训练目标几乎完全被最终答案的正确性单一主导。这种优化范式默认将中间推理轨迹视为一次性的非必要副产物，导致模型生成的思维链往往充斥着高度特化、跳步甚至是内部冗余的表述，难以被能力较弱的模型理解与承接。

然而在现实的多智能体协同、弱监督监控（Scalable Oversight）、模型蒸馏以及推理步骤缓存复用等关键场景中，强模型必须生成能够被低算力或小参数量模型有效消化的推理过程。现有评估易读性（Legibility）的方案存在严重盲区：基于效率的指标过度偏向 token 长度缩减与表面简洁度，容易把直接给出答案的“偷懒”轨迹误判为高质量；而依赖局部连贯性或强模型自身判断的指标，又无法反映能力不对称条件下的真实知识转移门槛。

面对这一核心矛盾，本文跳出传统的单智能体表面文本统计，将易读性重新定义为弱模型在接收部分推理轨迹时的实际承接与解题增益。核心 idea：提出弱到强“迁移效用”（Transfer Utility）交互式评估框架，通过向弱模型逐步输入不同深度的推理前缀并度量其补全正确率曲线，结合一阶效用、二阶信息熵与退步率，全景揭示强推理模型思维链在弱监督者眼中的可读性与审计价值。

方法详解¶

整体框架¶

本文构建的易读性评估体系由两大支柱组成：一是基于表面特性的“效率维度”（Efficiency），涵盖 Token 长度、基于语义嵌入相似度的冗余度（Redundancy）以及由 LLM 裁判标注的回溯频率（Backtracking）；二是核心贡献“迁移效用维度”（Transfer Utility），用于量化弱模型利用强模型部分轨迹完成任务的实际有效性。

整个评估流水线首先让 12 个主流开源强推理模型在通用基准题集上生成完整解答与思维链，随后提取解题正确的轨迹，以每 3 个句子为步长进行前缀截断，将各阶段的前缀输入弱模型（如 Phi-3-Mini、Llama-3.2-1B）并要求其续写得出最终答案。通过统计不同轨迹深度下弱模型的正确率变化，拟合出迁移效用曲线，进而计算一阶累积增益、二阶信息密度分布与逻辑混淆引发的退步率。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入题目与推理模型生成轨迹"] --> B["效率维度评估<br/>Token长度 / 嵌入冗余度 / 回溯统计"]
    A --> C["前缀采样与弱模型续写<br/>按步长截断前缀并输入弱学生模型"]
    C --> D["构建迁移效用曲线<br/>按轨迹深度百分比网格统计正确率"]
    D --> E["计算核心迁移指标<br/>一阶效用 FOTU / 二阶熵 SOTU / 退步率 RR"]
    B --> F["易读性综合剖析与下游弱监控验证"]
    E --> F

关键设计¶

1. 交互式迁移效用曲线：以弱模型续写能力度量轨迹脚手架质量 传统指标将推理痕迹视为孤立文本，无法衡量其对辅助解题的实质帮助。本文将易读性形式化为强模型对弱模型的脚手架支撑效应。设强模型 $T$ 正确解出题目 $p$ 并生成包含 $m$ 个步骤的推理轨迹 $R_p=\{s_1, \ldots, s_m\}$。评测框架在离散百分比网格 $X=\{2, 4, \ldots, 100\}$ 上进行采样，向弱学生模型 $W$ 提供覆盖前 $x\%$ 步骤的前缀 $R_p^{(x)}$，记录弱模型的续写正确率 $S(R_p^{(x)}) \in \{0, 1\}$。通过线性插值与尾部外推构建出单轨迹的效用函数 $f_p(x)$，并在全部有效轨迹与多个弱模型集合 $\mathcal{S}$ 上取双重平均，得到强模型 $T$ 的全局迁移效用曲线： $$\mu_T(x) = \frac{1}{|\mathcal{S}|} \sum_{W \in \mathcal{S}} \frac{1}{|P_x|} \sum_{p \in P_x} f_p^{(W)}(x)$$ 该曲线直接刻画了弱模型随着强模型思路展开而逐步理解并解决问题的动态演进过程。

2. 一阶与二阶效用分解：解耦平均增益与信息密度分布 单纯依赖平均正确率容易被“开篇直接剧透答案”的偷懒轨迹欺骗。为此，本文将迁移曲线解构为一阶迁移效用（FOTU）与二阶迁移效用（SOTU）。一阶效用 FOTU 计算迁移曲线在全网格上的积分均值，反映弱模型在整条轨迹各阶段获得的整体正确率提升： $$\text{FOTU}(T) = \frac{1}{|X_T|} \sum_{x \in X_T} \mu_T(x)$$ 而二阶效用 SOTU 则作为“认知正则项”，关注轨迹中信息释放的均匀度。定义弱模型在轨迹上首次答对题目的百分比位置为冒险点（hazard）$\tau_p^{(W)} = \min \{x \in X : f_p^{(W)}(x) = 1\}$，统计其经验概率分布 $h_{T,W}(x) = \Pr(\tau_p^{(W)} = x)$，并通过归一化香农熵计算 SOTU： $$\text{SOTU}(T) = \frac{1}{|\mathcal{S}|} \sum_{W \in \mathcal{S}} \frac{-\sum_{x \in X} h_{T,W}(x) \log h_{T,W}(x)}{\log |X|}$$ 若模型在开篇泄露答案或在前 90% 步骤毫无进展、仅在最后突变，则首次命中分布极度尖锐，SOTU 极低；只有当推理逻辑层层递进、认知负荷平稳分摊时，SOTU 才会处于高位。

3. 退步率与语义冗余度：捕捉逻辑反复与无序膨胀 强模型在推理过程中出现的歧路或自相矛盾可能对弱模型产生误导。本文提出退步率（Regression Rate, RR），用于量化弱模型在接收更多上下文后反而由对转错的频率。对按步长采样的正确性序列 $y_1, \ldots, y_K$，退步率定义为后续步正确率低于前一步的比例： $$\text{rr}(p, W) = \frac{1}{K-1} \sum_{i=1}^{K-1} \mathbb{1}[y_{i+1} < y_{i}]$$ 在效率端，针对模型“过度思考”造成的同义反复，采用 all-MiniLM-L6-v2 计算句子级嵌入，以 $\tau=0.8$ 为余弦相似度阈值统计与前文步骤重复的最大相似度占比；同时结合 Gemini 2.5-Flash 裁判检测显式反思（如“Wait”、“However”）引发的非线性回溯步数，与迁移效用形成互补镜像。

一个完整示例¶

以竞赛数学题（MATH）求解为例： - 强模型（如 OpenReasoning-32B）生成长达 4,471 token 的详细推导，分为 30 个句子步骤。 - 采样前缀在第 3 步（10% 进度）时，弱模型 Phi-3-Mini 读取前置代数变形，尝试续写但解方程失败（得分 0）； - 在第 9 步（30% 进度）时，强模型给出了关键辅助线或变量替换策略，Phi-3-Mini 凭借其自身算力顺畅推导得出正确结论（首次正确点 $\tau=30\%$，记录一次命中）； - 若在第 15 步强模型突然展开冗长的旁支验证且未加明确标志，导致 Phi-3-Mini 产生注意力偏移并在第 18 步续写出错误结论，此时产生一次退步（$y_6=1 \to y_7=0$），计入退步率 RR； - 最终将整条轨迹各截断点的得分平均（得到 FOTU=57.7%），并将其首次命中位置 30% 归入全数据集直方图计算信息熵 SOTU。

实验关键数据¶

主实验¶

评测涵盖 12 个最新开源推理模型（包括 GPT-OSS-120B/20B、DeepSeek-R1、Kimi-K2-Thinking、QwQ-32B、Gemma-3-12B/27B 等），跨越 MATH、GPQA、LSAT 三大基准，共收集 84,396 条推理轨迹。弱学生模型采用 Microsoft Phi-3-Mini (3.8B) 与 Meta Llama-3.2-1B。

下表展示了 12 个强模型在全数据集上的平均准确率及各项易读性指标的排序表现（数字越小排名越优）：

| 模型 | 平均任务准确率 (%) | 长度效率 Rank | 冗余度 Rank | 回溯控制 Rank | 一阶迁移 FOTU Rank | 二阶迁移 SOTU Rank | |---|---|---|---|---|---| | gpt-oss-120b | 81 | 4 | 1 | 4 | 10 | 5 | | gpt-oss-20b | 76 | 5 | 2 | 7 | 8 | 4 | | kimi-k2 | 70 | 10 | 11 | 8 | 1 | 8 | | deep-r1-0528 | 70 | 11 | 8 | 6 | 3 | 10 | | r1-distill | 68 | 6 | 8 | 10 | 11 | 6 | | qwen3-4b | 64 | 7 | 12 | 9 | 5 | 11 | | magistral-s | 62 | 2 | 4 | 3 | 12 | 3 | | openreas-32b | 58 | 12 | 7 | 5 | 2 | 12 | | qwen3-8b | 57 | 7 | 10 | 10 | 6 | 9 | | gemma-3-27b-it | 53 | 2 | 5 | 2 | 8 | 1 | | qwq-32b | 51 | 9 | 6 | 12 | 4 | 7 | | gemma-3-12b-it | 49 | 1 | 3 | 1 | 7 | 2 |

消融实验¶

为验证迁移效用能否推广至真实下游安全场景（即弱监督者监控强模型的逻辑错误），作者设计了“自然共享错误”（Natural Shared Failures）与“对抗破坏注入”（Sabotage Injection）两类负样本，评估由弱模型（Phi-3-Mini）对轨迹进行二分类判别时的效果，考察强模型 FOTU 与弱监督者判别指标（查准率 Precision、查全率 Recall、F1）的斯皮尔曼秩相关系数 $\rho$：

评估数据集	错误样本类型	弱监控平均 F1	$\rho$(FOTU, Recall)	$\rho$(FOTU, Precision)	$\rho$(FOTU, F1)	控制长度偏相关 $\rho$(FOTU, F1 \| Len)
MATH	破坏注入 (Sabotage)	0.851	+0.618*	+0.900***	+0.845**	+0.745**
MATH	自然错误 (Natural)	0.759	+0.709*	+0.873***	+0.809**	+0.582†
LSAT	破坏注入 (Sabotage)	0.346	-0.318	+0.818**	+0.664*	+0.482
LSAT	自然错误 (Natural)	0.726	+0.588†	+0.664*	+0.591†	+0.082
GPQA	破坏注入 (Sabotage)	0.270	-0.356	+0.770**	+0.064	-0.173
GPQA	自然错误 (Natural)	0.231	-0.691*	-0.305	-0.709*	-0.436

(注: *** $p<0.001$, ** $p<0.01$, * $p<0.05$, † $p<0.10$)

关键发现¶

准确率与迁移效用严重倒挂：任务准确率顶尖的极强模型（如 GPT-OSS-120B 准确率 81%）在一阶迁移效用上仅排第 10 名，而准确率仅 58% 的 OpenReasoning-32B 却高居第 2 名。整体任务准确率与 FOTU 呈现微弱负相关（$\rho = -0.35$），表明当今 RLVR 仅鼓励单兵突进的解题，产出的思维链对小模型极不友好。
效率与可迁移性的两极分化：业内不存在兼具所有维度的“全能易读模型”。Gemma 系列与 GPT-OSS 模型主打紧凑高效，Token 极短、冗余低，但教学承接性差；而 DeepSeek-R1、Kimi-K2 与 OpenReasoning 生成数千 Token 的详尽轨迹，虽然冗余度高（15%~38%），却能为弱模型提供极佳的解题支架。
程序化验证任务与事实型任务的边界：在高度依赖推导步骤的数学（MATH）与逻辑（LSAT）任务上，强模型的 FOTU 能够极强地预测弱监控模型的查准率（MATH 破坏注入下 $\rho=+0.900$），且在控制长度影响后依然显著；但在依赖高深先验事实的 GPQA 上，由于小模型缺乏专业知识储备，该预测效应彻底脱钩（控制长度后偏相关变为负值）。
主流奖励模型对易读性完全盲目：现有的过程奖励模型（Qwen2.5-Math-PRM-7B）与标量奖励模型（Skywork、AllenAI RM）打分与 FOTU 的相关系数接近于零（$\rho \approx -0.09 \sim +0.02$），表明目前的奖励机制只能识别对错，无法奖惩表达的晦涩与脱节。

亮点与洞察¶

将易读性操作化为交互式行为：摆脱了靠文本统计或同能力 LLM 主观打分的传统套路，用弱模型“读懂前缀能否答对”这一客观可测的行为学实验定义易读性，思路严密且具备很强的抗作弊能力。
引入二阶信息熵（SOTU）防范作弊：仅看平均准确率会导致模型“开局直接报答案”获得高分；通过衡量首次正确发生点的概率分布熵，巧妙构筑了惩罚偷懒轨迹的“认知正则”。
揭示了 Scalable Oversight 的现实瓶颈：实验证明目前最强的闭环自演化推理模型正在产生越来越不可读的“私有思维语言”，为未来设计兼顾正确性与协作易读性的多目标 RLVR 算法敲响了警钟。

局限与展望¶

作者承认的局限：评测局限于单轮问答与独立推理轨迹，尚未覆盖多轮对话 Agent 的动态记忆与环境交互；受限于商业 API 仅提供后期总结性思维链，评测仅在开源模型上展开，未包含 GPT-5、Claude-4.5 等专有推理系统；此外，弱模型可读性并不完全等同于人类专家的认知可读性。
实验与设定层面的局限：回溯指标依赖 Gemini 2.5-Flash 裁判的主观判定，尽管经过了人工抽样一致性检验，但在复杂法律推理（LSAT）上的绝对步数一致性较低（Kappa 仅 0.145）；在破坏注入实验中，利用外部模型改写轨迹可能引入细微的句式分布漂移。
改进方向：探索基于过程监督的多目标强化学习，将弱模型 FOTU 作为协同正则项引入奖励函数；研究轻量化自适应截断策略以压缩多智能体系统间的传递开销。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出基于弱模型交互式补全的迁移效用框架，开辟了推理模型评估新维度。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 12 个强模型、3 种弱学生/监控者、3 大核心数据集及 8.5 万条轨迹，跨模型/跨任务检验极其详实。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰，公式表达优雅严密，图表设计兼具深度与可读性。
价值: ⭐⭐⭐⭐⭐ 对可扩展监督（Scalable Oversight）、弱模型蒸馏及多智能体协作的基础设施设计具有深远启发。