Teach-to-Reason: Competition-Guided Reasoning with a Self-Improving Teacher¶

会议: NeurIPS 2026
arXiv: 2606.25407
OpenReview: https://openreview.net/forum?id=kWZzaC732G
领域: 其他
关键词: 强化学习, 胸部X光VQA, 思维链优化, 自博弈教师, 比较式监督

一句话总结¶

针对胸部X光VQA中答案级强化学习奖励粗糙且易在组内退化为零的问题，本文提出了 Teach-to-Reason (T2R) 框架，通过自博弈持续进化的教师模型提供渐进式参考思维链，并设计了保持原始奖励正负划分的保序与退化恢复机制，显著提升了医学推理轨迹的质量与开放式问答性能。

研究背景与动机¶

胸部X光视觉问答（CXR VQA）要求模型在基于放射学影像给出临床决策的同时，产出可靠且符合医学逻辑的推理依据。在临床实践中，一个表面上正确的诊断答案可能源于错误的影像征象观察或脆弱的偶发推测，因而优化模型生成思维链（CoT）的内在临床推理质量，与提升最终预测准确率同等关键。

然而，现有的强化学习（如基于规则验证的 RLVR）通常依赖答案级最终奖励。这种奖励信号过于粗糙，难以对复杂的长程推理链条提供细粒度指导；更致命的是，在基于群组相对优势估计（如 GRPO）的强化学习训练中，当一组采样样本全部回答正确或全部回答错误时，组内样本的优势度全部归零发生退化，导致训练监督信号极度稀疏。尽管引入规则评分或基于大模型的裁判评分可以对 CoT 进行打分，但固定标准的直接打分往往极易迅速饱和，无法在多轮优化中持续提供学习动力。

解决该问题的关键在于将绝对标量打分转变为相对比较，并让比较的参考基准随模型能力同步进化。核心 idea：构建一个通过自博弈自我进化的教师模型提供渐进增强的参考思维链，并设计按例奖励机制，在任务奖励有效时仅做组内相对排序精炼、在组优势退化为零时通过竞争胜率恢复正负样本划分与梯度信号。

方法详解¶

整体框架¶

Teach-to-Reason (T2R) 框架解耦了训练过程中的两个核心角色：负责最终 VQA 推理的目标推理者（Reasoner，$\pi_\theta^{\mathrm{rea}}$）和仅在训练期辅助构建优质参考思维链的教师（Teacher，$\pi_\phi^{\mathrm{tea}}$）。教师模型除了接收放射影像与问题外，还能额外接触参考答案与完整放射学报告，并受提示词约束像仅看影像一样产出合乎医学规范的黄金 CoT。

在训练阶段，教师模型通过与自身上一阶段的冻结快照进行自博弈（Self-Competition）实现逐阶段进化；而推理者模型则在每个阶段与教师生成的 $K$ 条参考思维链进行成对比较，计算平均胜率并据此调节 GRPO 的组内优势度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: X光影像 + 临床问题"] --> B["阶段演进教师自博弈<br/>教师生成高质量参考CoT"]
    A --> C["推理者生成候选CoT与答案"]
    B --> D["成对比较判决与竞争胜率计算<br/>大模型裁判随机位置盲测"]
    C --> D
    D --> E["按例保序优势度重构<br/>区分非退化保号增益与退化划分恢复"]
    E --> F["GRPO策略更新与能力进阶"]

关键设计¶

1. 阶段演进教师自博弈：提供难度匹配且持续进化的参考靶标

直接引入静态专家模型或单一评估标准作为奖励源，极易导致两类失败模式：若参考标准过强，推理者与参考链比较时胜率几乎全为 0，监督信号彻底稀疏；若标准固定，模型在初步拟合后便迅速陷入奖励饱和。T2R 采用分阶段解耦演进策略，将训练数据划分为多个连续数据块，在每个迭代阶段 $i$，将当前教师 $\mathcal{T}_i$ 冻结为公共参考快照 $\tilde{\mathcal{T}}_i$。教师自身通过优化包含格式约束和对抗旧快照胜率的目标函数 $r_i^{\mathrm{tea}} = m_i^{\mathrm{fmt}}(1 + s_i^{\mathrm{tea}})$ 完成自我增强生成 $\mathcal{T}_{i+1}$；推理者则在同一批冻结参考链的对抗中更新为 $\mathcal{R}_i$。这种阶梯式更新保证了教师水平始终略高于推理者，形成自适应且不饱和的动态近端学习信号。

2. 成对比较判决与竞争胜率计算：从标量绝对打分转向相对偏好评估

针对单条思维链的绝对打分极易受长度偏好和提示词敏感性干扰的缺陷，T2R 采用轻量多模态/文本模型作为裁判进行两两成对盲审。对于推理者生成的候选思维链 $\hat{C}_i^{\mathrm{rea}}$，与教师生成的 $K$ 条参考思维链 $\{\hat{C}_{i,k}^{\mathrm{tea}}\}_{k=1}^K$ 进行独立比对。裁判在综合考量推理正确性、内部逻辑自洽性、结论对齐度和论据支撑力度后，通过双盲随机槽位裁决胜者： $$s_i^{\mathrm{rea}} = \frac{1}{K}\sum_{k=1}^K f_{\mathrm{comp}}(\hat{C}_i^{\mathrm{rea}}, \hat{C}_{i,k}^{\mathrm{tea}}), \quad s_i^{\mathrm{rea}} \in [0, 1]$$ 该胜率不仅平滑刻画了候选思维链相对于当前阶段专家水平的质量分布，而且摆脱了对单点评分标准的直接拟合，为组内策略梯度提供了密实的连续统计量。

3. 按例保序优势度重构：非退化精炼与退化划分恢复

在传统 GRPO 中，基础任务奖励基于格式与答案正确性构建：$\tilde{r}_i^{\mathrm{rea}} = m_i^{\mathrm{fmt}}(1 + \mathbf{1}[\hat{A}_i = A_i^*])$，其中心化优势为 $a_i^{\mathrm{raw}} = \tilde{r}_i^{\mathrm{rea}} - \frac{1}{G}\sum_j \tilde{r}_j^{\mathrm{rea}}$。T2R 提出了严格的按例（Case-wise）优势重构准则，防止思维链竞争奖励颠覆原始答案正确性的正负分类：

非退化情形（$\mathcal{P}^+ \cup \mathcal{P}^- \neq \emptyset$）：组内既有正样本又有负样本。此时基础任务奖励所确立的方向完全保留，仅在正样本集 $\mathcal{P}^+$ 与负样本集 $\mathcal{P}^-$ 内部利用标准化的竞争得分 $p_i^+, p_i^-$ 进行相对排序微调。通过严格受控的安全裕度因子 $\alpha \in (0, 1)$ 自适应缩放奖励加成 $\Delta_i^{\mathrm{rea}}$，从数学上严格保证最终优势 $a_i^{\mathrm{final}} = a_i^{\mathrm{raw}} + \Delta_i^{\mathrm{rea}}$ 与原始 $a_i^{\mathrm{raw}}$ 严格同号，杜绝了逻辑看似流畅但结论错误的伪负样本反转为正样本。
退化情形（$a_i^{\mathrm{raw}} = 0, \forall i$）：组内所有采样答案全对或全错，组优势坍缩为零。此时通过候选阈值 $\tau$ 结合比例超参 $\gamma=0.3$ 在竞争得分上寻找最大可行切分，将样本重新划分为高分正集与低分负集，并通过理论推导的最小正向偏移量 $\lambda$ 进行平移中心化重构优势，从原本失去训练信号的样本组中成功挽救出高信息量的优化梯度。

损失函数 / 训练策略¶

推理者与教师模型均以 Qwen3-VL-Instruct（2B 和 4B 规模）为底座，使用 GRPO 算法配合对基线模型的 KL 散度约束进行优化。阶段式训练将 67K 样例划分为 4 个数据分段：Split 0（50% 数据）用于推理者的初始冷启动 RLVR，训练出初始检查点 $\mathcal{R}_0$；Splits 1-3（各占约 16.7%）则用于三轮递进式演化。GRPO 每组采样数 $G=16$，批大小 128，学习率设为 $1\times 10^{-6}$，KL 散度惩罚系数为 $1\times 10^{-2}$。成对评判模型与训练期开卷校验采用轻量级 Qwen3-4B-Instruct，测试集最终验收则采用五次独立采样投票的 Qwen3-235B-A22B。

实验关键数据¶

主实验¶

在六大胸部X光开放式问答评测基准（Medical-CXR-VQA、VQA-RAD、SLAKE、MIMIC-CXR-VQA、Covid19_heywhale、Chest_X-Ray_PA）上，针对 2B 与 4B 两种参数量模型进行全面对比评测（指标为开放式问答准确率 %）：

模型规模与方法	Med-CXR	VQA-RAD	SLAKE	MIMIC-CXR	Covid19	CXR-PA
2B Scale
Base Model	15.94	31.69	52.87	12.98	22.64	31.72
RLVR Only	16.87	30.18	53.92	11.85	21.69	20.32
Judge Reward	28.00	35.84	56.02	17.53	15.66	27.04
Frozen Teacher	21.74	40.37	52.35	20.88	31.88	32.20
T2R-R1	22.50	41.28	52.35	20.55	39.43	34.64
T2R-R2	27.51	40.90	53.92	22.17	30.56	36.98
T2R-R3 (Ours)	31.73	43.18	50.78	23.87	40.37	37.57
4B Scale
Base Model	21.74	40.37	58.11	20.45	26.22	41.22
RLVR Only	21.34	41.13	56.84	22.67	28.86	35.81
Judge Reward	22.38	41.26	56.54	23.09	29.24	36.40
Frozen Teacher	24.41	42.01	64.92	25.85	27.54	38.59
T2R-R1	21.27	38.63	61.25	19.82	40.56	42.25
T2R-R2	22.87	46.96	64.92	25.61	49.43	45.32
T2R-R3 (Ours)	23.23	42.42	60.73	28.04	41.37	43.85

消融实验¶

在 2B 尺度上对退化处理、保序增益设计及直接注入竞争奖励进行消融评测（报告 6 个测试集的准确率 %）：

配置与变体	Med-CXR	VQA-RAD	SLAKE	MIMIC-CXR	Covid19	CXR-PA
Base Model	15.94	31.69	52.87	12.98	22.64	31.72
RLVR Only	16.87	30.18	53.92	11.85	21.69	20.32
仅退化组恢复 (Degenerate Handling)	28.50	40.62	51.30	21.20	45.71	35.07
仅非退化保序增益 (Non-Degenerate Bonus)	20.94	31.69	53.92	12.52	20.93	25.58
直接线性相加奖励 (Direct Competition Reward)	26.55	38.74	51.04	21.14	33.77	34.63
完整 T2R (均值)	27.24	41.78	52.35	22.19	36.78	36.39

关键发现¶

退化恢复是性能跃升的主力来源：消融实验显示，“仅退化组恢复”所带来的性能提升明显高于“仅非退化保序增益”（如 Med-CXR 从 16.87% 骤升至 28.50%）。这印证了在 RLVR 采样中，大量全对或全错批次导致梯度消失是性能瓶颈，竞争得分重新激活了有效监督。
直接线性叠加奖励破坏正负边界：将竞争得分直接线性加到任务奖励中（$r = m(1 + s + \mathbf{1}[A=A^*])$）的效果普遍劣于完整 T2R，说明未经约束的 CoT 打分会冲淡答案正确性边界，甚至将“错误答案但文字流畅”误奖赏为正向梯度。
教师演进阶梯必须与学生水平对齐：在固定教师消融中，如果直接使用最高阶的 $\mathcal{T}_2$ 或 $\mathcal{T}_3$ 指导初级学生，学生胜率始终接近 0，导致学习停滞；只有使用与学生水平相近并阶梯式提升的自博弈教师（$\mathcal{T}_0 \rightarrow \mathcal{T}_1 \rightarrow \mathcal{T}_2$），才能维持平稳且高效的优化动态。

亮点与洞察¶

保序重构的数学自洽性：通过解析推导出的动态缩放系数 $\eta$ 和平移常数 $\lambda$，在保证正负样本判定不受污染的前提下完成了连续胜率注入，这种机制可无缝迁移至代码、数学等多步推理解任务中。
解耦的异步演化设计：教师的自博弈仅依赖自身历史快照与外部报告线索，与推理者完全解耦；训练时使用统一冻结快照分发参考，显著降低了双智能体在线对抗可能引发的策略漂移与训练崩溃风险。
通过 SFT 蒸馏反推 CoT 纯度：不仅评测终端答案精度，还设计了将各方法产出的 CoT 作为单轮 SFT 语料监督全新 Student 的蒸馏实验，从下游泛化表现严格证明了 T2R 产出推理轨迹的内在临床质量提升。

局限与展望¶

裁判模型能力瓶颈：框架高度依赖轻量级大模型裁判的无偏公正性，若裁判存在明显的长度偏见或医学概念混淆，会引导推理者形成局部伪逻辑。
成对采样开销偏大：每条候选轨迹均需与 $K=10$ 条教师参考轨迹进行成对判决，即使采用 Ray 异步分发服务，推理计算与通信资源开销仍显著高于普通 RLVR。
评测维度的粗粒度聚类：目前的比较提示词将正确性、自洽性、支持度复合为一个整体二选一胜率；未来可拆解为影像征象锚定、解剖定位、鉴别诊断等多维细粒度评分矩阵。

评分¶

新颖性: ⭐⭐⭐⭐☆ 优雅结合了自博弈教师演进与成对比较优势重构，有效攻克了 VQA 领域 RL 优势坍缩难题。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 大真实胸部 X 光开放基准、全面的模块消融与教师难度分析，并附加了严格的 SFT 蒸馏验证。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰完备，公式推导严谨自洽，附录提供了详尽的超参数与提示词模板。
价值: ⭐⭐⭐⭐☆ 为多模态医学长程推理提供了高可复用的强化学习训练范式，方法原则同样适用于通用复杂规划任务。