Collaborative Reasoning Distillation via Cross-Feedback and Coherent Curation

会议: NeurIPS 2026
arXiv: 2610.09587
领域: 模型压缩
关键词: 知识蒸馏, 推理模型, 多教师协同, 思维链缝合, 强化学习优化

一句话总结

提出协同推理蒸馏框架 CRD，通过跨模型交互反馈纠错、细粒度步骤质量打分与保真连贯性动态规划缝合，仅用 50K 样本即让小模型在 MATH-500 和 AIME'25 上取得超越大参数模型的推理能力。

研究背景与动机

近年来前沿大语言模型（LLM）在复杂数学推导与代码生成任务上展现出强大的推理能力，但这些能力极大依赖于数千张 GPU 的庞大算力集群与高昂的训练成本。知识蒸馏本是将大模型能力迁移至紧凑型小模型的标准范式，但在复杂推理任务上，传统蒸馏方法常常遭遇严重的性能瓶颈。直接监督微调（SFT）或基于结果奖励的强化学习仅以最终答案的二元正确性作为反馈信号，往往无法区分严谨的逻辑推理过程与纯属偶然的“侥幸猜测”，导致小模型在训练过程中容易继承教师模型的逻辑幻觉和推理捷径。

虽然结合思维链（CoT）能提供更显式的推导演示，但依赖单一教师模型生成的推理链存在多样性匮乏与偏见传播问题。不同基座模型各具独特的推理优势与缺陷偏差——例如 DeepSeek-R1 擅长发散性的创新建构，却容易在代数计算和步骤跳跃上出错；而 Gemini 类模型在结构推导上严谨，但在复杂多步推理中偶发浅层断言。现有的多教师蒸馏方案大多停留在整条推理链维度的简单聚合、集成投票或多智能体辩论过滤，一旦一条优质链条中仅包含单处计算滑坡，整条推导便被全盘抛弃；反之，包含逻辑断层的错解只要碰巧蒙对答案就会被作为正样本引入。

本文的核心切入点在于打破“整链模仿”与“单模型上限”的束缚，将不同教师模型的互补优势在细粒度步骤级别进行动态重构与协同融合。核心 idea：构建集交互式跨模型反馈（Cross-Feedback）、无视答案二元性的细粒度步级质检（Judging）以及连贯性感知 Viterbi 步骤缝合（Thinking Path）于一体的协同推理蒸馏体系，结合推理质量优化（RQO）实现小样本高密度的跨模型能力跃迁。

方法详解

整体框架

协同推理蒸馏（CRD, Collaborative Reasoning Distillation）的核心流程分为四个紧密耦合的阶段：多教师交互式跨模型反馈（Cross-Feedback）、细粒度步骤质量评估（Judging）、连贯性感知步骤缝合（Thinking Path）以及目标引导的推理质量优化（RQO 与 Optimal Budget）。

输入阶段，针对给定的复杂推理问题（涵盖数学、编程、逻辑与科学），两个异构教师模型（DeepSeek-R1 与 Gemini 2.5 Flash Thinking）首先独立生成初始思维链。随后进入多轮交互审阅，教师模型互相指出对方推导中的漏洞、计算错误与隐含假设并进行迭代修订。紧接着，由轻量化双裁判模型逐步打分并结合确定性工具校核，得出每个推导节点的无偏质量分数。随后，Thinking Path 算法在所有候选步骤构成的有向无环图上执行全局动态规划搜索，缝合出一条超越单一教师水平的最优杂交推理轨迹。最后，学生模型在曲率控制的长度预算课程下，通过基于质量边际加权的 RQO 损失进行策略训练。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入题目<br/>数学 / 代码 / 逻辑 / STEM"] --> CF["1. 交互式多教师跨模型反馈<br/>异构教师循环质询与互补修订"]
    CF --> Judge["2. 细粒度步级质量评估<br/>双裁判打分 + 符号/执行工具校核"]
    Judge --> Stitch["3. 连贯性感知步骤缝合<br/>基于 Viterbi 算法的最优杂交轨迹合成"]
    Stitch --> RQO["4. 推理质量优化与动态预算课程<br/>基于质量差值权重的策略更新与长至短压缩"]
    RQO --> Out["紧凑型学生模型<br/>CRD-1.5B / 4B / 30B-A3B"]

关键设计

1. 交互式多教师跨模型反馈：利用异构模型的不对称误差画像进行互补纠错

针对单一教师存在固有盲区且易将错误级联传递给学生的问题，CRD 引入异构教师交互闭环。在初始轮次 \(k=0\) 时，教师 \(T_i\) 独立生成基线推理链 \(R_i^{(0)}\)。在后续的提炼轮次 \(k \in \{1, 2, \dots, K\}\) 中，每个教师 \(T_i\) 会接收到原始问题 \(x\) 以及所有其他教师在前一轮生成的推理链 \(\{R_j^{(k-1)} \mid j \neq i\}\)。系统通过包含逻辑连贯性、反事实矛盾、隐式假设以及领域约束（如代数恒等变形、边界用例覆盖、演绎规则健全性）的结构化评测提示词，要求教师明确审校同行推导中的瑕疵并重新输出完整修正链。实验表明，交互纠错在 \(K=2\) 至 \(3\) 轮迅速收敛，数学推导准确率从初始的 64.1% 跃升至 83.5%，代码生成成功率从 52.3% 提升至 73.9%，为后续构建高质量训练集奠定了坚实的候选池。

2. 细粒度步级质量评估：剥离答案正确性偏差的连续逻辑质检

为了克服传统以最终答案对错（Outcome-based reward）赋予统一奖励带来的“误奖幸存者谬误”，CRD 构建了一套独立于最终答案的步级细粒度质量评审系统。评估框架由两个专职评判模型组成：高吞吐低延迟的 JudgeLM（相比 GPT-4o 提速 16 倍且判据一致）与紧凑型 0.5B 检验模型 xVerify。每个评判模型对每个推理步骤独立评估两次，得到 4 个打分；系统采用 25% 截尾均值策略（Trimmed Mean），舍弃最高和最低极端分，取中间两项均值作为鲁棒的步骤质量分 \(v_t \in [0, 10]\)。随后结合领域工具执行硬性后验约束：代码调用真实运行沙箱、数学核验关键等式节点、逻辑推理检查演绎规则。这种设计使得即便整道题目最终解答失误，其中前段极具启发性的高价值构思步骤依然能够被量化挖掘并留存。

3. 连贯性感知步骤缝合：防范科学怪人效应的全局最优路径规划

若仅在每一步贪婪选取最高分步骤，极易造成上下文语义断裂、变量指代冲突等“科学怪人（Frankenstein）”推理链。CRD 提出 Thinking Path 算法，将推理链合成建模为有向无环图（DAG）上的全局路径规划。算法首先通过嵌入相似度与向前观察合并机制对齐不同教师在步骤粒度上的跨度差异。设位置 \(t\) 处的候选步骤集为 \(S_t\)，从步骤 \(u \in S_{t-1}\) 转移到步骤 \(v \in S_t\) 的转移评分为：

\[\text{Score}(u \to v) = \lambda \cdot \mathcal{V}(v) + (1 - \lambda) \cdot \log(\epsilon + C(u, v))\]

其中 \(\mathcal{V}(v) \in [0, 1]\) 为经归一化后的步骤质量得分，\(C(u, v) = \frac{1 + \cos(\text{embed}(u), \text{embed}(v))}{2} \in [0, 1]\) 衡量两步之间的转移语义连贯度。算法利用 Viterbi 动态规划在 \(O(T \cdot N^2)\) 复杂度内求解全局最优路径 \(\hat{R} = \arg\max \sum_{t=1}^L \text{Score}(s_{t-1} \to s_t)\)，并在回溯时滤除低于质量阈值 \(\tau\) 的步骤。该算法在测试中使 19.6% 原本两名教师皆未能完整解出的疑难题目成功生成了完全正确的全流程推导。

4. 推理质量优化与动态预算课程：基于质量差值权重的策略更新与长至短压缩

为了使学生模型充分吸收步骤级质量信号，CRD 摒弃了将所有偏好对等视之的传统 DPO，设计了推理质量优化算法（RQO）。对缝合后的推理链累加步级分数得到整链质量 \(v_R = \sum_t v_t\)。对于成对样本 \((R_{win}, v_{win})\) 与 \((R_{lose}, v_{lose})\)，计算质量边际差值 \(\Delta v = v_{win} - v_{lose} > 0\)，赋予其指数调节权重：

\[w(\Delta v) = \frac{e^{\beta \Delta v} - 1}{Z}\]

进而最小化目标函数：

\[\mathcal{L}_{\text{RQO}} = -\mathbb{E} \left[ w(\Delta v) \cdot \log \sigma \left( \pi_{\theta}(R_{win} \mid q) - \pi_{\theta}(R_{lose} \mid q) \right) \right]\]

同时，为解决学生模型在初期过早被施加长度惩罚而诱发的“可学习性鸿沟（learnability gap）”，CRD 引入从长到短（Long-to-Short）的动态长度预算课程（32K \(\to\) 10K \(\to\) 1K）。当生成长度 \(l\) 超过当前阶段预算 \(B\) 时施加柔性指数衰减惩罚 \(R_{budget}(l) = R_{base} \cdot \exp(-\alpha \max(0, l - B))\)，确保模型先学会完整展开思维，再学会高密度压缩表达。

一个完整示例

以几何问题“求正三角形内部且位于与两边相切的圆外部的面积占比”为例： 1. 教师 A 初始推导：正确推导角平分线与圆心角 \(\angle BOC = 120^\circ\)（打分 9.3），计算出半径 \(r = s/\sqrt{3}\)（打分 9.0）；但在确定圆心拓扑时草率判定仅存在外侧圆心（打分 3.6），后续不得不通过生硬加绝对值修正负面积（打分 0.8），整链失败。 2. 跨模型交互（Cross-Feedback）：教师 B 捕捉到教师 A 的圆心定位缺陷，指出存在内外两种对称几何构型，并证明外侧构型产生自相交矛盾，从而给出合法的劣弧扇形计算。 3. 连贯性缝合（Thinking Path）：算法保留教师 A 的前置严密代数推导步 \(A_1 \to A_2\)，由于检测到 \(A_2 \to A_3\) 的连贯性与质量骤降，动态切入教师 B 修正后的分类讨论步 \(B_3\)、排除矛盾步 \(B_4\) 和最终几何求值步 \(B_5\)。 4. 最终生成轨迹：合成无缺陷的 \(A_1 \to A_2 \to B_3 \to B_4 \to B_5\)，实现单模型无法独自完成的正确闭环推导。

实验关键数据

主实验

在各尺度学生模型上评估 Pass@1（%）准确率。CRD 仅使用 50K 精选训练样本（DeepScaleR 20K、Eurus-2-RL 15K、Reasoning Gym 10K、SCP-116K 5K）。

类别 / 模型	参数规模	MATH-500	AIME'24	AIME'25	LiveCodeBench	GPQA-Diamond
DeepSeek-R1-Distill-7B	7B	92.8	55.5	–	37.6	49.1
DeepSeek-R1-Distill-1.5B (基线)	1.5B	83.9	28.9	22.0	16.9	32.9
ProRL-1.5B (同类 SOTA)	1.5B	91.9	48.1	33.3	23.8	41.7
CRD-1.5B (本文)	1.5B	91.1	46.9	35.1	27.2	39.7
Qwen3-1.7B (基线)	1.7B	93.4	48.3	36.8	33.2	40.1
CRD-1.7B (本文)	1.7B	94.5	50.3	42.2	37.3	42.9
DeepSeek-R1-Distill-32B	32B	94.3	72.6	60.0	57.2	62.1
Qwen3-4B (基线)	4B	97.0	73.8	65.6	54.2	55.9
CRD-4B (本文)	4B	97.3	76.2	70.3	57.4	58.7
DeepSeek-R1 (教师模型)	671B (A37B)	97.3	79.8	70.0	63.5	71.5
Qwen3-30B-A3B (基线)	30B (A3B)	98.0	80.4	70.9	62.6	65.8
CRD-30B-A3B (本文)	30B (A3B)	98.3	82.5	73.2	65.9	67.2

消融实验

基于 DeepSeek-R1-Distill-Qwen-1.5B 基础模型分析各核心组件的增益贡献。

配置	MATH-500	AIME'25	LiveCodeBench	GPQA-Diamond	说明
Base Model	83.9	22.0	16.9	32.9	原始 1.5B 蒸馏基线
+ Cross-Feedback	87.3 (+3.4)	29.1 (+7.1)	22.8 (+5.9)	36.7 (+3.8)	异构教师交互反馈纠错
+ Thinking Path	89.4 (+2.1)	32.6 (+3.5)	25.4 (+2.6)	37.8 (+1.1)	Viterbi 连贯步骤缝合
+ Optimal Budget	89.7 (+0.3)	33.2 (+0.6)	25.8 (+0.4)	38.0 (+0.2)	动态预算递减课程
+ Judging (Full CRD)	91.1 (+1.4)	35.1 (+1.9)	27.2 (+1.4)	39.7 (+1.7)	细粒度双裁判质量打分
总提升 (Total Gain)	↑ 7.2	↑ 13.1	↑ 10.3	↑ 6.8	50K 样本实现大幅跨越

关键发现

• Cross-Feedback 贡献最大：多教师跨模型交互反馈在最具挑战性的 AIME'25 上带来高达 +7.1% 的单项爆发式提升，在代码基准 LCB 上带来 +5.9% 提升，印证了利用不同架构模型的正交缺陷进行互检互补的有效性。
• 参数与数据效率呈代际跃升：CRD-4B 在 AIME'25 上达到 70.3%，不仅超越了参数大 17 倍的开源模型 Hermes 4 70B（67.5%）和 8 倍的 DeepSeek-R1-Distill-32B（60.0%），更逼平了教师模型 DeepSeek-R1 671B（70.0%）。而在数据量上，CRD-1.5B 仅耗费 50K 样本，比常规蒸馏（600K 样本）少 12 倍，比 ProRL（136K 样本）少 2.7 倍，训练仅需 8.8 个 H100 GPU 小时。
• 权重权衡敏感度：转移评分系数 \(\lambda=0.7\)（70% 质量 + 30% 连贯性）为最佳平衡点。当 \(\lambda \le 0.5\) 时，模型过度迁就转移平滑性而吸纳了平庸低质步骤（MATH-500 下滑至 76.0%）；当 \(\lambda > 0.8\) 时，局部高质量节点破坏了全局逻辑连贯（下滑至 82.3%）。

亮点与洞察

• 从“单体模仿”向“杂交重构”的范式跃迁：传统多教师蒸馏局限于整句打分或概率混合，CRD 首次在细粒度步骤级别通过 Viterbi 算法将不同模型的长处拼接组合，使“步骤缝合解决原本双方均无法单独解决的难题”在 19.6% 的错题集合中成为可能。
• 解耦推理步骤价值与最终答案：通过专职双裁判与硬性检验工具，突破了端到端强化学习的二元胜负评价框架，使得错解中的局部闪光点得以保留，正确答案中的凑数幻觉被严格惩处。
• 可复用的长至短退火预算课程：Long-to-Short 的渐进式长度约束策略既保护了训练初期的探索空间，又强制模型在后期浓缩推导密度，对任何追求低延迟落地的推理模型后训练极具迁移价值。

局限与展望

• 依赖黑盒裁判与静态准则：目前步骤质量打分依赖预设的评估提示词与静态规则，面对开放式极难数学或前沿科学探索时，裁判模型本身可能存在偏见，出现对“看似合逻辑实则隐蔽错误”步骤误判高分的情况。
• 教师组合规模有限：论文主要验证了 DeepSeek-R1 与 Gemini 2.5 Flash Thinking 两大体系，尚未在全开源权重模型库（如 QwQ-32B、Open-R1 系列）及更大规模教师集群上全面推广。
• 缝合逻辑的理论边界欠缺：尽管通过余弦相似度保证了局部过渡连贯，但在极深推理步数下仍缺乏对全局符号一致性与变量生命周期的严格形式化数学证明。

相关工作与启发

• vs TinyLLM / FAIR / MAGDi: TinyLLM 采用统一提示词下的单任务 SFT，FAIR 停留在教师间整篇同行评审过滤，MAGDi 则利用图对比学习处理智能体交互；CRD 的根本区别在于下沉至步骤粒度（Step-level），不仅能容纳跨教师步骤缝合，还能利用细粒度质量差值驱动 RQO 优化，在同等参数下 MATH-500 领先 MAGDi 达 18.5%。
• vs DeepSeek-R1 / GRPO: DeepSeek-R1 与标准 GRPO 依赖庞大测试时计算（TTC）和以最终二元正确性为导向的结果奖励；CRD 证明高质量的步级数据精筛与连贯性协同能够让 4B 小模型在常规测试时计算下达到比肩原版教师的推理水平，大幅降低部署延迟与推理能耗。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 跨教师交互纠错与基于 Viterbi 算法的细粒度步骤动态规划缝合极具原创性与启发意义。
• 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 1.5B 至 30B MoE 多个参数梯队，在数学、代码、逻辑及前沿 STEM 多项高难基准上给出详尽消融与泛化评测。
• 写作质量: ⭐⭐⭐⭐⭐ 结构清晰，算法表述严密，图表对比详实且逻辑闭环极强。
• 价值: ⭐⭐⭐⭐⭐ 为轻量化大模型实现低成本高密度推理蒸馏提供了极具工业落地潜力的成熟范式。

相关论文

• [NeurIPS 2026] Structural Rationale Distillation via Reasoning Space Compression
• [NeurIPS 2026] Distilling LLM Feedback for Lean Theorem Proving
• [AAAI 2026] CTPD: Cross Tokenizer Preference Distillation
• [NeurIPS 2026] Transcoder Adapters for Reasoning-Model Diffing
• [NeurIPS 2026] Codebook-Guided Cross-Modal Knowledge Distillation for Structurally Heterogeneous Features