Structural Rationale Distillation via Reasoning Space Compression¶

会议: NeurIPS 2026
arXiv: 2605.07139
OpenReview: https://openreview.net/forum?id=UK2XjwZOOP
论文: https://arxiv.org/abs/2605.07139
领域: 模型压缩
关键词: 知识蒸馏, 推理路径压缩, PAC-Bayes泛化界, 小语言模型, 结构化推理

一句话总结¶

针对大模型向小模型蒸馏推理能力时教师推理轨迹结构发散、监督信号方差过大的难题，D-RPC 通过构建并动态维护紧凑的规范推理路径库约束教师生成低方差解释，结合 PAC-Bayes 泛化界优化路径库容量与覆盖度的平衡，在 5 个数学与常识基准上显著超越自由生成与模板化蒸馏基线。

研究背景与动机¶

将大型语言模型（LLM）的复杂多步推理能力通过知识蒸馏迁移至轻量级小语言模型（SLM），是降低推理部署成本并普及前沿推理能力的核心路径。然而现有的推理蒸馏范式严重受制于教师模型输出的高方差与结构不一致性。面对同类数学或逻辑问题，教师模型往往随性生成结构完全相异的解题轨迹，例如对同一类单位速率问题，教师有时先计算单价再汇总总额，有时却先估计总量再反向扣减。这种现象宛如一位厨师每次制作同一道菜品都采用迥异的烹饪配方，尽管每条轨迹在局部逻辑上均属有效，但其杂乱无章的表面结构差异极大拖慢了学徒的内化速度。

这种解题轨迹发散（rationale divergence）给小模型学习带来了三重沉重代价。首先，学生模型观察到的大多是一次性、不可复用的解题表象，而非高度通用的解题策略，导致表征容量有限的小模型难以形成稳定的归纳偏置；其次，若想通过采样暴力覆盖所有潜在解法空间，需要产生海量教师生成样本，直接引发 API 调用与训练开销膨胀；最后，高方差与结构跳跃的监督信号在微调阶段更容易诱发学生模型的幻觉生成。已有工作尝试引入思维缓冲区（Buffer-of-Thought）或分层模板（ReasonFlux）等富结构化策略来规范推理，但这些方法大多面向推理阶段的提示词工程，生成的冗长上下文和复杂 XML 标记反而给上下文窗口窄、计算预算紧张的小模型造成了严重的上下文负载。而在蒸馏侧，现有改进方案多聚焦于学生端的损失重加权或后验过滤，无法从源头收敛教师分布本身的熵值。

本文的核心思考在于：能否在上游直接压缩教师模型的推理空间，在保持策略覆盖度的前提下规范化监督信号？核心 idea：提出基于推理路径压缩的蒸馏框架（D-RPC），预先为教师模型构建一个紧凑且可动态演进的规范高阶推理路径库（如同一本标准化解题食谱），在蒸馏时检索匹配路径约束教师生成结构一致的详细推理轨迹，并借助 PAC-Bayes 理论量化路径库规模与覆盖度之间的最优权衡。

方法详解¶

整体框架¶

D-RPC 包含三个核心阶段：推理路径库初始化（构建紧凑的高阶路径食谱）、路径引导的监督数据生成与动态演进（规范化教师监督分布并动态吸收新解法）、以及基于 LoRA 的学生模型微调。在推理部署时，训练完毕的学生模型可直接端到端输出解题路径与具体推导，完全摆脱对外部路径库与检索模块的依赖。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["训练问题集 {X_i}"] --> B["问题意图分类与种子采样<br/>提取高阶抽象步骤"]
    B --> C["意图聚类与路径库初始化<br/>构建规范推理路径库 B"]
    C --> D["问题语义路由与 Top-K 路径检索<br/>匹配规范意图与候选路径"]
    D --> E["路径约束教师推理生成<br/>生成结构化监督 (Π, R, A)"]
    E -->|未覆盖有效解法| F["动态缓冲区与周期性再聚类<br/>扩充路径库容量"]
    F -.-> C
    E --> G["学生模型 LoRA 微调<br/>最小化低方差监督 NLL 损失"]
    G --> H["轻量级独立推理学生模型"]

关键设计¶

1. 规范推理路径库的聚类构建：消除教师自由发挥的结构噪声 针对教师模型在无约束下容易生成千奇百怪步骤名的痛点，D-RPC 建立了一套跨样本共享的高阶抽象操作空间。首先利用教师分类器为所有问题预测大类 $C_i$（如 Arithmetic）与细粒度意图 $T_i$（如 compute unit rate），并按大类平衡采样 5% 的数据作为种子集 $\mathcal{S}_{\mathrm{seed}}$。教师模型在种子集上仅输出高阶抽象步骤名构成的路径 $\Pi_i$（如 [ComputeUnitRate, MultiplyByCount]）及答案 $A_i$。随后，利用轻量嵌入模型编码意图字符串，并在各类内通过 DBSCAN 聚类凝聚出规范意图 $\tilde{t} \in \tilde{\mathcal{T}}(c)$。最终构建映射表 $\mathcal{B}(c, \tilde{t}) \subseteq \mathcal{P}$，将同类意图收敛到少数几条 canonical 路径中，把原本连续无界的自由文本推理空间压缩为包含 $K_{\mathrm{bank}}$ 条离散模板的紧凑集合。

2. 语义路由与路径约束生成：为训练样本匹配最佳解题蓝图 针对测试样本在分类意图生成时可能出现的文本表达扰动，D-RPC 放弃直接依赖脆弱的意图文本匹配，转而采用问题嵌入与规范意图嵌入的余弦相似度进行双重检索： $$\tilde{T}_j = \arg\max_{\tilde{t}\in\tilde{\mathcal{T}}(C_j)}\cos\bigl(e(X_j), e(\tilde{t})\bigr)$$ 在确定规范意图后，进一步在对应的路径槽 $\mathcal{B}(C_j, \tilde{T}_j)$ 内检索与问题语义最匹配的 Top-$K_{\mathrm{ret}}$ 条候选路径 $\mathcal{P}^{(K_{\mathrm{ret}})}$。随后，教师模型接收问题和这组候选路径作为强约束，选择或微调一条最贴切的路径 $\Pi_j$，并以结构化 JSON 格式生成详细的中间计算过程 $R_j$（在每个抽象步骤下拆解为 Step1:, Step2: 具体算式）与最终数值 $A_j$。所有相似问题因此被强行规范至同一抽象路径骨架下，彻底消除了“同样是算速度，一题用比例法、一题用方程法”带来的表面标签方差。

3. 动态缓冲区与路径库自适应扩展：兼顾压缩紧凑度与长尾覆盖 针对固定容量路径库可能因欠拟合导致复杂罕见问题强行套错路径的风险，D-RPC 设计了自演进更新机制。当教师模型在某道难题上发现现有候选路径均不适用时，允许其在严格预算限制下保守自创新的高阶路径 $\Pi_j$。若该样本的最终答案正确且路径确属未登录新模态，系统将其暂存至动态缓冲池 $\mathcal{M}$。一旦累积达到阈值 $\tau_{\mathrm{buf}}$，便触发局部增量 DBSCAN 再聚类，将新颖解法同化进规范意图集合并更新 $\mathcal{B}$。该机制确保了系统能在数据流式学习中自适应覆盖长尾分布，在维持高阶路径紧凑性的同时避免陷入认知死角。

损失函数 / 训练策略¶

学生模型（如 Llama-3.1-8B-Instruct 或 Qwen-3-1.7B）采用 LoRA 微调策略，冻结全部预训练权重矩阵，仅对注意力层中的 Query、Key、Value 与 Output 投影层注入低秩自适应矩阵（秩 $r=64$，缩放因子 $\alpha=128$，Dropout 为 0.05）。学生训练目标为标准的监督负对数似然（NLL）损失： $$\mathcal{L}_{\mathrm{SFT}} = \mathbb{E}_{(X,Y)\sim\mathcal{D}_{\mathrm{SFT}}}\!\left[-\log p_{\theta}(Y\mid X)\right],\qquad Y=(\Pi, R, A)$$ 由于输入问题 $X$ 对应的输出目标 $Y$ 共享了高频规范的路径骨架 $\Pi$，监督信号的条件熵被显著压低，学生模型无需消耗宝贵参数去死记杂乱的过渡词汇，能集中学习如何将抽象算子具象化为数值计算。

理论上，论文在 PAC-Bayes 框架下推导了严格的泛化误差上界： $$L(\mathsf{Q}_{S}) \leq \widehat{L}_{S}(\mathsf{Q}_{S}) + \sqrt{\frac{2\tau\cdot M\cdot N}{n}} + \frac{c\tau\cdot N}{n}$$ 其中 $M := \log K_{\mathrm{bank}} + \mathbb{E}[\mathrm{H}(R\mid X,\Pi)] + \mathbb{E}[\mathrm{H}(A\mid X,\Pi,R)] + \varepsilon$ 代表监督熵与覆盖残差项，$N$ 代表包含冻结模型损失 $\widehat{L}_S(0)$ 的复杂度项。分析清晰揭示：过小的路径库（$K_{\mathrm{bank}}$ 过小）导致覆盖残差 $\varepsilon$ 剧增，而过大的路径库又推高了 $\log K_{\mathrm{bank}}$ 并削弱参数复用。适度规模的路径库（如实验中的 75 条左右）能够在两极之间实现最佳折中。

实验关键数据¶

主实验¶

主实验在 5 个涵盖基础数学、多步逻辑与高难度竞赛的推理数据集上展开，教师模型统一为 GPT-5.1，学生模型分别采用 Llama-3.1-8B-Instruct 与 Qwen-3-1.7B。评估指标为精准匹配准确率（Acc, %）及 10 次重复运行的均值与方差。

学生模型	策略 / 方法	GSM8K (数学)	AQUA (多选题)	StrategyQA (常识)	AI2ARC (科学)	MATH (竞赛)	平均准确率
Llama 3.1 8B	Zero-Shot CoT	83.96 (±0.33)	64.02 (±0.77)	73.32 (±1.31)	87.92 (±0.29)	41.57 (±0.35)	70.16
	Freeform (自由生成)	81.63 (±0.72)	60.39 (±1.61)	72.27 (±1.27)	92.41 (±0.34)	41.68 (±0.18)	69.68
	SuperCorrect (XML模板)	82.42 (±0.46)	59.45 (±2.59)	–	–	36.62 (±0.46)	–
	DCoT (多采样蒸馏)	81.86 (±0.64)	61.81 (±2.43)	72.53 (±1.81)	80.78 (±12.38)	45.23 (±0.53)	68.44
	SGFT (解题引导)	77.94 (±0.69)	60.16 (±2.67)	70.31 (±1.29)	86.71 (±0.76)	36.15 (±0.43)	66.25
	D-RPC (本文)	85.41 (±0.49)	67.52 (±1.59)	74.15 (±1.49)	92.92 (±0.34)	48.76 (±0.45)	73.75
Qwen 3 1.7B	Zero-Shot CoT	77.92 (±0.29)	59.92 (±0.89)	61.92 (±0.92)	88.78 (±0.40)	49.21 (±0.40)	67.55
	Freeform (自由生成)	73.38 (±0.68)	62.99 (±0.83)	61.75 (±2.29)	88.70 (±0.30)	48.09 (±0.26)	66.98
	SuperCorrect (XML模板)	76.44 (±0.58)	63.78 (±2.59)	–	–	42.82 (±0.36)	–
	DCoT (多采样蒸馏)	73.99 (±0.69)	59.65 (±1.37)	66.16 (±1.39)	85.74 (±2.90)	54.91 (±0.34)	68.09
	SGFT (解题引导)	65.44 (±0.59)	49.06 (±10.60)	60.26 (±2.78)	75.99 (±0.18)	29.44 (±0.29)	56.04
	D-RPC (本文)	78.29 (±0.95)	74.76 (±1.84)	64.59 (±2.46)	88.82 (±0.54)	59.72 (±0.39)	73.24

消融实验¶

消融实验重点验证了路径库大小（由种子集容量控制）对模型精度与格式合法率（Format Validity, FV）的影响（以 GSM8K、固定 2k 训练集规模为例）：

种子问题数	最终收录路径数 $K_{\mathrm{bank}}$	准确率 Acc (%)	格式合法率 FV (%)	结构特征分析
50	49	83.19 ± 0.8	83.32 ± 0.8	路径容量偏紧，覆盖残差 $\varepsilon$ 增加，部分题目被迫挤入不适路径
75	75	84.34 ± 0.8	84.61 ± 0.8	最佳甜蜜点：覆盖度与压缩率完美平衡，兼具高复用性与充分多样性
100	97	83.28 ± 0.6	83.41 ± 0.7	路径细分增加，泛化熵 $\log K_{\mathrm{bank}}$ 开始缓慢上升
125	119	82.90 ± 0.7	83.08 ± 0.7	监督方差开始稀释参数共享，精度回落
150	145	82.91 ± 0.5	82.97 ± 0.5	接近自由生成状态，退化为细碎模态拼接

关键发现¶

异质度越高的任务提升越显著：在解题策略高度分化的 MATH 与 AQUA 上，D-RPC 的性能增益最为惊人（在 Qwen 1.7B 上 MATH 暴涨 +10.51%，AQUA 提升 +14.84%），而在策略相对单一的 StrategyQA 上提升较为平缓。这有力印证了核心假设：D-RPC 的根本收益在于压制推理发散带来的监督噪声。
理论量化验证完备：AQUA 上的界成分实测表明，D-RPC 在冻结骨干模型上的初始交叉熵 $\widehat{L}_S(0)$ 显著低于 Freeform（Qwen 上 2.68 vs 3.29，Llama 上 2.01 vs 2.72），且泛化 Gap 显著更小，直接证实规范推理格式能显著改善预训练学生模型的先验对齐程度。
计算代价与 Token 效率大幅占优：相较于堆砌冗长分层思考模板的 SuperCorrect，D-RPC 的教师端生成 token 数降低了约 33%–35%，同时学生端生成内容干练精简，避免了在部署阶段产生显存与延迟瓶颈。

亮点与洞察¶

将连续推理轨迹发散抽象为离散路径库压缩：摆脱了以往仅在 prompt 层面堆砌模板或在 loss 层面做粗暴过滤的做法，首次从信息论视角将“推理轨迹一致性”抽象为有界支持集上的条件熵控制，思路极富洞察力。
PAC-Bayes 泛化界的严谨闭环：通过显式推导 $\log K_{\mathrm{bank}}$、覆盖残差 $\varepsilon$ 与 LoRA 参数范数之间的数学关联，不仅在理论上证明了适度规模路径库的客观存在，且实验曲线与理论预测完全吻合。
即插即用的无损部署：结构化约束仅作用于数据准备阶段，学生模型在训练完成后直接具备结构化推导与端到端计算能力，完全不引入部署时的检索延迟与外部系统依赖。

局限与展望¶

教师与学生架构覆盖度有限：所有实验均依托 GPT-5.1 作为唯一教师模型，并在两款密集模型（Llama-3.1 8B 与 Qwen-3 1.7B）上进行验证，尚未探索在 MoE 架构或更大规模学生模型上的可迁移性。
初期管线依赖多阶段教师前置调用：意图分类、种子解题与路径约束生成累计耗费了约 2 倍于普通 CoT 的教师调用成本；未来若使用轻量级句子编码器直接做无监督聚类，可将开销进一步压缩至接近单次蒸馏。
理论泛化界限定于 LoRA-SFT 体系：目前的 PAC-Bayes 证明建立在高斯先验和低秩矩阵范数约束之上，向全参数微调或强化学习后训练（RLVR）体系的延展仍有待进一步攻克。

分类研判依据¶

初始分类 (initial_area): model_compression
最终分类 (final_area): model_compression
备选分类及排除理由: 备选分类为 llm_reasoning。尽管本论文的评估基准全面聚焦于数学与常识多步推理（GSM8K、MATH 等），且方法设计包含高阶推理路径规范化，但全文的主线任务、核心学习框架及实验设置均为大模型向小模型的知识蒸馏（Teacher-to-Student Knowledge Distillation，将 GPT-5.1 蒸馏进 Llama 8B 与 Qwen 1.7B）。依照本项目分类标准（Taxonomy §2.10），模型压缩涵盖量化、剪枝与蒸馏，其核心创新是通过压缩教师解题空间来压低蒸馏监督方差并建立 LoRA 泛化误差界，属于典型的蒸馏机理创新，而非纯粹的 LLM 提示词引导或自发推理机制研究。故最终判定保留在 model_compression 目录。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [巧妙将推理一致性转化为路径库压缩问题，并给出 PAC-Bayes 泛化界证明]
实验充分度: ⭐⭐⭐⭐⭐ [跨 5 大数据集、2 款学生架构，包含详尽消融与理论量化分析]
写作质量: ⭐⭐⭐⭐⭐ [厨师食谱比喻通俗生动，数学推导与实验论证严丝合缝]
价值: ⭐⭐⭐⭐⭐ [为小模型高质量推理蒸馏提供了低方差、轻量化的全新范式]

种子问题数	最终收录路径数 \(K_{\mathrm{bank}}\)	准确率 Acc (%)	格式合法率 FV (%)	结构特征分析
50	49	83.19 ± 0.8	83.32 ± 0.8	路径容量偏紧，覆盖残差 \(\varepsilon\) 增加，部分题目被迫挤入不适路径
75	75	84.34 ± 0.8	84.61 ± 0.8	最佳甜蜜点：覆盖度与压缩率完美平衡，兼具高复用性与充分多样性
100	97	83.28 ± 0.6	83.41 ± 0.7	路径细分增加，泛化熵 \(\log K_{\mathrm{bank}}\) 开始缓慢上升
125	119	82.90 ± 0.7	83.08 ± 0.7	监督方差开始稀释参数共享，精度回落
150	145	82.91 ± 0.5	82.97 ± 0.5	接近自由生成状态，退化为细碎模态拼接