$\boldsymbol{f}$-OPD: Stabilizing Long-Horizon On-Policy Distillation with Freshness-Aware Control¶

会议: NeurIPS 2026
arXiv: 2605.17862
论文: https://arxiv.org/abs/2605.17862 https://openreview.net/forum?id=lN65pZRtXD
代码: 暂未开源
领域: 模型压缩 (知识蒸馏 / 在线蒸馏)
关键词: On-Policy Distillation, Asynchronous Post-Training, Freshness-Aware Control, Staleness Decomposition, Long-Horizon Agents, Model Compression

一句话总结¶

针对大语言模型长程交互后训练中异步在线策略蒸馏（On-Policy Distillation, OPD）面临的陈旧性失配与策略崩溃问题，本文从理论上将目标差异严格解耦为学生采样漂移与教师监督漂移，并提出了结合样本级新鲜度评分、新鲜度加权、采样锚定正则化与自适应刷新的 $f$-OPD 框架，在保留异步并行高吞吐优势的同时完全恢复了同步优化的模型精度与训练稳定性。

研究背景与动机¶

后训练（Post-Training）已成为大语言模型（LLM）激发复杂推理与交互能力的核心途径。在监督微调（SFT）与强化学习（RL）之外，在线策略蒸馏（On-Policy Distillation, OPD）通过将学生模型的自主探索与教师模型的密集逐词元监督相结合，既继承了 RL 的分布外探索能力，又获得了稳定稠密的蒸馏梯度信号，成为大模型压缩与能力迁移的前沿范式。

然而，标准 OPD 流程包含三个强耦合阶段：学生策略采样（Rollout）、教师模型评估打分（Supervision）以及学生策略梯度更新（Optimization）。若严格采用同步执行（Synchronous OPD），由于长程交互任务（如多步工具调用、代码智能体仓库级编辑）中环境执行与大模型前向推理极其耗时，GPU 计算资源会出现严重的空闲等待与利用率低下；为此，现代分布式训练系统（如 HybridFlow、Slime、NeMo RL）广泛采用流水线解耦的异步执行（Asynchronous OPD），利用经验回放缓冲区（Replay Buffer）实现各阶段的并行重叠。但这引入了严重的陈旧性（Staleness）问题：缓冲区内缓存的轨迹及其对应的教师监督信息生成于早期的历史策略，当用于当前步策略优化时，数据分布与标签环境均发生脱节，导致有效优化目标严重偏离理想的在线策略目标，进而在长程任务中诱发训练不稳定甚至剧烈崩溃（在代码智能体任务中性能下降超 40%，崩溃率高达 60%）。

针对这一困境，现有简单的经验方法存在明显缺陷：定期硬刷新缓冲区（Hard Refresh）面临两难，刷新过频抛弃了宝贵数据导致吞吐优势丧失，刷新过缓则无法阻止陈旧梯度的持续污染；仅以更新步滞后（Policy Update Lag）作为加权依据，无法捕捉不同样本间因环境变化或采样分布演化带来的异质性漂移；直接迁移强化学习中的信任域方法（如 KL 惩罚或截断重要性采样）又忽视了教师监督环境本身随学生历史轨迹漂移而产生的上下文失效问题。

核心 idea：将异步 OPD 中的新鲜度失配形式化为异步目标与理想同步目标之间的目标差异（Objective Discrepancy），从理论上严格解耦为学生策略的“采样漂移”（Rollout Drift）与教师上下文的“监督漂移”（Supervision Drift）两个正交分量；基于此构建细粒度的样本级新鲜度评分 $f_i$，并提出包含新鲜度加权门控、采样锚定局部正则化与自适应缓冲区刷新三位一体的 $\boldsymbol{f}$-OPD 框架，在保留异步并行吞吐优势的同时恢复同步优化的模型精度与训练稳定性。

方法详解¶

整体框架¶

$f$-OPD 的系统架构围绕样本生命周期中的新鲜度流转与三层防御机制构建。异步执行管线维持一个活跃的经验回放缓冲区 $\mathcal{B}^t$。在模型训练过程中，$f$-OPD 首先利用保留的历史追溯元数据对当前待优化的样本进行词元级重放与对齐校验，计算出样本在学生采样侧与教师监督侧的双重散度，进而合成标量新鲜度得分 $f_i$。该信号进一步引导三个互补的控制机制：在缓冲区全局层面监控均值新鲜度与对齐有效率，触发自适应缓冲区重置；在小批量样本层面利用 ReLU 门控截断过陈旧样本并进行平滑加权；在参数更新层面引入以自身历史采样策略为基准的采样锚定正则化，抑制长程误差积累。整体架构与数据流如下所示：

flowchart TD
    classDef default fill:#f9f9f9,stroke:#333,stroke-width:1px;
    classDef process fill:#e1f5fe,stroke:#0288d1,stroke-width:1.5px;
    classDef buffer fill:#fff3e0,stroke:#f57c00,stroke-width:1.5px;
    classDef check fill:#f3e5f5,stroke:#7b1fa2,stroke-width:1.5px;

    subgraph AsyncPipeline["异步执行流水线 (Asynchronous Execution Pipeline)"]
        direction TB
        RolloutWorker["学生策略采样 Rollout (π_θ^t)"] -->|"入队存盘 (x_i, r(i))"| ReplayBuffer["经验回放缓冲区 B^t"]
        ReplayBuffer -->|"输入历史上下文 c_i^r(i)"| TeacherWorker["教师密集监督 (π_teacher)"]
        TeacherWorker -->|"写入监督标签"| ReplayBuffer
    end

    subgraph FreshnessEngine["新鲜度诊断与对齐层 (Freshness Diagnostics)"]
        direction TB
        ReplayBuffer --> ReplayCheck["词元位置重放与对齐判定 U_i^roll, U_i^sup"]
        ReplayCheck --> CompRoll["采样漂移 D_i^roll (学生 KL 散度)"]
        ReplayCheck --> CompSup["监督漂移 D_i^sup (教师上下文 KL 散度)"]
        ReplayCheck --> CompLag["策略更新步滞后 τ_i = t - r(i)"]
        CompRoll & CompSup & CompLag --> ScoreEngine["新鲜度评分 f_i = 1/(τ_i+1) · exp(-Δ~_i^t)"]
    end

    subgraph ControlMechanisms["新鲜度感知控制机制 (Freshness-Aware Control)"]
        direction TB
        ScoreEngine --> BufferMonitor{"缓冲区健康度判定<br/>f̄^t ≤ κ_f 或 ℳ̄ < κ_d"}
        BufferMonitor -->|"是 (全局严重老化)"| AdaptiveRefresh["自适应刷新 Adaptive Refresh (重置并回填新数据)"]
        BufferMonitor -->|"否 (健康可优化)"| SampleGating["新鲜度加权门控 w_i = σ(f_i - ξ)"]
        AdaptiveRefresh -.->|"更新数据流"| ReplayBuffer
        SampleGating --> AnchorTerm["采样锚定正则项 R_i^anchor = D_i^roll"]
        SampleGating --> WeightedDistill["加权蒸馏损失 ℓ_i^t"]
        WeightedDistill & AnchorTerm --> JointOpt["更新学生模型参数 θ ← θ - η ∇_θ L_M"]
    end

关键设计¶

1. 异步目标差异的双重理论分解（Rollout Drift 与 Supervision Drift）
作者将异步 OPD 目标 $\mathcal{J}_{\mathrm{async}}(\pi_\theta^t)$ 与同步在线目标 $\mathcal{J}_{\mathrm{sync}}(\pi_\theta^t)$ 之间的偏差 $\Delta^t = |\mathcal{J}_{\mathrm{async}}(\pi_\theta^t) - \mathcal{J}_{\mathrm{sync}}(\pi_\theta^t)|$ 进行了严谨的理论拆解。构造配对“陈旧采样分布”与“最新教师上下文”的中间理想目标 $\widetilde{\mathcal{J}}_{\mathrm{async}}(\pi_\theta^t)$，在全变差（Total Variation, TV）距离与损失函数局部 Lipschitz 连续假设下，证明目标差异被两个物理本质截然不同的项所上界约束： - 采样漂移（Rollout Drift）：源自当前策略 $\pi_\theta^t$ 与产生该样本时的历史策略 $\pi_\theta^{r(i)}$ 之间由于参数更新导致的轨迹占用分布偏差 $\mathrm{TV}(d^t, d^{\mathrm{stale},t})$。在长程决策中，单步小扰动会沿时间步累积呈 $O(HL)$ 复合放大。 - 监督漂移（Supervision Drift）：源自教师模型在标注时所依据的陈旧环境上下文 $c_i^{r(i)}$（如历史工具输出、中间推理路径）与若在当前状态重新标注所应获得的上下文 $c_i^t$ 之间的偏差 $\mathbb{E}_{i}[\mathrm{TV}(\pi_{\mathrm{teacher}}(\cdot \mid c_i^t), \pi_{\mathrm{teacher}}(\cdot \mid c_i^{r(i)}))]$。这一漂移是 OPD 独有的，传统强化学习的奖励标量建模完全无法刻画这种教师语义指导空间的扭曲。

2. 细粒度样本级新鲜度评分（Sample-Level Freshness Scoring）
由于全局分布级的 TV 距离不可直接在线求值，论文设计了基于前向重放的对齐词元 KL 散度作为单调替代度量。对于缓冲区中样本 $i$，保留其产生步数 $r(i)$、前缀 $x_i$ 以及词元序列，在有效对齐的词元子集 $\mathcal{U}_i^{\mathrm{roll}}$ 与 $\mathcal{U}_i^{\mathrm{sup}}$ 上计算平均散度： $$D_i^{\mathrm{roll}} = \frac{1}{|\mathcal{U}_i^{\mathrm{roll}}|}\sum_{h\in\mathcal{U}_i^{\mathrm{roll}}}\mathrm{KL}\bigl(\pi_{\theta}^t(\cdot\mid x_{i,h})\,\Vert\,\pi_{\theta}^{r(i)}(\cdot\mid x_{i,h})\bigr)$$ $$D_i^{\mathrm{sup}} = \frac{1}{|\mathcal{U}_i^{\mathrm{sup}}|}\sum_{h\in\mathcal{U}_i^{\mathrm{sup}}}\mathrm{KL}\bigl(\pi_{\mathrm{teacher}}(\cdot\mid c_{i,h}^t)\,\Vert\,\pi_{\mathrm{teacher}}(\cdot\mid c_{i,h}^{r(i)})\bigr)$$ 结合在线时间差步数 $\tau_i = t - r(i)$（作为漂移累积预算的粗粒度先验），定义统一的标量新鲜度得分： $$f_i = \frac{1}{\tau_i + 1} \exp\left(-\alpha \sqrt{D_i^{\mathrm{roll}}} - \beta \sqrt{D_i^{\mathrm{sup}}}\right)$$ 指数映射确保了高失真样本的平滑衰减并保留排序单调性，超参数 $\alpha, \beta$ 将学生与教师两侧的散度归一化至同一操作尺度。

3. 采样锚定局部正则化（Rollout-Anchored Regularization）
仅依靠损失权重削弱陈旧样本属于“被动防御”，无法主动约束当前参数更新步长偏离生成该样本时的行为分布。作者引入以自身历史采样策略为锚点的正则化约束：$\mathcal{R}_i^{\mathrm{anchor}} = D_i^{\mathrm{roll}}$。该正则项直接惩罚学生模型在有效前缀上的过度偏移，并在优化时同样经受该样本新鲜度权重的调制——当样本已极度陈旧时，该正则信号本身也会被适度抑制，避免强制向过度过时的行为对齐。

4. 结构对齐与全局健康度监控的自适应刷新（Adaptive Refresh）
在交互式长程任务中，当历史轨迹与当前策略发散过大时，学生可能在早中期便走向完全不同的分支，导致重放对齐位置数量 $|\mathcal{U}_i^{\mathrm{roll}}|, |\mathcal{U}_i^{\mathrm{sup}}|$ 锐减，使得点对点的 KL 诊断失去统计意义。为此，$f$-OPD 在缓冲区级别维持全局平均新鲜度 $\bar{f}^t$ 与平均对齐覆盖率 $\bar{\mathcal{M}}^{t,\mathrm{roll}}, \bar{\mathcal{M}}^{t,\mathrm{sup}}$。一旦任一统计量跌破安全阈值（$\bar{f}^t \le \kappa_f$ 或 $\bar{\mathcal{M}} < \kappa_d$），训练系统立即挂起优化并触发自适应缓冲区重置，清空陈旧数据并重新收集对齐样本，从而从根源上避免“全局陈旧缓冲区”导致的雪崩式策略崩溃。

损失函数 / 训练策略¶

在每个训练迭代步 $t$，针对活跃缓冲区 $\mathcal{C}(\mathcal{B}^t)$ 抽取的微批次 $\mathcal{M}$，样本 $i$ 的新鲜度加权系数由带截断阈值 $\xi$ 的修正线性单元（ReLU）计算：$w_i = \sigma(f_i - \xi) = \max(0, f_i - \xi)$。

对通过门控保留的样本，计算其在对齐词元集 $\mathcal{U}_i^{\mathrm{sup}}$ 上的教师上下文蒸馏损失 $\ell_i^t$ 以及采样锚定正则项，最终的联合优化目标定义为： $$\mathcal{J}(\pi_{\theta}^{t}) = \mathbb{E}_{i\sim\mathcal{C}(\mathcal{B}^t)}\left[\sigma(f_i - \xi)\left(\ell_i^t + \lambda \mathcal{R}_i^{\mathrm{anchor}}\right)\right]$$ 其中微批次上的实际优化损失为： $$\mathcal{L}_{\mathcal{M}} = \frac{1}{|\mathcal{M}|}\sum_{i\in\mathcal{M}} w_i \left[ \frac{1}{|\mathcal{U}_i^{\mathrm{sup}}|}\sum_{h\in\mathcal{U}_i^{\mathrm{sup}}}\ell\bigl(\pi_{\theta}^{t}(\cdot\mid x_{i,h}),\pi_{\mathrm{teacher}}(\cdot\mid c_{i,h}^{t})\bigr) + \lambda D_i^{\mathrm{roll}} \right]$$ 参数更新通过随机梯度下降进行：$\theta \leftarrow \theta - \eta \nabla_\theta \mathcal{L}_{\mathcal{M}}$。

实验关键数据¶

实验基准与任务设置¶

任务谱系：覆盖三种不同交互长度的基准任务：
短程单步数学推理：DAPO-Math-17K 提示分布，在 MATH500 上评估 Avg@1 准确率；
中程代码解释器工具调用：ReTool 风格交互式环境，评测 1,000 道奥数级题目（Avg@4 准确率、工具调用非法率、峰值-终态性能衰减）；
长程仓库级代码智能体：采用 mini-SWE-agent 框架与 SWE-bench Verified（300 个真实 GitHub 缺陷修复任务，单补丁单运行模式，评估问题解决率 Resolve Rate、回归率与崩溃率）。
模型体系：学生模型主要采用 Qwen3-8B 系列，教师模型为冷冻参数的 Qwen3-Coder 30B（通用编码）或对应领域更强模型；同时跨家族拓展至 Llama-3.1（8B $\to$ 70B）与 DeepSeekMath（7B-Base $\to$ 7B-RL）。
系统开销：全篇实验耗费约 16,000 张 H100-80GB GPU·小时，系统吞吐量以标准同步 OPD 的训练样本数/小时为基准（标准化为 $1.00\times$）。

核心实验结果¶

1. 极端交互长度下的长程代码智能体综合对比（SWE-bench Verified）
在交互视野最长、误差累积最剧烈的 SWE-bench Verified 评测中，各后训练范式与异步控制变体的数据表现如表 1 所示（均在最大滞后 $\mathrm{lag}=8$ 的严苛条件下测试）：

方法范式	具体方法	模型规模	吞吐加速比 $\uparrow$	问题解决率 (Resolve) $\uparrow$	终态性能回归 (Reg.) $\downarrow$	崩溃轮次比例 $\downarrow$
监督微调 (SFT)	Vanilla SFT	8B	$2.18\times$	39.1%	—	0/5
	SWE-Gym (公开文献)	32B	—	20.6%	—	—
强化学习 (RL)	Vanilla GRPO	8B	$0.92\times$	40.2%	—	—
	SA-SWE (公开文献)	32B	—	39.4%	—	—
	DeepSWE (公开文献)	32B	—	36.4%	—	—
在线策略蒸馏 (OPD)	教师模型 (Qwen3-Coder)	30B	—	51.6%	—	—
	Sync. OPD (理想同步基线)	8B	$1.00\times$	41.8%	1.6%	0/5
	Async. OPD (无控制异步)	8B	$1.61\times$	26.8%	7.4%	3/5
	Async. OPD + 信任域 KL	8B	$1.60\times$	28.2%	7.6%	3/5
	Async. OPD + 截断重要性采样 (IW)	8B	$1.60\times$	29.9%	7.2%	2/5
	Async. OPD + 固定步长硬刷新	8B	$1.15\times$	35.1%	6.6%	1/5
	Async. OPD + 仅滞后步数加权	8B	$1.54\times$	34.9%	7.6%	2/5
	$\boldsymbol{f}$-OPD (本文方法)	8B	$\mathbf{1.46\times}$	$\mathbf{39.4\%}$	2.6%	0/5

数据解读：SFT 虽具高吞吐但受限于静态轨迹瓶颈；RL（GRPO）探索虽好但因长尾交互延迟吞吐极低（$0.92\times$）；同步 OPD 效果最好（41.8%）但硬件开销大；原生异步 OPD 崩溃率达 60% 且表现剧跌至 26.8%；现有 RL 信任域技术（KL、截断 IW）因忽略教师监督漂移收效甚微；而 $f$-OPD 取得了 $1.46\times$ 的高吞吐加速，性能恢复至 39.4%（达到同步基线的 94.3%），终态回归控制在 2.6%，崩溃率归零。

2. 核心控制机制逐层剥离与留一消融实验（Ablation Study）
表 2 汇报了在中程工具使用与长程代码智能体两个任务上，对三个核心机制的递增添加与留一剔除消融：

消融配置分类	实验配置方案	工具使用 Acc.avg@4 $\uparrow$	工具峰值-终态衰减 $\downarrow$	代码智能体 Resolve $\uparrow$	代码补丁回归 $\downarrow$	崩溃比例 $\downarrow$
黄金基准	Synchronous OPD (完全同步)	74.8%	2.7%	41.8%	1.6%	0/5
增量叠加实验	原始 Asynchronous OPD	61.6%	10.4%	26.8%	7.4%	3/5
	+ 新鲜度加权 (Freshness Weighting)	70.8%	4.3%	36.5%	4.4%	1/5
	+ 采样锚定正则 (Anchor Regularization)	73.2%	3.4%	38.1%	3.2%	1/5
	+ 自适应刷新 ($\boldsymbol{f}$-OPD 完整版)	74.4%	3.1%	39.4%	2.6%	0/5
留一剔除实验	$\boldsymbol{f}$-OPD 全功能版本	74.4%	3.1%	39.4%	2.6%	0/5
	w/o 新鲜度加权 (Weighting)	69.8%	3.6%	37.4%	3.5%	3/5
	w/o 采样锚定正则 (Regularization)	73.1%	3.2%	37.7%	3.4%	1/5
	w/o 自适应刷新 (Adaptive Refresh)	73.2%	3.4%	38.1%	3.2%	1/5

消融洞察：新鲜度加权是防止策略崩溃的最核心防线，移除它会导致崩溃率跃升至 3/5；采样锚定正则有效抑制了每步参数更新的局部漂移（工具准确率贡献 +2.4%）；自适应刷新则通过消除全局老化死循环，彻底将崩溃率降低至 0。

3. 跨模型家族与蒸馏算法兼容性泛化
- 跨模型架构：在 Llama-3.1-8B/70B 上，异步模式下 MATH500 由同步的 23.0% 跌至 16.1%，$f$-OPD 挽回至 22.7%；在同尺度能力迁移 DeepSeekMath-7B（Base $\to$ RL）上，$f$-OPD 达到 40.2%，甚至超越了同步基线（39.6%）。 - 跨蒸馏目标：与熵感知蒸馏 EOPD（AIME24 准确率从异步的 21.2 提升至 32.1，逼近同步的 35.8）及步进式蒸馏 SOD（AIME24 从 17.6 提升至 19.3）无缝集成，吞吐损耗不足 10%。

亮点与洞察¶

破除 OPD 领域陈旧性的单一认知，首次揭示“双重漂移”本质：过去系统通常将异步训练的负面效应简单归因为单步更新滞后（Update Lag）。本文严格证明了异步 OPD 的目标差异源于两个独立机制：学生采样自身偏离真实分布（Rollout Drift）与历史轨迹引发的教师交互上下文失效（Supervision Drift）。特别是在长程复杂任务中，监督漂移随滞后步数的增长斜率远陡于采样漂移，这为设计针对性的教师上下文重评机制提供了强有力的理论依据。
训练动态熵（Entropy Dynamics）作为崩溃的早期预警指标：研究揭示了无控制异步 OPD 随着策略更新滞后增加，其输出熵方差会异常发散，部分随机种子陷入不可逆的表达坍塌。而 $f$-OPD 通过平滑下权陈旧样本与采样锚定，维持了与同步基线高度一致的稳定熵曲线。
软硬协同的三级递进控制范式：结合了门控截断（样本级硬剔除）、平滑连续加权（样本级软降权）、参数空间锚定（模型级惩罚）与自适应重置（系统级缓冲健康度重置），既避免了频繁硬刷新的吞吐崩塌，又杜绝了全局性数据变质引发的优化发散。

局限性 / 可改进方向¶

实验模型参数量受限于中等规模：论文中学生模型最大验证至 8B，教师模型最大至 30B/70B。在超大参数规模（例如 70B+ 学生、数百 B 教师）以及超长上下文窗口（32k+ tokens）下，重放计算 KL 散度的显存与计算开销是否会抵消异步并行带来的吞吐增益仍待验证。
理论界限基于有界与李普希茨假设：理论推导依赖于截断支撑集以及损失函数关于全变差距离的李普希茨连续性假设，提供的是一种保守的偏差控制上界，并未推导出非凸大模型异步随机优化下的收敛速率定理。
前向重放带来的额外计算开销：新鲜度计算需要对回放缓冲区中的样本重新计算当前学生策略与教师策略的词元对数概率（Logits），虽然可与梯度前向计算部分复用，但依然带来了约 5%~10% 的计算冗余。

评分¶

新颖性: 4.5 / 5.0 (理论上首次拆解采样与监督双重漂移，设计了完备的新鲜度感知多级控制框架)
实验充分度: 4.5 / 5.0 (覆盖短/中/长程三类任务、SWE-bench 真实智能体评测、消融完备、耗费 16k GPU·时)
写作质量: 4.5 / 5.0 (逻辑推导严谨，符号系统清晰，图表对比翔实生动)
价值: 4.5 / 5.0 (直击大模型工业级分布式后训练的核心效率与稳定性瓶颈，具有重大的工程落地价值)

\(\boldsymbol{f}\)-OPD: Stabilizing Long-Horizon On-Policy Distillation with Freshness-Aware Control¶

一句话总结¶

研究背景与动机¶

方法详解¶

整体框架¶

关键设计¶

损失函数 / 训练策略¶

实验关键数据¶

实验基准与任务设置¶

核心实验结果¶

亮点与洞察¶

局限性 / 可改进方向¶

相关工作与启发¶

评分¶

方法范式	具体方法	模型规模	吞吐加速比 \(\uparrow\)	问题解决率 (Resolve) \(\uparrow\)	终态性能回归 (Reg.) \(\downarrow\)	崩溃轮次比例 \(\downarrow\)
监督微调 (SFT)	Vanilla SFT	8B	\(2.18\times\)	39.1%	—	0/5
	SWE-Gym (公开文献)	32B	—	20.6%	—	—
强化学习 (RL)	Vanilla GRPO	8B	\(0.92\times\)	40.2%	—	—
	SA-SWE (公开文献)	32B	—	39.4%	—	—
	DeepSWE (公开文献)	32B	—	36.4%	—	—
在线策略蒸馏 (OPD)	教师模型 (Qwen3-Coder)	30B	—	51.6%	—	—
	Sync. OPD (理想同步基线)	8B	\(1.00\times\)	41.8%	1.6%	0/5
	Async. OPD (无控制异步)	8B	\(1.61\times\)	26.8%	7.4%	3/5
	Async. OPD + 信任域 KL	8B	\(1.60\times\)	28.2%	7.6%	3/5
	Async. OPD + 截断重要性采样 (IW)	8B	\(1.60\times\)	29.9%	7.2%	2/5
	Async. OPD + 固定步长硬刷新	8B	\(1.15\times\)	35.1%	6.6%	1/5
	Async. OPD + 仅滞后步数加权	8B	\(1.54\times\)	34.9%	7.6%	2/5
	\(\boldsymbol{f}\)-OPD (本文方法)	8B	\(\mathbf{1.46\times}\)	\(\mathbf{39.4\%}\)	2.6%	0/5

\(\boldsymbol{f}\)-OPD: Stabilizing Long-Horizon On-Policy Distillation with Freshness-Aware Control¶

一句话总结¶

研究背景与动机¶

方法详解¶

整体框架¶

关键设计¶

损失函数 / 训练策略¶

实验关键数据¶

实验基准与任务设置¶

核心实验结果¶

亮点与洞察¶

局限性 / 可改进方向¶

相关工作与启发¶

评分¶

相关论文¶