Value-Rectified Distillation for Flow-based Offline Reinforcement Learning¶
会议: NeurIPS 2026
arXiv: 2610.29075
OpenReview: https://openreview.net/forum?id=mpjt1QNZvM
代码: https://github.com/Jack10843/VRD-master
领域: 强化学习
关键词: 离线强化学习, 流匹配, 策略蒸馏, 模态平均, 价值整流
一句话总结¶
针对基于流匹配的离线强化学习在多模态数据下出现的潜在融合与分布外模态平均灾难，提出价值整流蒸馏（VRD）框架，通过分位数统计过滤（VRD-Q）与几何重组（VRD-R）精确解耦次优行为并隔离最优生成轨迹。
研究背景与动机¶
离线强化学习（Offline RL）致力于在不与环境发生额外交互的前提下，完全依赖预先收集的静态数据集训练高性能决策策略。针对多模态行为分布的建模需求，生成式策略近年来展现出巨大潜力；相比于扩散模型（Diffusion Policy）复杂的反向传播与缓慢的采样速度，基于流匹配（Flow Matching, FM）的策略（如 Flow Q-Learning, FQL）凭借常微分方程（ODE）确定性向量场的拟合能力，在表达复杂多峰分布的同时显著提升了训练稳定性。在标准 FQL 范式中，算法首先通过行为克隆（BC）预训练流策略以完整覆盖离线数据集分布，随后借助 Q 函数评估器通过策略蒸馏指导单步 Actor 输出高价值动作。
然而，在包含多样化行为与低质量探索轨迹的多模态数据中，标准流策略蒸馏存在严重的结构性缺陷。理论分析揭示，预训练流模型在连续空间中平滑连接各数据峰值时，其潜在空间与连续速度场必然产生“潜在融合”（Latent Fusion）——最优模态与次优模态的前像在连续潜在空间中不可分割，且其边界处必然穿越低密度的分布外（OOD）区域。当 FQL 在蒸馏阶段利用欧氏距离正则项强制 Actor 拟合预训练流模型并最大化 Q 值时，这种直接施加在动作空间的欧氏约束在优化张力下不可避免地沿着连通路径进行线性插值，导致策略坍缩到真实数据流形之外的真空带，引发毁灭性的“分布外模态平均”（OOD Mode Averaging）。
为了打破动作空间欧氏正则化必然引发插值灾难的理论僵局，策略精炼过程必须从单纯的行为克隆跃升为流动力学的显式整流。核心 idea：将离线策略蒸馏重构为价值引导的潜在分布对齐问题，通过非合并对齐核建立动态耦合机制，在统计维度上抑制次优流分支（VRD-Q）或在几何拓扑上将高价值轨迹聚拢至紧凑核心（VRD-R），从而彻底杜绝动作空间的跨模态均值插值。
方法详解¶
整体框架¶
Value-Rectified Distillation（VRD）的核心在于构建通用的价值整流泛函空间（Value-Rectified Functional Space），将预训练行为流模型 \(\mu_\theta(s, z)\) 到最优单步策略 \(\pi(s, z')\) 的蒸馏重塑为潜在空间之间的非线性映射耦合。给定离线状态 \(s \sim \mathcal{D}\)，VRD 通过定义在联合潜在空间 \(\mathcal{Z} \times \mathcal{Z}\) 上的价值引导对齐核（Value-Guided Alignment Kernel, VGAK）\(\kappa_Q(z, z' \mid s, \mu_\theta, \pi)\) 来控制耦合权重与坐标重映射： $\(\Psi(\pi; \mu_\theta) = \int_{\mathcal{Z}} \mathcal{P}_{\mathcal{Z}}(z) \left[ \int_{\mathcal{Z}} \kappa_Q(z, z' \mid s, \mu_\theta, \pi) \cdot \|\mu_\theta(s, z) - \pi(s, z')\|_2^2 \, dz' \right] dz\)$ 随后结合测试分布 \(\mathcal{P}_{test}\) 下的 Q 值最大化项构成总体优化目标： $\(\mathcal{L}_\pi = \mathbb{E}_{s \sim \mathcal{D}} \left[ \Psi(\pi; \mu_\theta \mid s) - \lambda \cdot \mathbb{E}_{z' \sim \mathcal{P}_{test}} [Q(s, \pi(s, z'))] \right]\)$ 理论证明（Theorem 2），只要对齐核满足次优泄漏 \(\epsilon\)-有界与最优耦合 \(C\)-占优两大条件，蒸馏策略输出最优动作的概率即可获得严格下界保证 \(\mathbb{P}(\hat{\pi}^*(s, z') \in \mathcal{A}^*_Q(s)) \ge \frac{C}{C+\epsilon}\)。VRD 衍生出两种互补的实现范式：基于原位分位数调节的统计整流（VRD-Q）与基于引力场变换的几何整流（VRD-R）。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
A["离线多模态数据 D<br/>包含最优与次优行为模态"] --> B["预训练行为流模型<br/>Flow Matching 拟合连续速度场"]
B --> C{"整流策略选择"}
subgraph S1 ["统计整流分支 (VRD-Q)"]
direction TB
C -->|原位向量场对齐| D["分位数价值加权调制<br/>截断次优模态梯度流"]
D --> E["保留多模态几何拓扑<br/>标准高斯先验零样本采样"]
end
subgraph S2 ["几何重组分支 (VRD-R)"]
direction TB
C -->|空间拓扑变形| F["价值引力场空间变换<br/>高价值向原点聚拢/次优排斥至外围"]
F --> G["中心紧凑最优核<br/>截断低温先验精确采样"]
end
E --> H["单步 Actor 策略输出<br/>严格限制在最优动作流形"]
G --> H关键设计¶
1. 潜在融合与分布外模态平均机理：揭示 FQL 欧氏正则化的拓扑缺陷
该设计针对离线多模态数据集中流模型生成轨迹相互纠缠并发生均值崩溃的理论机理。在多模态数据分布中，若最优动作集 \(\mathcal{A}^*_Q(s)\) 与次优动作集 \(\mathcal{A}^-_Q(s)\) 存在严格物理间距 \(\inf_{a^* \in \mathcal{A}^*_Q, a^- \in \mathcal{A}^-_Q} \|a^* - a^-\|_2 = D > 0\)，流匹配网络由于映射连续性，其潜在空间中连接两模态的任意连续轨迹必然穿越分布外区域 \(\mathcal{Z}_{OOD}\)，且最优模态边界与次优/OOD 区域深度纠缠（Proposition 1）。在蒸馏目标 \(-\lambda Q(s, \pi(s, z)) + \|\pi(s, z) - \mu_\theta(s, z)\|_2^2\) 下，欧氏正则项强制策略更新在两模态间寻找折中点。推导表明在局部强凹的 Q 景观下，最优决策满足加权插值 \(a_{FQL} = M(\alpha) a^* + (I - M(\alpha)) a^-_{bc}\)，致使采样动作必然跌入间距为 \(D\) 的低密度真空谷底，期望误差下界为 \(\min_{a \in \mathcal{A}(s)} \|a_{FQL} - a\|_2^2 \ge \frac{D^2}{4}\)（Theorem 1）。这说明直接施加在动作空间的欧氏约束与多模态数据拓扑结构不相容。
2. VRD-Q 分位数统计整流：基于原位价值评估的动态权重调制
该设计旨在不破坏潜在空间原始拓扑结构的前提下，从统计分布层面剔除次优轨迹的负面影响。VRD-Q 将对齐核限制为对角 Dirac 结构，即源潜在变量 \(z\) 与目标潜在变量 \(z'\) 严格对齐（\(T(z) = z\)），并通过基于价值分位数的非对称权重 \(\omega_\tau(z)\) 调制蒸馏强度： $\(\kappa_Q(z, z' \mid s, \mu_\theta, \pi) = \left| \tau - \mathbb{I} \left( Q(s, \mu_\theta(s, z)) < Q(s, \pi(s, z)) - \epsilon_{\text{opt}} \right) \right| \cdot \delta(z' - z)\)$ 其中 \(\tau \in (0.5, 1)\) 为分位数超参数。当预训练流模型输出的动作为高价值时，指示函数为 0，权重赋予较大的 \(\tau\)；当输出动作劣于当前策略且差距超过松弛因子 \(\epsilon_{\text{opt}}\) 时，权重衰减至 \(1-\tau\)。通过在反向传播中削弱次优样本的锚定拉力，VRD-Q 截断了流向低价值模态的更新梯度。此机制保留了专家行为的多峰多样性与空间几何，极大促进了多目标导航中的轨迹拼接（Trajectory Stitching）。测试时直接从标准各向同性高斯先验 \(z \sim \mathcal{N}(0, I_d)\) 中无缝采样。
3. VRD-R 几何拓扑重组：基于价值引力场的潜在空间重构
该设计针对需要极高控制精度与稳定性的单峰动作提取任务，采用主动改变潜在空间拓扑结构的几何整流方案。VRD-R 对所有样本保持等权更新，但构建非对角确定性传输映射 \(z' = z_Q(s, z, \mu_\theta)\)。该映射依据归一化相对价值构建朝向潜在空间原点的向心引力场： $\(z_Q(s, z, \mu_\theta) = \Phi_Q(s, z) \cdot \frac{z}{\|z\|_2}, \quad \Phi_Q(s, z) = \frac{Q_{\max}(s) - Q(s, \mu_\theta(s, z))}{Q_{\max}(s) - Q_{\min}(s) + \epsilon_m}\)$ 在这一映射下，最高价值动作（\(Q \approx Q_{\max}\)）对应的尺度因子 \(\Phi_Q \to 0\)，被强力吸引并高度压缩在潜在原点周围的核心超球内；而次优动作则被排挤推移至外围边缘（\(\Phi_Q \to 1\)）。在推理阶段，策略无需覆盖整个外围空间，只需采用截断半径为 \(\sigma \ll 1\) 的收缩高斯先验 \(z' \sim \mathcal{N}(0, \sigma^2 I_d)\) 进行采样。理论证明，当截断半径 \(\sigma < \frac{\epsilon_{\text{opt}}}{Q_{\max}(s) - Q_{\min}(s) + \epsilon_m}\) 时，次优区域的耦合测度严格为 0（\(I^- = 0\)），保证以 \(100\%\) 的概率输出处于最优流形上的高质量动作。
损失函数 / 训练策略¶
在训练阶段，两类算法均复用离线数据中预训练好的 Q 网络 \(Q_\phi(s, a)\) 与流匹配模型 \(\mu_\theta(s, z)\)，两者的参数在蒸馏期间保持冻结（采用 stop-gradient），仅更新 Actor 网络 \(\pi(s, \cdot)\)： - VRD-Q 损失： $\(\mathcal{L}_{\pi}^{Q} = \mathbb{E}_{s \sim \mathcal{D}, z \sim \mathcal{Z}} \left[ |\tau - \mathbb{I}(Q(s, \mu_\theta(s, z)) < Q(s, \pi(s, z)) - \epsilon_{\text{opt}})| \cdot \|\mu_\theta(s, z) - \pi(s, z)\|_2^2 - \lambda Q(s, \pi(s, z)) \right]\)$ - VRD-R 损失： $\(\mathcal{L}_{\pi}^{R} = \mathbb{E}_{s \sim \mathcal{D}, z \sim \mathcal{Z}} \left[ \|\mu_\theta(s, z) - \pi(s, z_Q(s, z, \mu_\theta))\|_2^2 - \lambda \cdot \mathbb{E}_{z' \sim \mathcal{N}(0, \sigma^2 I)} [Q(s, \pi(s, z'))] \right]\)$ 训练采用 Adam 优化器，学习率设为 \(3 \times 10^{-4}\)，批大小为 256。权衡系数 \(\lambda\) 默认设为 0.05。对于 VRD-Q，噪声较大时 \(\tau\) 建议设为 0.6~0.7，清晰数据设为 0.8~0.9；对于 VRD-R，截断标准差 \(\sigma\) 常用搜索范围为 \(10^{-4}\)。
实验关键数据¶
主实验¶
论文在标准连续控制基准 D4RL（涵盖 MuJoCo 运动控制、AntMaze 导航与 Adroit 机械手控制）以及长视距目标条件规划基准 OGBench（共 50 个复杂任务）上展开全面评测。
| 基准 / 任务 | 评估指标 | VRD-R | VRD-Q | FQL | GFP | ReBRAC | IDQL |
|---|---|---|---|---|---|---|---|
| D4RL: MuJoCo 平均 | 归一化得分 | 88.5 | 80.8 | 78.1 | 84.0 | 88.5 | 82.1 |
| D4RL: AntMaze 平均 | 归一化得分 | 87.7 | 85.6 | 83.5 | 83.2 | 78.7 | 79.2 |
| D4RL: Adroit 平均 | 归一化得分 | 115.8 | 119.0 | 89.7 | 94.0 | 119.3 | 93.3 |
| D4RL: 全部任务总平均 | 归一化得分 | 92.8 | 88.8 | 81.8 | 85.4 | 90.3 | 83.0 |
| OGBench: antmaze-large | 任务成功率 (%) | 94.9 | 95.5 | 79.0 | 93.8 | 81.0 | 21.0 |
| OGBench: antmaze-giant | 任务成功率 (%) | 38.3 | 49.8 | 9.0 | 27.9 | 26.0 | 0.0 |
| OGBench: humanoidmaze-med | 任务成功率 (%) | 70.3 | 75.3 | 58.0 | 72.0 | 22.0 | 1.0 |
| OGBench: antsoccer-arena | 任务成功率 (%) | 47.9 | 63.8 | 60.0 | 57.9 | 0.0 | 12.0 |
| OGBench: 50任务总体平均 | 任务成功率 (%) | 50.8 | 56.4 | 43.5 | 51.8 | 31.0 | 22.8 |
消融实验¶
针对超参数敏感性，论文在 D4RL medium 数据集上系统探究了 VRD-Q 的分位数阈值 \(\tau\) 和 VRD-R 的截断采样半径 \(\sigma\) 对策略最终性能的影响。
| 算法与配置 | HalfCheetah-m | Hopper-m | Walker2d-m | 平均表现与趋势说明 |
|---|---|---|---|---|
| VRD-Q (\(\tau=0.5\), 无非对称抑制) | 60.4 | 64.3 | 76.5 | 67.1 (无法有效抑制次优行为模态) |
| VRD-Q (\(\tau=0.6\)) | 63.4 | 65.1 | 81.7 | 70.1 (次优过滤逐步起效) |
| VRD-Q (\(\tau=0.7\), 推荐基准) | 65.7 | 65.8 | 82.3 | 71.3 (最优倒 U 型峰值，覆盖与降噪完美平衡) |
| VRD-Q (\(\tau=0.8\)) | 65.3 | 65.1 | 81.1 | 70.5 (过滤较强，仍具鲁棒性) |
| VRD-Q (\(\tau=0.9\), 激进过滤) | 58.1 | 56.4 | 77.4 | 64.0 (损失覆盖度，梯度变稀疏) |
| VRD-R (\(\sigma=10^{-2}\), 宽采样域) | 60.6 | 73.9 | 89.1 | 74.5 (轻微接触外围次优模态) |
| VRD-R (\(\sigma=10^{-3}\)) | 60.4 | 75.5 | 88.6 | 74.8 (向核心聚焦) |
| VRD-R (\(\sigma=10^{-4}\), 推荐基准) | 61.7 | 76.3 | 89.7 | 75.9 (精确锁定原点高价值核心超球) |
| VRD-R (\(\sigma=10^{-5}\), 极窄采样) | 61.2 | 74.2 | 88.3 | 74.6 (略微存在潜在过拟合风险) |
关键发现¶
- 多模态抗噪能力极为强韧：在混合数据集（专家轨迹与随机轨迹按 50% 至 90% 渐进掺杂）的压力测试中，随着次优样本比例升高，CQL 和 FQL 性能断崖式下跌，而 VRD-Q 与 VRD-R 的性能退化显著平缓，证明其成功从稀疏高信噪比边缘解耦出最优模态。
- 任务适应性呈现明显分工：VRD-Q 由于保留了潜在多模态多样性，在需要轨迹拼接和高维状态探索的 OGBench 50 任务上斩获 56.4% 的历史最高胜率；而在讲求单模态稳定与平滑控制的连续运动任务（如 D4RL MuJoCo 和 Minari）中，VRD-R 凭借几何向心引力场消除了模态振荡，以 92.8 和 112.8 的均分占据首位。
- 超参数呈现典型的倒 U 型规律：VRD-Q 的分位数参数 \(\tau\) 过小则过滤不完全，过大（如 0.9）则引发分布覆盖缺失和梯度消失；VRD-R 的截断参数 \(\sigma\) 当取为标准采样（\(\sigma=1\)）时因落入次优外围导致性能崩溃，缩小至 \(10^{-4}\) 时达到最优隔离效果。
亮点与洞察¶
- 从动作空间欧氏正则到潜在流形对齐的范式转变：明确指出现有扩散/流匹配策略蒸馏失败的根源在于动作空间欧氏距离强制插值，跳出传统动作裁剪的修补思路，在理论上将蒸馏升华为非合并潜在核的对齐问题。
- 统计抑制与几何重组的双重实现构想：VRD-Q 用原位分位数赋权化解计算开销并保留多样性，VRD-R 则构造基于相对 Q 值的坐标收缩引力场实现极简的零样本低温截断采样，两者互为镜像且数学统一。
- 即插即用的单步生成架构落地：在保留流模型极强表达力的同时，Actor 在测试阶段仅需一步前向传播，彻底规避了在线多步 ODE 求解的高额延迟与数值反向传播的不稳定性。
局限与展望¶
- 对 Q 函数估计精度的依赖性强：无论是 VRD-Q 的分位数指示函数还是 VRD-R 的引力场缩放因子，均直接依赖底层 Critic 的打分。若离线训练发生灾难性的分布外 Q 值高估，可能导致错误模态被赋予过大权重或错误引流。未来可将不确定度评估（如集成不确定性惩罚）与价值整流泛函直接融合。
- 离散动作空间的拓展壁垒：当前流匹配理论框架和潜在连续引力变换完全建立在连续欧氏向量场之上，难以直接平移至 Atari 等离散控制任务。未来可探索与范畴流匹配（Categorical Flow Matching）或离散扩散过程的结合。
- VRD-R 在多最优解下的潜在坍缩：向心引力场将所有高价值行为全部汇聚于潜在原点，若环境本身存在多种截然不同但收益相当的全局最优解，VRD-R 可能会抹平专家策略的多样性，未来可引入混合高斯先验的多中心引力场。
相关工作与启发¶
- vs FQL (Park et al., 2025)：FQL 在蒸馏时采用各向同性高斯先验与无权重的动作欧氏正则化，遇到分离的双峰或多峰数据时不可避免地在模态之间进行均值插值；VRD 通过非对称加权（VRD-Q）或拓扑重构（VRD-R）彻底隔离了次优模态，解决了插值 OOD 灾难。
- vs GFP (Tiofack et al., 2025)：GFP 尝试在流匹配行为策略的预训练阶段借助奖励信息放大最优模态，但其后续蒸馏阶段仍沿袭 FQL 式的直接克隆；VRD 则直击蒸馏核心机制，无须修改流模型预训练，在多模态与混合噪声数据集上展现出更严密的理论下界与经验优势。
- vs 传统扩散策略 (IDQL / SRPO / CAC)：扩散策略在推理时面临多步反向扩散求解的计算瓶颈，且对值梯度的反向传播极不稳定；VRD 继承了流模型单步蒸馏的极速推理特质，并在高难度 OGBench 任务上全面超越了 CAC 等一致性扩散模型。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从拓扑学角度严格证明流策略蒸馏在多模态离线强化学习中的潜在融合与模态平均机理，提出的泛函对齐与双重整流算法构思精妙。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 D4RL、OGBench（50个任务）、Minari、不同噪声比例应力测试以及丰富的消融可视化，论据详实。
- 写作质量: ⭐⭐⭐⭐⭐ 数学推导严密规范，问题剖析一针见血，方法论述与图表设计具备极高的清晰度。
- 价值: ⭐⭐⭐⭐⭐ 为生成式离线强化学习的策略蒸馏提供了全新基石，对于机器人轨迹拼接与高维连续决策具有重要的实用参考价值。