Aligning Flow Map Policies with Optimal \(Q\)-Guidance¶
会议: NeurIPS 2026
arXiv: 2605.12416
论文: https://arxiv.org/abs/2605.12416
领域: 强化学习
关键词: 强化学习, 离线转在线, 流映射策略, 信任域优化, \(Q\)引导采样
一句话总结¶
本文提出流映射策略（Flow Map Policies）与基于一阶泰勒展开推导的闭式最优 \(Q\) 引导目标 FMQ，结合基于信噪比重加噪与集束搜索的推断期算法 QGBS，在无需昂贵 ODE 积分与复杂蒸馏的前提下实现了高效单步动作生成与卓越的在线自适应性能。
研究背景与动机¶
基于动态质量传输（Dynamic Mass Transport）的生成式策略（如扩散模型与流匹配策略）凭借强大的表达能力，在具有高度多模态动作分布的连续控制与机器人操作任务中展现出巨大优势。相比受限的单峰高斯分布，流匹配策略能将简单的基分布变换为复杂的状态条件动作分布。在离线转在线强化学习（Offline-to-Online RL）场景下，这种高表达能力策略尤为适用：智能体先通过静态数据集学习行为先验，再通过在线交互持续提升性能。然而，生成式策略的高表达力换来的是极为高昂的推断计算代价——生成单步动作通常需要对连续时间常微分方程（ODE）进行多步数值积分仿真，在环境交互的序列决策过程中这种推理延迟会急剧累积，严重阻碍其在线部署与实时控制。
为缓解推理时延瓶颈，近期研究尝试构建单步离线生成策略（如 Mean Velocity Policies, MVP）。然而，在离线转在线强化学习中，单纯具备离线单步生成能力远远不够，因为策略必须在维持行为先验的同时超越静态数据集。当前单步生成方法在线微调时普遍依赖“生成后筛选”（Generate-and-Select）的经验启发式机制（例如 Best-of-\(N\) 采样），即对策略单步生成的多个候选动作计算评价器（Critic）的 \(Q\) 值并选取最优者进行模仿。这种经验机制存在两大根本缺陷：一方面，评估 \(N\) 个动作会引入至少 \(N\) 次流模型前向推理与 \(Q\) 函数求值，抵消了单步策略的推理延迟红利；另一方面，对于任意有限的采样数 \(N\)，该机制都无法保证在局部邻域内沿着使 Critic \(Q\) 值提升最大的方向实现最优探索与改进。
针对上述矛盾，本文提出摒弃多步 ODE 仿真与试错式的 Best-of-\(N\) 启发式筛选，直接从连续动力学的两时间点跨步算子切入构建流映射策略，并将在线自适应问题形式化为在保持靠近离线先验的约束下最大化 \(Q\) 值的信任域优化问题。核心 idea：将在线策略自适应形式化为以离线流映射速度为锚点的信任域优化问题，推导出一阶泰勒展开下严格解析最优的闭式 \(Q\) 引导更新目标 FMQ，并配合推断期基于信噪比重加噪与集束搜索的 QGBS 采样器，以极低的计算开销实现单步生成策略的精准对齐与性能跃升。
方法详解¶
整体框架¶
本文构建了一套用于离线转在线强化学习的高效单步生成策略框架。整个方法分为三个有机衔接的阶段： 1. 离线预训练阶段：基于离线数据集 \(\mathcal{D}\)，通过对角流匹配损失监督瞬时速度，并借助欧拉策略蒸馏（EPD）、拉格朗日策略蒸馏（LPD）或渐进策略蒸馏（PPD）损失约束时间非对角项，预训练一个跨越任意时间区间的平均速度网络 \(u_{r,t}(a_r \mid s)\)，使得策略能通过 \(X_{0,1}(a_0 \mid s) = a_0 + u_{0,1}(a_0 \mid s)\) 在单步内直接将高斯噪声映射为高质量动作；同时采用截断双重 \(Q\) 学习预训练 Critic 网络。 2. 在线自适应阶段（FMQ）：在环境交互微调过程中，冻结离线流映射网络作为行为先验锚点 \(u_{r,1}^{\text{off}}\)，利用 Critic 的动作梯度方向构建局部一阶近似的最优扰动闭式解，并通过双 Critic 认知不确定性自适应缩放信任域半径 \(\eta_{\text{eff}}\)，以闭式回归损失直接对齐在线策略 \(u_{r,1}^{\theta}\)。 3. 推断期测试阶段（QGBS）：在评估时无需额外训练，将自适应后的流映射策略与推断期计算扩展相结合，引入基于信噪比（SNR）的重加噪操作生成扰动候选，随后通过集束搜索（Beam Search）筛选高 \(Q\) 粒子并施加闭式信任域 \(Q\) 引导位移，实现低延迟的高质量动作精炼。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["状态 s 与初始先验噪声 a0 ~ N(0, I)"] --> M1["两时间点流映射策略<br/>离线对角匹配 + 欧拉自蒸馏学习平均速度网络"]
M1 --> M2["最优Q引导信任域自适应 (FMQ)<br/>一阶局部展开 + KKT闭式解确定最优速度"]
M2 --> M3["不确定性自适应信任域缩放<br/>双Critic集成绝对差异感知认知不确定性"]
M3 --> OutTrain["在线自适应更新目标<br/>回归最优自引导学习目标"]
M1 -.->|推断期选用| M4["Q引导集束搜索 (QGBS)<br/>SNR重加噪扩散 + 候选动作前向生成"]
M4 --> M5["评价器评估与信任域投影精炼<br/>Top-M粒子选择 + 沿Q梯度解析位移"]
M5 --> OutEval["高Q执行动作 a*"]关键设计¶
1. 两时间点流映射策略：跨时间跳跃的统一算子 传统流匹配策略通过参数化时间瞬时速度场 \(v_t(a_t \mid s)\) 并求解 \(\frac{d}{dt}\psi_t(a_t \mid s) = v_t(\psi_t(a_t \mid s))\) 来实现概率传输，推断时必须采用 Euler 或 Runge-Kutta 等数值积分器多步推演。本文定义流映射算子 \(X_{r,t}(a_r \mid s): [0,1]^2 \times \mathcal{S} \times \mathbb{R}^d \to \mathbb{R}^d\)，满足跳跃条件 \(X_{r,t}(a_r \mid s) = a_t\)。利用两时间点间的平均速度 \(u_{r,t}(a_r \mid s) = \frac{1}{t-r}\int_r^t v_\tau(a_\tau \mid s)d\tau\)，流映射被参数化为： $\(X_{r,t}(a_r \mid s) = a_r + (t-r) u_{r,t}(a_r \mid s)\)$ 当评估边界 \(r=0, t=1\) 时，策略即可通过单步前向传播直接生成动作 \(a_1 = a_0 + u_{0,1}(a_0 \mid s)\)。在训练上，流映射网络在对角线 \(r=t\) 处通过标准对角条件流匹配损失监督瞬时速度 \(u_{t,t}(a_t \mid s) \approx v_t(a_t \mid s)\)；在非对角线 \(r<t\) 区域，作者系统化提出了拉格朗日（LPD）、欧拉（EPD）与渐进（PPD）三种自蒸馏一致性目标。特别是推导出此前所谓的均值流策略（Mean Flow Policy）在本质上仅是欧拉策略蒸馏在特定条件下的特例，从而将单步生成策略纳入了严格完备的流映射算子理论框架下。
2. 最优Q引导信任域自适应（FMQ）：解析闭式学习目标 在在线强化学习微调中，最大化 Critic 价值 \(\arg\max_a Q(s,a)\) 在连续动作空间且无标注数据时无法直接求解，且脱离离线数据分布易引发外推误差与策略崩溃。作者将在线自适应问题形式化为以参考策略（冻结的离线流映射 \(u_{r,1}^{\text{off}}\)）为基准的有界扰动优化问题：在约束平均速度偏离度 \(\|u_{r,1} - u_{r,1}^{\text{off}}\|_2 \le \eta\) 的信任域内，最大化动作价值 \(Q_\phi(s, a_1)\)。通过对非线性 Critic 在生成动作 \(a_1\) 处进行一阶泰勒展开 \(Q_\phi(s, \bar{a}_1) \approx Q_\phi(s, a_1) + \langle \nabla_a Q_\phi(s, a_1), \bar{a}_1 - a_1 \rangle\)，由于流映射参数化满足 \(\bar{a}_1 - a_1 = (1-r)(u_{r,1} - u_{r,1}^{\text{off}})\)，优化目标直接转化为在线性内积下求解极值。作者通过 KKT 条件求得定理 3.2 的严格闭式最优解： $\(u_{r,1}^*(a_r \mid s) = u_{r,1}^{\text{off}}(a_r \mid s) + \eta \frac{\nabla_a Q_\phi(s, a_1)}{\|\nabla_a Q_\phi(s, a_1)\|_2}\)$ 该闭式解表明，最优平均速度恰好是离线平均速度沿着经过 \(L_2\) 归一化的 Critic 动作梯度方向推移信任域半径 \(\eta\)。在线微调时，算法构造插值样本 \(a_r = (1-r)a_0 + r a_{\text{data}}\)，以此最优目标进行停止梯度（stop-gradient）自引导回归训练，彻底免去了额外蒸馏网络训练或低效的 Best-of-\(N\) 经验启发采样。
3. 不确定性自适应信任域缩放：防止 Critic 外推失真 固定的信任域半径 \(\eta\) 无法区分 Critic 评价的置信程度，在未充分探索的动作空间区域，Critic 往往存在严重的过估计与梯度畸变，此时若盲目以固定步长更新会导致策略发散。为此，本文设计了一种轻量高效的认知不确定性感知机制。利用截断双重 \(Q\) 学习中的两个独立 Critic 评估网络，定义逐样本差异度量 \(\delta_{\text{critic}}(s,a) = \frac{1}{\sqrt{2}}|Q_{\phi_1}(s,a) - Q_{\phi_2}(s,a)|\)。为了消除奖励尺度的影响，进一步在 mini-batch 内进行均值归一化得到 \(\tilde{\delta}_{\text{critic}}(s,a)\)，并构建单调衰减的有效信任域半径： $\(\eta_{\text{eff}}(s,a) = \frac{\eta}{1 + \beta \tilde{\delta}_{\text{critic}}(s,a)}\)$ 当双 Critic 预测高度一致（不确定性低）时，\(\eta_{\text{eff}} \to \eta\)，策略充分借助 \(Q\) 梯度大步探索高回报动作；而当 Critic 间分歧剧烈（不确定性高）时，\(\eta_{\text{eff}}\) 显著收缩，策略自适应回退并锚定在可信的离线先验流周围，从而在整个在线自适应过程中自动实现了稳健性与优化速度的最佳平衡。
4. Q引导集束搜索（QGBS）：推断期基于信噪比重加噪精炼 流映射策略学习的是先验噪声到动作边缘分布的确定性传输，无法直接刻画使得 Critic \(Q\) 值最大化的条件后验分布，导致单次采样的初始噪声 \(a_0\) 容易陷入局部次优。为此，本文提出了一种无需修改训练权重、仅在评估时即插即用的推断期随机采样与搜索算法 QGBS。算法从 \(M\) 个初始动作出发，引入由信噪比定义的中间时刻 \(t' = \text{SNR}/(1+\text{SNR})\) 对动作施加高斯扰动重加噪： $\(a_{t'} = t' \cdot a_1 + (1 - t') \cdot \varepsilon, \quad \varepsilon \sim \mathcal{N}(0, I)\)$ 紧接着再次调用流映射策略 \(X_{t',1}^\theta(a_{t'} \mid s)\) 将其单步去噪回 \(t=1\)，产生 \(M \times B\) 个分支候选。随后，算法利用 Critic 评估所有候选的 \(Q\) 值并保留最高的 \(M\) 个粒子，再对保留粒子沿 Critic 动作梯度施加解析信任域位移以实现极值微调。此过程迭代 \(K\) 步，最终输出 \(Q\) 值最大的动作。QGBS 仅需 \(M(1+KB)\) 次网络前向评估（NFE），在远低于多步扩散采样的算力预算下显著拓展了局部解空间。
损失函数 / 训练策略¶
离线阶段，流映射网络在对角流匹配损失与自蒸馏损失联合监督下训练： $\(\mathcal{L}_{\text{actor}}^{\text{off}} = \mathcal{L}_{\text{Diag}} + \lambda \mathcal{L}_{\text{SD}}\)$ 其中欧拉自蒸馏损失形式为 \(\mathcal{L}_{\text{EPD}} = \int_0^1 \int_0^t \mathbb{E}_{p_r(a_r \mid z,s)} [|\partial_r X_{r,t}(a_r \mid s) + \text{sg}(\nabla X_{r,t}(a_r \mid s) u_{r,r}(a_r \mid s))|^2] dr dt\)。Critic 采用双重 \(Q\) 学习配合 EMA 目标网络更新。
在线阶段，利用回放池中的在线交互数据与离线数据混合采样，在线策略参数 \(\theta\) 最小化 FMQ 回归损失： $\(\mathcal{L}_{\text{FMQ}}(\theta) = \mathbb{E}_{r, a_0, a_{\text{data}}} \left[ \left\| u_{r,1}^\theta(a_r \mid s) - \text{sg}\left( u_{r,1}^{\text{off}}(a_r \mid s) + \eta_{\text{eff}} \frac{\nabla_a Q_{\phi_1}(s, a_1)}{\|\nabla_a Q_{\phi_1}(s, a_1)\|_2 + \kappa_1} \right) \right\|_2^2 \right]\)$ 其中 \(\kappa_1 > 0\) 为防止分母为零的数值稳定常数，\(\text{sg}(\cdot)\) 为停止梯度算子。
实验关键数据¶
主实验¶
在涵盖 OGBench 与 Robomimic 的 12 项极具挑战性的机器人操作与导航任务（包括双物块/三物块重排、抽屉交互场景以及四足 Ant 和高维 Humanoid 迷宫导航）上，基线包括多步流匹配方法 QC（10 步 Euler 积分，320 NFE）和当前单步 SOTA 方法 MVP（32 NFE）。评估指标为 5 个独立随机种子下 50 个未知初始状态测试回合的平均成功率与四分位均值（IQM）。
| 任务环境 | QC (10步, 320 NFE) | MVP (单步, 32 NFE) | MVP + QGBS (本文推断) | FMQ (本文单步, 32 NFE) | FMQ + QGBS (本文完整) |
|---|---|---|---|---|---|
| Robomimic can | \(0.88 \pm 0.06\) | \(0.83 \pm 0.07\) | \(0.87 \pm 0.07\) | \(0.96 \pm 0.04\) | \(\mathbf{0.97 \pm 0.03}\) |
| Robomimic square | \(0.89 \pm 0.04\) | \(0.82 \pm 0.04\) | \(0.83 \pm 0.05\) | \(0.94 \pm 0.02\) | \(\mathbf{0.95 \pm 0.04}\) |
| OGBench cube-dbl-t3 | \(\mathbf{1.00 \pm 0.00}\) | \(\mathbf{1.00 \pm 0.00}\) | \(\mathbf{1.00 \pm 0.00}\) | \(\mathbf{1.00 \pm 0.00}\) | \(\mathbf{1.00 \pm 0.00}\) |
| OGBench cube-dbl-t4 | \(0.92 \pm 0.05\) | \(0.98 \pm 0.02\) | \(0.98 \pm 0.02\) | \(0.98 \pm 0.02\) | \(\mathbf{1.00 \pm 0.00}\) |
| OGBench cube-trl-t3 | \(0.83 \pm 0.08\) | \(0.64 \pm 0.12\) | \(0.78 \pm 0.12\) | \(0.78 \pm 0.10\) | \(\mathbf{0.84 \pm 0.04}\) |
| OGBench cube-trl-t4 | \(0.37 \pm 0.26\) | \(0.32 \pm 0.07\) | \(0.37 \pm 0.09\) | \(\mathbf{0.88 \pm 0.07}\) | \(0.87 \pm 0.05\) |
| OGBench scene-t4 | \(0.99 \pm 0.01\) | \(0.92 \pm 0.02\) | \(0.98 \pm 0.02\) | \(\mathbf{1.00 \pm 0.00}\) | \(0.99 \pm 0.01\) |
| OGBench scene-t5 | \(0.96 \pm 0.02\) | \(0.90 \pm 0.06\) | \(0.95 \pm 0.05\) | \(0.98 \pm 0.02\) | \(\mathbf{1.00 \pm 0.00}\) |
| OGBench hmaze-med-t3 | \(0.65 \pm 0.11\) | \(0.47 \pm 0.10\) | \(0.53 \pm 0.03\) | \(\mathbf{0.69 \pm 0.04}\) | \(0.58 \pm 0.07\) |
| OGBench hmaze-med-t4 | \(0.04 \pm 0.03\) | \(0.00 \pm 0.00\) | \(0.02 \pm 0.02\) | \(\mathbf{0.06 \pm 0.03}\) | \(\mathbf{0.06 \pm 0.03}\) |
| OGBench amaze-gnt-t4 | \(0.64 \pm 0.12\) | \(0.42 \pm 0.06\) | \(0.43 \pm 0.04\) | \(\mathbf{0.80 \pm 0.06}\) | \(0.77 \pm 0.03\) |
| OGBench amaze-gnt-t5 | \(0.91 \pm 0.05\) | \(0.82 \pm 0.08\) | \(0.90 \pm 0.06\) | \(\mathbf{0.92 \pm 0.04}\) | \(\mathbf{0.92 \pm 0.05}\) |
| 全任务总评 IQM | \(0.86 \; [0.84, 0.87]\) | \(0.75 \; [0.73, 0.77]\) | \(0.81 \; [0.78, 0.83]\) | \(0.91 \; [0.89, 0.93]\) | \(\mathbf{0.93 \; [0.91, 0.94]}\) |
消融实验¶
1. QGBS 推断期算力扩展配置消融 探索不同迭代步数 \(K\)、候选重加噪分支数 \(B\) 与候选粒子数 \(M\) 对计算开销 NFE \(= M(1+KB)\) 与性能的影响：
| 迭代步数 \(K\) | 粒子与分支配置 \(\{B, M\}\) | 前向推理次数 (NFE) | 总体得分 IQM [95% CI] | 说明 |
|---|---|---|---|---|
| 0 | \(\{1, 32\}\) (等价于标准 Best-of-32) | 32 | \(0.91 \; [0.89, 0.93]\) | 标准单步 \(Q\) 导向筛选 |
| 1 | \(\{4, 4\}\) | 20 | \(\mathbf{0.93 \; [0.91, 0.94]}\) | 仅需 20 NFE 即达峰值性能，开销降低 37.5% |
| 1 | \(\{2, 8\}\) | 24 | \(\mathbf{0.93 \; [0.91, 0.95]}\) | 保持卓越表现且方差更低 |
| 1 | \(\{1, 16\}\) | 32 | \(0.92 \; [0.90, 0.93]\) | 增加粒子但减少扰动多样性 |
| 1 | \(\{4, 16\}\) | 80 | \(0.92 \; [0.90, 0.93]\) | 过多粒子导致算力浪费且性能趋于饱和 |
| 2 | \(\{4, 4\}\) | 36 | \(0.91 \; [0.90, 0.93]\) | 步数增加可能受累于 Critic 累积局部误差 |
| 2 | \(\{4, 16\}\) | 144 | \(0.90 \; [0.89, 0.91]\) | 大幅增加步数反倒引发过拟合与性能略微退化 |
2. 离线流映射自蒸馏目标消融
| 自蒸馏损失准则 | cube-trl-t4 | hmaze-med-t3 | amaze-gnt-t4 | amaze-gnt-t5 | 全局 IQM [95% CI] |
|---|---|---|---|---|---|
| 欧拉策略蒸馏 (ESD/EPD) | \(\mathbf{0.90 \pm 0.05}\) | \(\mathbf{0.64 \pm 0.02}\) | \(0.82 \pm 0.02\) | \(\mathbf{0.92 \pm 0.01}\) | \(\mathbf{0.79 \; [0.77, 0.81]}\) |
| 拉格朗日策略蒸馏 (LSD/LPD) | \(0.88 \pm 0.06\) | \(0.62 \pm 0.09\) | \(0.78 \pm 0.06\) | \(0.91 \pm 0.03\) | \(\mathbf{0.79 \; [0.75, 0.82]}\) |
| 渐进策略蒸馏 (PSD/PPD) | \(0.87 \pm 0.09\) | \(0.48 \pm 0.29\) | \(\mathbf{0.86 \pm 0.04}\) | \(0.87 \pm 0.05\) | \(0.77 \; [0.70, 0.81]\) |
关键发现¶
- 复杂操控任务优势巨大：在极其困难的 3 物块循环置换任务
cube-trl-t4上，多步 QC 与单步 MVP 分别仅取得 0.37 与 0.32 的成功率，而 FMQ 跃升至 0.88（提升幅度超 175%）；在巨型迷宫amaze-gnt-t4上从 0.42 提升至 0.80，表明对于极难长程决策，基于梯度的直接对齐相比粗暴离散候选筛选能提供更强烈的优化指引。 - 样本自适应收敛加速极高：在线微调阶段，FMQ 达到基线 MVP 历史最高成功率 \(\xi\) 的平均收敛速度是后者的 2.77 倍（在稀疏奖励的
hmaze-med-t3上更是达到 6.14 倍加速），证实了沿最优 \(Q\) 梯度位移的信任域回归相比无向 Best-of-\(N\) 经验筛选具有质的样本效率优势。 - 推断期多样性重于暴力粒子数量：消融表明，采用 QGBS 重加噪后，仅需 4 个候选粒子配合 4 个分支（20 NFE）即可取得 0.93 的最高 IQM，比无重加噪的 32 NFE 采样节省了 37.5% 计算量且效果更优。这证明流映射在中间时间层 \(t'\) 施加受控扰动比在纯噪声 \(t=0\) 端漫无目的增加样本更具探索效率。
亮点与洞察¶
- 闭式解析的最优对齐目标：将流映射速度扰动与 Critic 一阶展开相结合，巧妙化简并在 KKT 条件下求出严格的全局最优闭式解，无需借助额外的策略梯度反传（BPTT）或外部判别器。
- 轻量自适应的不确定性门控：利用双 Critic 输出的简单绝对差值作为认知不确定性代理，动态自适应缩放信任域半径，使策略兼顾激进的性能提升与保守的先验锚定。
- 理论统一流映射与均值流策略：从数学上证明了近期备受关注的均值流策略（Mean Flow Policy）只是欧拉策略蒸馏在时空求偏导并代入真实速度时的特例，打通了流映射理论与单步控制策略的桥梁。
局限与展望¶
- 依赖一阶局部线性假设：FMQ 在推导最优速度位移时采用了 Critic 的一阶泰勒级数展开。在高度非线性或曲率剧烈变化的高维价值曲面上，一阶位移可能导致局部逼近失效，未来需探索结合 Hessian 曲率感知的高阶信任域机制。
- 对 Critic 精度的敏感性：当在线探索极度匮乏、双 Critic 均发生严重外推估计偏差（但两网络碰巧分歧较小）时，不确定性门控可能失灵，导致策略被错误的梯度信号误导。
- 物理真机部署验证缺失：目前的实验评估完全集中在仿真基准（OGBench 与 Robomimic）上，后续需在真实机器人操作臂及四足实物平台上验证其实时性与抗传感器噪声能力。
相关工作与启发¶
- vs MVP (Zhan et al., 2026)：MVP 提出了均值流单步策略，但在在线自适应时完全依赖粗糙的 Best-of-\(N\) 筛选后进行模仿学习；本文的 FMQ 从理论上给出了严格的闭式一阶信任域最优解，以 2.77 倍的收敛速度和 21.3% 的显著成功率优势实现全面超越。
- vs QC (Li et al., 2025)：QC 依靠 10 步 ODE 积分生成动作（320 NFE），推理延迟极大；FMQ 基于流映射的两时间点跳跃性质，在单步（32 NFE）甚至精炼后（20 NFE）即大幅超越 QC，破解了生成式策略无法兼顾表达力与低延迟的困境。
- vs FQL (Park et al., 2025)：FQL 依赖两阶段蒸馏网络将多步流压缩为单步学生网络，流程复杂且训练开销高；FMQ 通过流映射本身的自蒸馏目标实现单步能力，并在自适应中自我引导，结构更为精简优雅。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次建立流映射算子与 Critic 信任域优化的理论联系，推导出严格闭式解。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 12 项 OGBench/Robomimic 复杂机械臂与导航任务，包含详细样本效率、推断算力扩展与理论收敛分析。
- 写作质量: ⭐⭐⭐⭐⭐ 论文推导严谨自洽，附录证明详尽完整，架构与逻辑链极其清晰。
- 价值: ⭐⭐⭐⭐⭐ 彻底解决了生成式策略在在线微调与实时控制中的推理瓶颈，极具实用与理论推广价值。