Policy-DRIFT: Dynamic Reward-Informed Flow Trajectory Steering¶

会议: NeurIPS 2026
arXiv: 2605.14022
OpenReview: https://openreview.net/forum?id=Dg4j2E3Vtz
领域: 其他
关键词: 湍流主动控制、条件流匹配、终端奖励引导、强化学习、减阻优化

一句话总结¶

针对传统强化学习在流体控制中易受标量奖励误设与作弊限制的问题，Policy-DRIFT 将奖励引导从策略梯度迁移至条件流匹配（CFM）的生成推断阶段，利用终端奖励引导（TRG）的前置修正生成物理可实现的减阻目标场，再由轻量级强化学习策略仅通过全场 RMSE 追踪执行作动，在 $Re_\tau=180$ 湍流槽道流中实现了 48.95% 的近理论上限减阻，且作动能耗较基线降低约 37 倍。

研究背景与动机¶

壁面湍流引起的摩擦阻力占据了商用航空运输、风能利用以及海运交通中相当大比例的能量消耗，在商用飞机总气动阻力中占比接近一半，因此通过主动控制手段实现湍流边界层减阻是工程流体力学中极具战略价值的目标。近年来，深度强化学习（DRL）逐渐成为实时流动控制的主导范式，在多种壁面作动场景中取得了显著优于经典对消控制（Opposition Control）的持续减阻表现。然而，现有 DRL 控制器的性能上限往往受制于人为设计的标量奖励函数，而非算法本身的表征能力；简单的空间平均标量奖励无法准确反映流动底层的高维物理机理，且高保真直接数值模拟（DNS）高昂的计算开销极大地限制了在线探索与策略演进空间。

这种失效的核心矛盾在于：只要奖励梯度直接流经策略网络，学习到的控制行为就与代理奖励（Proxy Reward）的质量深度绑定。当策略直接以瞬时减阻率最大化为目标时，极易诱发严重的过度作动（Over-Actuation），消耗巨大的泵送能量；而若在奖励中强行引入作动能耗惩罚，策略梯度更新又往往倾向于全局抑制吹吸作动，导致关键相干湍流结构的消减能力大幅衰退。此外，优化空间平均标量阻力允许策略通过局部作弊来骗取高分，却无法保证整个物理场流动态的空间相干性。

本文的切入角度是打破“奖励必须作为强化学习梯度”的固有思维，将奖励信息的作用节点从策略梯度彻底迁移至生成模型的采样推断环节。核心 idea：将流体主动控制中的奖励信息从策略梯度迁移至生成式推断过程，利用条件流匹配构建多控制模态的物理可实现流形，并通过终端奖励引导（TRG）在前置修正机制下逆 ODE 轨迹导向高收益目标流场，最终由轻量级强化学习策略仅通过最小化全场 RMSE 追踪生成目标，实现减阻率与能耗效益的隐式解耦提升。

方法详解¶

整体框架¶

Policy-DRIFT 将主动流动控制重构为“生成目标发现 + 局部反应式追踪”的两阶段滚动时域控制（Receding-Horizon Control）框架。在离线阶段，首先通过条件流匹配（CFM）基于包含无控、对消控制与 DRL 控制的三模态 DNS 快照数据集，联合构建出跨控制状态的物理连续流形；随后利用冻结的流匹配速度场与引入时间衰减权重的终端奖励预测器，在推理积分过程中通过终端奖励引导（TRG）逆向修正 ODE 演进路径，合成出兼顾高减阻与低能耗的下一时域目标流场 $\hat{\mathbf{u}}_1$；最后，部署在壁面网格上的分布式轻量 DRL 策略无需直接优化阻力或能耗，仅需以最小化全场均方根误差（RMSE）为追踪目标执行局部吹吸作动。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["当前流动状态 u0 + 多控制模态离线流场数据"] --> B["多模态流形构建<br/>CFM联合学习多控制域流场转移"]
    B --> C["终端奖励引导<br/>TRG前置修正梯度导向高奖励目标"]
    C --> D["全场目标跟踪<br/>轻量TD3以全场RMSE最小化执行壁面作动"]
    D --> E["输出：高减阻物理流态 (DR ≈ 49%) 与低能耗壁面控制"]

关键设计¶

1. 多模态流形构建：融合多控制机制构建可实现流动状态空间 针对单一控制策略下流场数据多样性不足、难以支撑大范围优化搜索的问题，本文利用条件流匹配联合训练跨越多个控制机制的数据流形。定义连续控制时域 $\Delta t^+ = 5$ 内的流场快照对 $(\mathbf{u}_0, \mathbf{u}_1)$，涵盖无控制状态 $\mathcal{D}_1$、对消控制 $\mathcal{D}_2$ 以及壁面剪应力 DRL 控制 $\mathcal{D}_3$。通过定义线性最优传输概率路径： $$\tilde{\mathbf{u}}_s = (1 - s)\boldsymbol{\eta} + s\mathbf{u}_1, \quad \boldsymbol{\eta} \sim \mathcal{N}(\mathbf{0}, \mathbf{I}), \quad s \in [0, 1]$$ 构建对应的目标速度场 $u_s(\tilde{\mathbf{u}}_s \mid \mathbf{u}_1) = \mathbf{u}_1 - \boldsymbol{\eta}$。三维 UNet 速度模型 $v_\theta(\tilde{\mathbf{u}}_s, s, \mathbf{u}_0)$ 在联合数据集上直接进行回归优化，无需任何模态标签或分类头。该设计使生成模型能够捕捉不同控制策略之间的过渡相空间，其流场连续性残差 $|\nabla \cdot \hat{\mathbf{u}}_1|$ 保持在与真实 DNS 同等量级（$10^{-4}$），为后续推理搜索提供了兼具物理真实性与结构丰富性的流动状态基础。

2. 终端奖励引导：利用前置修正规避奖励作弊与流形偏离 为了在冻结的流匹配先验流形中搜寻高奖励终止态，本文设计了终端奖励预测器 $R_\psi(\tilde{\mathbf{u}}_s, s)$ 与前置引导采样机制。针对减阻与作动能耗联合目标 $R(\hat{\mathbf{u}}_1) = \mathrm{DR}(\hat{\mathbf{u}}_1) - E_{\mathrm{act}}(\hat{\mathbf{u}}_1)$，预测器以未引导 ODE 轨迹上的中间态为输入，直接回归最终状态的标量奖励 $r_T = R(\hat{\mathbf{u}}_1)$，并采用时间斜坡加权 $w(s) = s$ 聚焦于更接近物理态的后段采样区间。在 ODE 积分步进过程中，TRG 采用前置修正（Pre-Placement）机制： $$\tilde{\mathbf{u}}_s^+ = \tilde{\mathbf{u}}_s + \gamma \delta s \nabla_{\tilde{\mathbf{u}}_s} R_\psi(\tilde{\mathbf{u}}_s, s)$$ $$\tilde{\mathbf{u}}_{s+\delta s} = \tilde{\mathbf{u}}_s^+ + \delta s \cdot v_\theta(\tilde{\mathbf{u}}_s^+, s, \mathbf{u}_0)$$ 前置修正的关键机制在于：将经过奖励梯度微调的状态 $\tilde{\mathbf{u}}_s^+$ 重新送入流匹配模型 $v_\theta$ 进行步进计算。与直接叠加在更新步之后的后置修正（Post-Placement，会引发严重的奖励作弊使 $\mathrm{DR} \to 1.0$ 并破坏物理可实现性）相比，前置修正巧妙地将 $v_\theta$ 作为隐式物理流形投影器，确保轨迹始终落在纳维-斯托克斯方程约束的物理流形内。

3. 全场目标跟踪：以空间场重构解耦强化学习与奖励工程 针对传统 DRL 直接优化空间平均标量阻力导致过度作动或作弊的缺陷，Policy-DRIFT 将 DRL 智能体的任务彻底转变为对 TRG 目标场 $\hat{\mathbf{u}}_1$ 的空间跟踪。在每个控制时域 $\Delta t^+ = 5$ 开始时由 CFM+TRG 生成下一时域的全场目标 $\hat{\mathbf{u}}_1$，在接下来的 8 个作动步内固定该目标。壁面 $N_x \times N_z$ 个分布式智能体共享轻量级 TD3 策略网络，观测离壁高度 $y^+ = 15$ 检测面处的速度脉动 $(u'^+, v'^+)$，输出局部壁面垂直吹吸速度 $v_w$。策略奖励被定义为瞬时流场与全场目标之间的负均方根误差： $$r_{\mathrm{track}} = - \|\mathbf{u} - \hat{\mathbf{u}}_1\|_{\mathrm{RMSE}}$$ 这种全场空间误差信号天然消除了标量阻力奖励的空间平均伪影，迫使智能体实现空间均匀且符合湍流相干结构的精细作动；同时，智能体部署时仅需根据壁面局部检测输入快速反应，完全无需在线调用庞大的生成模型。

损失函数 / 训练策略¶

系统训练分为生成底座预训练、奖励引导器学习以及闭环跟踪策略训练三个阶段： - CFM 速度网络损失：在混合数据集 $\mathcal{D}$ 上最小化回归均方误差： $$\mathcal{L}_{\mathrm{CFM}}(\theta) = \mathbb{E}_{(\mathbf{u}_0, \mathbf{u}_1)\sim \mathcal{D}, \boldsymbol{\eta}\sim \mathcal{N}(\mathbf{0}, \mathbf{I}), s\sim U[0, 1]} \left[ \|v_\theta(\tilde{\mathbf{u}}_s, s, \mathbf{u}_0) - (\mathbf{u}_1 - \boldsymbol{\eta})\|^2 \right]$$ 使用 AdamW 优化器，学习率 $10^{-3}$，批次大小 256，训练 500 个 epoch。 - TRG 奖励预测器损失：基于未引导 ODE 生成的 $T=25$ 个轨迹节点，以终止奖励 $r_T$ 为回归目标，使用时间斜坡加权损失函数： $$\mathcal{L}_{\mathrm{RP}}(\psi) = \mathbb{E}_i \left[ s_i \cdot (R_\psi(\tilde{\mathbf{u}}_{s_i}, s_i) - r_T)^2 \right]$$ 采用 SiLU 激活与 FiLM 时间调制，优化器为 AdamW，学习率 $10^{-4}$，批次大小 128。 - DRL 策略架构与超参：采用 TD3 算法，Actor 为仅含 1 个隐藏层（宽度 8）的极简 MLP，Critic 为 3 层 MLP（宽度 [16, 64, 64]）。重放缓冲区容量 $10^6$，批次大小 64，学习率 $10^{-4}$，在壁面实施零净质量通量（ZNMF）约束约束 $\sum v_w = 0$。

实验关键数据¶

主实验¶

在摩擦雷诺数 $Re_\tau = 180$ 的湍流槽道流直接数值模拟（DNS，Dedalus 光谱求解器）基准上，对 6 个未见测试初始场进行评估。对比方法包括经典对消控制、壁面剪切应力 DRL（TD3-WSE）、以及直接基于综合能耗收益目标训练的 TD3-WEN 与 SAC-WSE。

类别	方法	减阻率 DR (%) [Mean ± Std]	作动能耗 $E_{\mathrm{act}}$ ($\times 10^{-1}$) [Mean ± Std]	综合收益 $\bar{R}$
训练基准	对消控制 (Choi et al., 1994)	35.23 ± 10.09	0.0685 ± 0.0241	0.345
训练基准	TD3-WSE (Guastoni et al., 2023)	42.13 ± 12.71	3.6920 ± 0.0431	0.052
对比实验	Policy-DRIFT (本文)	48.95 ± 11.70	0.0990 ± 0.0711	0.480
对比实验	TD3-WEN	42.86 ± 11.77	0.0609 ± 0.0406	0.423
对比实验	SAC-WSE	32.31 ± 2.33	0.1193 ± 0.0228	0.311

消融实验¶

针对终端奖励引导强度标度 $\gamma$ 进行了系统性扫描实验，分析引导尺度对最终闭环控制减阻率与作动能耗的权衡影响。

配置 ($\gamma$)	减阻率 DR (%) [Mean ± Std]	作动能耗 $E_{\mathrm{act}}$ ($\times 10^{-1}$) [Mean ± Std]	说明
$\gamma = 5$ (默认)	48.95 ± 11.70	0.0990 ± 0.0711	最佳平衡配置，实现接近理论极限的极高减阻
$\gamma = 10$	47.22 ± 10.61	0.1549 ± 0.1104	引导力度增大，能耗微升而减阻略有回落
$\gamma = 20$	36.58 ± 7.18	0.0419 ± 0.0140	强能耗惩罚使轨迹偏离高减阻模态，减阻大幅衰减 12.4%
$\gamma = 30$	35.66 ± 6.78	0.0533 ± 0.0165	过度引导使生成目标过分保守，性能退化至对消控制水平

关键发现¶

减阻与能耗的全面解耦：Policy-DRIFT 相比前人 SOTA DRL 控制器（TD3-WSE）实现了减阻率从 42.13% 到 48.95% 的跃升（相对提升 16.2%），同时壁面作动能耗降低了约 37 倍（$E_{\mathrm{act}}$ 从 3.692 骤降至 0.099），综合收益 $\bar{R}$ 提升达 9.2 倍。
彻底规避直接策略梯度惩罚的弊端：直接以综合成本目标 $DR - E_{\mathrm{act}}$ 训练的 TD3-WEN 仅获得 42.86% 的减阻率；其 critic 更新在每个时间步被能耗惩罚主导，导致策略盲目全局减小吹吸振幅。Policy-DRIFT 通过在物理流形上选定高收益目标，使节能特性从目标场内在结构中自然涌现。
物理相干结构重构机制：通过在 $y^+ \approx 15$ 平面分析雷诺应力脉动联合概率密度分布 $(u'^+, v'^+)$，无控流动具有明显的猝发抛出（Ejection, $Q_2$）与下扫（Sweep, $Q_4$）长尾。TD3-WSE 因过度作动呈现双峰 $v'^+$ 畸变，而 Policy-DRIFT 在抑制 $Q_2/Q_4$ 关键阻力事件的同时，维持了紧凑规整的壁面脉动分布。

亮点与洞察¶

将奖励引导置于推断端：颠覆了传统强化学习“奖励直接指导策略参数更新”的范式，通过把奖励转化为流匹配生成轨迹上的导向力，彻底解决了复杂物理系统中代理奖励函数设计与多目标权衡时的病态梯度冲突。
前置修正作为隐式流形投影器：TRG 巧妙利用流匹配网络本身对带扰动状态的演化去噪能力，将简单的欧氏空间梯度扰动自适应拉回符合 Navier-Stokes 方程约束的相空间，避免了传统分类器引导在连续物理场生成中的发散和作弊。
两阶段解耦带来落地可行性：生成模型仅用于提供高价值宏观物理目标，在线部署侧的执行器仍由输入极小、仅有 8 个神经元的微型 MLP 担任，完全规避了在实时飞行器或管道控制中在线推断扩散/流匹配大模型的严苛算力瓶颈。

局限与展望¶

雷诺数限制：目前验证环境限定于中等雷诺数槽道流（$Re_\tau = 180$），在更高雷诺数或复杂曲面边界层（如飞机机翼全机绕流）中，多尺度湍流旋涡结构的尺度分离更为极端，CFM 的表征与推断成本将显著增加。
全场状态观测依赖：在构建 CFM 与训练 TRG 时仍需全场速度快照数据；未来若结合基于稀疏壁面传感器（如壁面压力与剪应力传感器）的状态重构网络，将进一步打通数字孪生与实验风洞闭环。
在线自适应潜力：目前的奖励预测网络 $R_\psi$ 为离线训练，流动工况变化时无法动态调整，引入在线适应式流形更新或测试时自适应将是重要发展方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将流匹配模型与终端奖励引导引入 PDE 湍流主动控制，颠覆了 DRL 的标量奖励范式]
实验充分度: ⭐⭐⭐⭐⭐ [从高保真 DNS 仿真、闭环控制性能、引导尺度消融到相空间物理机理分析全面严密]
写作质量: ⭐⭐⭐⭐⭐ [逻辑架构清晰连贯，数学推导完备，物理意义阐释深入透彻]
价值: ⭐⭐⭐⭐⭐ [为流体力学及核聚变、等离子体控制等高维复杂物理系统的强化学习控制提供了划时代的全新解法]

配置 (\(\gamma\))	减阻率 DR (%) [Mean ± Std]	作动能耗 \(E_{\mathrm{act}}\) (\(\times 10^{-1}\)) [Mean ± Std]	说明
\(\gamma = 5\) (默认)	48.95 ± 11.70	0.0990 ± 0.0711	最佳平衡配置，实现接近理论极限的极高减阻
\(\gamma = 10\)	47.22 ± 10.61	0.1549 ± 0.1104	引导力度增大，能耗微升而减阻略有回落
\(\gamma = 20\)	36.58 ± 7.18	0.0419 ± 0.0140	强能耗惩罚使轨迹偏离高减阻模态，减阻大幅衰减 12.4%
\(\gamma = 30\)	35.66 ± 6.78	0.0533 ± 0.0165	过度引导使生成目标过分保守，性能退化至对消控制水平