Reflective Prompted Policy Optimization: Trajectory-Grounded Revision and Salience Bias¶

会议: NeurIPS 2026
arXiv: 2605.08315
论文: https://arxiv.org/abs/2605.08315
代码: https://github.com/HWUDLabAIRoboticsResearch/R2PO
领域: LLM 其他
关键词: 大语言模型策略优化, 提示策略搜索, 轨迹级反馈, 显著性偏差, 两阶段反思机制

一句话总结¶

针对黑盒大语言模型策略优化仅依赖标量奖励而缺乏行为诊断信号的问题，本文提出了结合轨迹诊断与全局搜索的两阶段策略优化框架 R2PO，揭示并系统缓解了多轨迹诊断中的“显著性偏差”，在十个强化学习基准上大幅提升了策略搜索速度与训练稳定性。

研究背景与动机¶

将大语言模型（LLM）作为黑盒优化器进行策略搜索，已成为连接自然语言推理与序列决策控制的一条新兴路径。传统的强化学习算法往往需要极其细致的超参数调优，并在环境中消耗数百万步交互样本才能收敛，且对微小的实现差异异常敏感。相比之下，近期诸如 OPRO 与 ProPS 等提示策略搜索方法直接将历史“参数-标量奖励”对输入到 LLM 的上下文中，依靠上下文学习（In-Context Learning）提出新的策略参数，彻底省去了手工设计优化算法与反向传播梯度的复杂流程。

然而，现存的 LLM 策略优化器完全局限在标量奖励反馈上。这种极端压缩的信号只能告诉优化器当前策略获得了 $0.45$ 分，却无法提供任何因果归因信息：智能体究竟是陷入了死循环、在第三步掉进了冰窟窿，还是在绝大部分试验中表现优异却仅因偶发噪声遭遇了一次灾难性失败。这种缺乏行为证据的反馈机制，使得语言模型的优化退化为盲目的数值试错与试探，无法针对具体执行缺陷进行定向修复与微调。

若简单将智能体在环境中的执行轨迹直接塞入 Prompt 供模型审视，又极易诱发严重的病态调整——论文研究发现，当给模型提供多条轨迹时，它会不可遏制地将注意力锚定在表现最差的偶发失败轨迹上，从而破坏已经近乎收敛的优秀参数。本文的核心 idea 是：将策略优化拆解为「全局搜索」与「轨迹级诊断修复」两阶段流水线，通过中位数代表轨迹、全量聚合统计量以及自适应保留规则构建校准的证据包以阻断显著性偏差，并辅以择优机制实现高鲁棒的策略迭代。

方法详解¶

整体框架¶

R2PO（Reflective Prompted Policy Optimization）构建了一个由两个分工明确的 LLM 角色协作闭环系统。全局搜索器 Search-LLM 仅接收紧凑的“参数-标量平均奖励”历史回放缓冲区，负责在紧凑策略空间（针对连续动作的线性策略或离散任务的表格策略）中提议探索候选点；环境在执行该候选参数若干轮（$K$ 轮 rollout）后，不仅返回均值标量奖励，还记录完整的状态-动作-奖励轨迹集合；轨迹反思器 Critic-LLM 随后检视经过统计校准的轨迹证据包，针对典型执行瓶颈给出针对性的参数修订方案；最后通过择优选择（keep-best selection）门控比较原始与修订参数的真实回报，仅保留更优者进入下一轮历史。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["历史标量回放缓冲 H_t<br/>{(θ_i, R_i)}"] --> B["阶段 1：Search-LLM 全局参数提议"]
    B --> C["环境多轮采样执行 Eval(θ_init, K)<br/>产出标量均值与 K 条完整轨迹"]
    C --> D["构建校准轨迹证据包<br/>中位数轨迹 + 统计摘要 + 保留准则"]
    D --> E["阶段 2：Critic-LLM 轨迹级反思修复"]
    E --> F["环境重新评测 Eval(θ_rev, K)"]
    F --> G{"择优门控选择<br/>R_rev ≥ R_init ?"}
    G -->|是| H["采纳修订参数 θ_rev"]
    G -->|否| I["保留初始参数 θ_init"]
    H --> J["更新回放缓冲 H_t+1"]
    I --> J

关键设计¶

1. 两阶段功能解耦：全局空间探索与局部行为诊断的职责分离

直接让单一模型同时面对长文本轨迹与全局参数演化历史，极易造成上下文注意力分散与数值推导混乱。R2PO 显式将优化划分为宏观探索与微观修复两个独立阶段。Search-LLM 扮演宏观优化器，输入仅包含历史参数与对应的标量平均奖励 $H_t = \{(\theta_i, \bar{R}_i)\}_{i=1}^{t-1}$，促使其专注于在统一尺度上拟合参数响应面并提出全局候选 $\theta_t^{(0)}$。Critic-LLM 则专注于局部行为的因果归因，接收任务环境描述、当前候选参数 $\theta_t^{(0)}$ 及结构化的执行证据，专门负责识别当前策略在动力学交互中的具体操作盲区并输出调整偏移量 $\theta_t^{(1)}$。两者虽使用相同的开源基础模型（如 gpt-oss:20B），但通过提示词分工彻底隔绝了全局排名与局部诊断的上下文干扰。

2. 证据校准三元组：抑制多轨迹反思中的显著性偏差

直觉上向 Critic-LLM 提供更多轨迹样本有助于模型更全面地理解策略行为，但实验揭示出严重的“显著性偏差（Salience Bias）”：当模型同时看到最优、最差与中位数轨迹时，其注意力会被生动、极端的失败轨迹强烈捕获，误将概率仅为 $5\%$ 的小概率偶发失误判定为系统性缺陷，进而大幅度修改已经近乎最优的参数。为消除这一偏差，R2PO 提出了三元校准证据包： - 中位数代表轨迹：从 $K$ 次采样中挑选回报最接近经验中位数的单条轨迹 $\tau^*$ 作为上下文示例，精准刻画典型策略模式，物理阻断极端异常值的视觉锚定。 - 全量聚合统计量：将全部 $K$ 条轨迹压缩为结构化统计表格，包括奖励极值/均值、回合步长极值/均值以及任务成功率与失败率，使 Critic-LLM 在不直面极端失败记录的前提下，具备判断“当前失败究竟是普遍缺陷还是偶发扰动”的宏观认知。 - 自适应保留准则：在 Prompt 中引入基于环境最优回报参考的有条件弃权指令。当初始回报 $\bar{R}_t^{(0)} \ge \tau_c$ 且统计分布显示整体运行健康时，强制模型保持参数不变或仅允许微小扰动，防止对高回报策略进行强迫性重写。

3. 闭环择优评估：对冲语言模型数值幻觉与过度修正

由于大语言模型在输出精确浮点数时存在固有的数值幻觉，即便 Critic-LLM 的自然语言推理逻辑完全正确（例如识别出倒立摆在角速度过大时需要增强反向推力），其生成的具体参数数值仍可能破坏控制闭环的稳定性。R2PO 在两阶段之间设置了硬性择优验证机制： $$ \theta_t = \begin{cases} \theta_t^{(1)} & \text{if } \bar{R}_t^{(1)} \geq \bar{R}_t^{(0)}, \ \theta_t^{(0)} & \text{otherwise.} \end{cases} $$ 未通过实测验证的破坏性修复会被无情丢弃，仅保留带来性能提升或维持同等水平的更新进入历史缓冲。这一后验过滤不仅兜底了 LLM 的破坏性修订，还为 Critic-LLM 提供了敢于尝试更激进针对性微调的容错空间。

一个完整示例¶

以经典的平衡小车倒立摆 CartPole-v1 为例，说明各模块如何协作避免破坏性优化：在一次迭代中，Search-LLM 提出的参数 $\theta^{(0)}$ 在环境评估 $K=20$ 次后获得了 $\bar{R}^{(0)} = 490.15$ 的优异回报。此时全量聚合统计量明确标注：$19/20$ 次采样均达到了满分 $500.00$ 步，仅有 $1$ 次因偶发初始状态偏差提前在 $303$ 步终止；所选出的中位数轨迹回报为完整的 $500$ 步。由于该环境设定的保留阈值 $\tau_c = 480$，保留规则触发。Critic-LLM 结合中位数轨迹的稳健表现与聚合统计，判定该策略整体极佳、仅存在单次小概率摆角推力轻微欠冲，因此仅仅将控制左推小车速度分量的参数从 $5.5$ 精细微调至上限 $6.0$ 并保留其余全部权重。重新评估后回报提升至 $493.70$，择优门控判定通过并写入回放缓冲。若在对照的未校准方案中，模型直面那次 $303$ 步的失败细节，则会误判系统摆动过激，强行改动多达 $5$ 项核心参数，最终导致灾难性退化为不可用策略。

损失函数 / 训练策略¶

R2PO 为纯无梯度（In-Context Policy Search）范式，模型参数在全过程中冻结。训练交互协议如下： - 评估预算对齐：每个评估阶段执行 $K=20$ 次独立随机环境交互计算均值与统计量。在总计 $4{,}000$ 环境回合与 $200$ 次 LLM 调用预算下，两阶段方法运行 $T=100$ 次外层迭代（每次迭代消耗 2 次 LLM 调用与 $2K=40$ 回合交互），基线单阶段方法运行 $2T=200$ 次迭代。 - 推理基座与超参：采用开源权重模型 gpt-oss:20b-cloud。连续动作任务的线性策略参数搜索范围统一限定在 $[-6.0, 6.0]$（步长软上界设定为 $1.0$）；离散动作任务则直接预测离散查找表。保留阈值 $\tau_c$ 依据环境理论上界或经验上限先验配置（例如 CartPole 为 $480$、Pong 为 $2.8$、Nim 为 $0.95$、Swimmer 为 $230$）。

实验关键数据¶

主实验¶

论文在涵盖连续控制与离散动作、确定性与随机动力学的 10 个代表性强化学习环境（包含 Gym 经典控制、MuJoCo 物理仿真及自定义博弈环境）中进行了评测，每种配置进行 10 次独立随机运行。下表展示了全训练周期平均回报（Mean Reward，反映优化速度与稳定性）和历史最高平均回报（Mean Best Reward，反映策略寻优上限）的对比：

环境 (Environment)	指标	R2PO (本文)	ProPS+ (前SOTA)	Best SB3 强化学习基线	提升与对比结论
CartPole-v1	平均回报 / 最高	474.67 ± 16.90 / 500.0	253.06 ± 133.35 / 396.21	216.92 ± 63.34 / 490.76 (TRPO)	平均回报提升 +87.6%，稳定性大幅改善
InvertedPendulum-v5	平均回报 / 最高	756.08 ± 154.50 / 1000.0	309.52 ± 247.92 / 657.88	24.35 ± 0.13 / 28.49 (TRPO)	均值大幅超越 baseline，达到满分 1000
Swimmer-v5	平均回报 / 最高	260.35 ± 36.05 / 294.57	162.05 ± 66.07 / 274.86	44.60 ± 7.30 / 67.89 (TRPO)	物理仿真表现优异，收敛平稳
Pong	平均回报 / 最高	2.51 ± 0.21 / 3.00	1.22 ± 0.58 / 2.78	1.02 ± 0.74 / 2.33 (PPO)	均值回报翻倍，达到理论上限 3.0
MountainCarContinuous-v0	平均回报 / 最高	81.61 ± 5.18 / 98.75	17.90 ± 37.48 / 98.70	82.33 ± 2.57 / 94.81 (SAC)	与强力深度强化学习算法 SAC 统计打平
MountainCar-v0	平均回报 / 最高	-147.84 ± 7.11 / -111.04	-195.81 ± 3.73 / -150.21	-199.99 ± 0.02 / -197.47 (DQN)	稀疏奖励下快速突破局部极小值
InvertedDoublePendulum-v5	平均回报 / 最高	158.51 ± 68.41 / 254.04	86.71 ± 17.70 / 128.81	86.04 ± 0.33 / 98.25 (TRPO)	复杂双摆均值与最高回报均近翻倍
FrozenLake-v1	平均回报 / 最高	0.62 ± 0.07 / 0.93	0.37 ± 0.06 / 0.90	0.02 ± 0.02 / 0.12 (TRPO)	随机冰面离散规划显著优于传统 RL
Nim	平均回报 / 最高	0.61 ± 0.03 / 1.00	-0.25 ± 0.07 / 1.00	0.01 ± 0.32 / 0.88 (A2C)	离散博弈任务实现稳定必胜
Maze	平均回报 / 最高	0.83 ± 0.06 / 0.97	0.76 ± 0.05 / 0.97	0.83 ± 0.13 / 0.97 (A2C)	迷宫导航快速收敛至最优路径

消融实验¶

为验证各组件的必要性以及探索轨迹证据的最优呈现形式，论文设计了严格控制交互与 LLM 预算的消融变体（10 次独立运行全周期平均回报对比）：

实验变体配置	机制特性说明	CartPole 均值回报	Pong 均值回报	Swimmer 均值回报	InvertedPendulum
R2PO (完整方法)	中位数轨迹 + 统计摘要 + 规则 + 择优	474.67 ± 16.90	2.51 ± 0.21	260.35 ± 36.05	756.08 ± 154.50
PureSearch	仅 Search-LLM 提议两次并择优（同算力无轨迹）	337.72 ± 156.62	0.86 ± 0.49	131.48 ± 78.68	466.08 ± 357.96
ActorSecondPass	双阶段串行优化，但二阶段仅见标量无轨迹	305.04 ± 123.88	1.03 ± 0.82	111.89 ± 96.37	480.08 ± 324.97
CriticOnly	单次调用内完成自我批判修订（仅见环境描述与标量）	418.23 ± 45.36	2.06 ± 0.58	55.19 ± 58.55	126.63 ± 123.89
AlwaysCritic	两阶段 + 单条典型轨迹，但强制采纳修订不择优	377.65 ± 85.88	1.86 ± 0.55	111.45 ± 54.50	141.41 ± 228.65
RepTraj	两阶段 + 单条代表轨迹 + 择优（无聚合统计与规则）	416.15 ± 88.71	2.20 ± 0.41	170.04 ± 68.11	380.19 ± 213.27
ThreeTraj	两阶段 + 最优/最差/中位三条轨迹 + 择优（显著性偏差测试）	432.08 ± 59.56	1.83 ± 0.79	109.56 ± 75.57	194.25 ± 235.22

关键发现¶

双阶段与轨迹证据不可替代：单纯加倍调用次数（PureSearch、ActorSecondPass）在多个复杂任务上表现极其贫弱；哪怕在单阶段 Prompt 中塞入丰富的批判指引（CriticOnly），在 Swimmer 和倒立摆等连续物理任务上也发生大幅跳水，证明必须由解耦的第二阶段实际读取执行层面的具体物理状态变化。
显著性偏差的定量实证：在 ThreeTraj 配置中，虽然模型同时看到了 3 条轨迹，但其平均单步提升幅度（CartPole 上 +5.6，Pong 上 +0.16）却远劣于仅看单条中位轨迹的 RepTraj（分别为 +16.0 和 +0.64）。文本推理分析显示，在 CartPole 的全部 304 次性能倒退中，有高达 76.6%（233 次）直接归因于模型将注意力锚定在极度低劣的异常轨迹上导致的误诊与过度重构。
轻量开源模型的超越性：R2PO 使用 20B 开源模型在 4,000 回合下的平均最优表现，全面超越了使用 GPT-4o 且交互预算翻倍（8,000 回合）的 ProPS+ 原生实现，且在 CartPole 上仅需约 500 个交互回合即可达到满分，收敛速度比传统深度强化学习快近一个数量级。

亮点与洞察¶

将轨迹提升为一等上下文证据：打破了过去 LLM 仅能充当标量黑盒优化器的固有范式，证明即便紧凑的参数空间，LLM 也能凭借具体时空轨迹（如特定时刻的速度突变或死循环）进行精准因果归因与定向控制面微调。
首次揭示并治理多样本决策中的显著性偏差：指出了语言模型在面对多条轨迹反馈时极易被鲜艳的极端个案“带偏”的认知缺陷，提出了以“中位数物理采样 + 宏观统计数值分布”替代“全量多轨迹原始堆叠”的轻量化证据呈现方案。
极佳的工程通用性与即插即用价值：无需反向传播梯度与特定奖励工程，利用无梯度的上下文自反思与择优过滤，为机器人底层 PID/线性控制器及小规模状态机策略的在线调试提供了极低算力成本的高效优化范式。

局限与展望¶

策略表示维度的可扩展性瓶颈：目前框架主要验证于低维紧凑策略类（线性控制器与离散表格）。高维深层神经网络参数无法完整放入上下文窗口，未来需要探索低秩分解映射或分层/组合式控制架构。
保留准则阈值的先验依赖：用于抑制近最优策略过度修订的保留阈值 $\tau_c$ 仍需基于环境回报尺度粗略指定。未来亟待基于动态累积经验自适应推断置信度，实现无人工先验的自主校准。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将轨迹诊断引入 LLM 策略参数搜索，并敏锐发掘且有效解决了反思中的显著性偏差。
实验充分度: ⭐⭐⭐⭐⭐ 跨 10 个典型基准的全面对比，包含精细严密的消融拆解、失败模式定性/定量归因以及显著性检验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨连贯，从痛点阐述到机制剖析层层递进，消融对比与机制分析极具说服力。
价值: ⭐⭐⭐⭐☆ 为黑盒控制策略优化开辟了高效、稳定且可解释的新路径，对语言智能体优化物理控制极具启发。