Natural Language Actor-Critic: Scalable Off-Policy Learning in Language Space¶

会议: NeurIPS 2026
arXiv: 2512.04601
领域: LLM / NLP
关键词: 强化学习、Actor-Critic、大语言模型智能体、离策略学习、语言值函数

一句话总结¶

提出自然语言 Actor-Critic（NLAC）算法，利用生成式语言模型构建自然语言 Critic，通过单步语言贝尔曼备份实现紧凑未来摘要的离策略值函数学习，并通过动作自反思与蒸馏实现策略提升，显著提高了多轮复杂交互智能体的样本效率与稳定性。

研究背景与动机¶

大语言模型智能体（LLM Agents）在多轮对话、工具调用与长程推理等复杂决策场景中展现出巨大潜力，但其性能高度依赖有效的策略微调。在长程决策环境中，环境反馈往往极为稀疏且存在严重的信用分配难题。传统的策略梯度方法（如 PPO、GRPO）高度依赖在线蒙特卡洛采样与大范围探索，训练过程极易出现方差过大、策略崩溃以及样本效率低下的问题。经典强化学习中的 Actor-Critic 架构通过引入 Critic 估计状态-动作价值函数，提供了更密集的训练信号并天然支持离策略（off-policy）学习，但在语言智能体任务上收效甚微。

现有 Actor-Critic 在语言策略上的核心症结在于标量值函数的表达瓶颈。标量 Q 值将高维、结构丰富且包含复杂故障模式的文本动作空间暴力压缩为一个单一实数，既丢失了动作失败的具体因果解释，又无法为语言策略的后续调整提供明确的方向性指导。近期提出的自然语言强化学习（NLRL）尝试直接在文本空间构建价值函数，但其高度依赖在上下文中拼接多条在线完整轨迹进行聚合评估，并在动作空间进行暴力枚举。随着任务交互轮次增加与环境转移变复杂，上下文窗口迅速耗尽，计算开销呈爆炸式增长，导致方法只能局限在极简的网格导航任务中，缺乏泛化性与可扩展性。

面对标量 Critic 语义贫乏与现有语言 Critic 依赖在线上下文聚合的两难困境，本文探索如何将经典时序差分（TD）自举机制引入语言空间。核心 idea：将 Critic 建模为语言后继模型以生成紧凑的未来轨迹摘要，提出单步转移的语言贝尔曼备份（Language Bellman Backup）实现全离线、可扩展的语言值函数学习，并借助反思策略将语言评价直接蒸馏回基座策略，彻底摆脱在线轨迹采样与动作枚举。

方法详解¶

整体框架¶

NLAC 延续了经典 Actor-Critic 的两阶段交替迭代范式（策略评估与策略提升），但将整个流程完全迁移至自然语言语义空间中执行。在策略评估阶段，算法不回归标量数值，而是训练一个语言后继模型 $M^\pi$，使其接收当前状态与动作并生成未来轨迹的紧凑文本摘要及预期回报；基于单步转移环境经验与目标网络的自举预测，通过最小化语言贝尔曼备份（Language Bellman Backup）目标完成离策略更新，进而由语言评估器生成具有因果解释力的文本评判 $Q_L^\pi$。在策略提升阶段，算法放弃在组合爆炸的 Token 空间枚举动作，而是利用大语言模型本身的理解与推理能力，以文本评判作为提示词输入反思策略（Refinement Policy），自适应生成修正后的高价值动作，最终通过自蒸馏将优化行为迁移回主策略。

整个系统由同一个底层预训练大模型参数化，通过不同的提示词模板分别承载基座策略、后继预测、贝尔曼备份目标构建、语义评判与动作反思。整体架构与数据流向如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境转移样本<br/>(s_t, a_t, r_t, s_t+1) ∈ D"] --> B["单步语言贝尔曼备份<br/>结合即时转移与自举未来摘要"]
    B --> C["语言后继模型与评判更新<br/>逆向 KL 散度拟合未来轨迹分布"]
    C --> D["语义评判生成 Q_L<br/>输出因果归因与改进建议文本"]
    D --> E["动作自反思策略 π^r<br/>基于 Q_L 引导修正原动作 a_t"]
    E --> F["策略自蒸馏提升<br/>最小化修正动作负对数似然"]

关键设计¶

1. 语言后继模型与单步贝尔曼备份：基于时序差分的离线语言值函数学习 以往语言强化学习方法必须在上下文中拼接多条完整的在线 Monte-Carlo 轨迹才能评估动作，导致显存随交互长度激增且无法复用历史离线数据。为此，NLAC 引入语言后继模型 $M^\pi(\cdot \mid s_t, a_t)$，它接收交互历史状态 $s_t$ 与动作 $a_t$，概率性输出该策略在未来产生完整轨迹 $(s, a)_{t+1:T}$ 及终端回报 $r(s_T)$ 的结构化紧凑摘要。为了在无需完整轨迹的前提下训练该模型，本文受分布式强化学习启发，提出了单步语言贝尔曼备份算子 $\mathcal{B}_L$： $$\mathcal{B}_L M^\pi(d_t \mid s_t, a_t) = \text{Pr}\Big[d_t = B\big(r(s_t, a_t), s_{t+1}, a_{t+1}, d_{t+1}\big) \ \Big|\ s_{t+1}, a_{t+1}, d_{t+1}\Big]$$ 其中 $s_{t+1}, a_{t+1} \sim P^\pi(\cdot \mid s_t, a_t)$，而未来摘要 $d_{t+1} \sim M^\pi(\cdot \mid s_{t+1}, a_{t+1})$ 由后继模型自举生成。函数 $B$ 负责将即时转移与自举预测拼接，并通过提示词对未来部分进行“语义贴现”，优先凸显单步即时状态的影响。模型通过最小化逆向 KL 散度进行训练，利用指数移动平均（EMA）目标网络参数 $\bar{\theta}$ 消除自激循环并防止文本生成崩溃。由于仅需单步三元组 $(s_t, a_t, r_t, s_{t+1})$，这一过程可完全离线从重放缓冲区中执行。

2. 文本语义评判与后继特征映射：细粒度信用分配与理论收敛保证 标量 Critic 无法向生成模型解释“为何差”与“如何改”，而语言评估器 $E$ 接收 $s_t, a_t$ 以及由后继模型采样的 $k$ 条未来摘要预测 $d_t^{(1)}, \dots, d_t^{(k)}$，在上下文中综合分析不同未来分支的期望结果，最终输出自然语言评判文本 $Q_L^\pi(s_t, a_t)$。该评判不仅定性评估动作优劣，更明确阐述违背了何种环境约束或长期目标。理论上，论文将语言 Critic 在隐空间解码的表征 $\Phi^\pi(s_t, a_t)$ 严格映射到强化学习中的后继特征（Successor Features）。定理 4.5 证明：若即时奖励满足线性特征表示 $r(s, a) = \phi(s) \cdot w$，且语言贝尔曼备份在特征空间保持凸组合，则在收敛时存在单调映射 $g$，使得真实标量 Q 值严格等价于语言评判的隐式效用 $Q^\pi(s, a) = g(Q_L^\pi(s, a))$。这一结论在理论上将文本空间的值学习与经典策略迭代的收敛性闭环连接。

3. 动作自反思与策略蒸馏更新：规避组合爆炸的离策略优化 在以整个词表序列为动作空间的文本任务中，通过贪婪枚举求解 $\arg\max_{a'} Q_L(s, a')$ 计算上不可行；随机采样多个动作并按分数重排的策略也因样本覆盖率过低而效率极低。NLAC 巧妙利用大模型对因果反馈的指令遵循能力，构造反思策略 $\pi^r(a_t^r \mid s_t, a_t, Q_L^\pi(s_t, a_t))$。当 Critic 指出动作缺陷与建议后，反思策略能够在单轮（$m=1$）条件生成中直接输出具有更优语言价值的目标动作 $a_t^r$。为了将这种反思能力固化到执行策略中，算法将策略提升表述为对反思动作的有监督自蒸馏目标： $$\mathcal{L}_2(s_t, k) = -\log \pi_\theta(a_t^r \mid s_t)$$ 基座策略直接拟合高阶教师分布，使得智能体在推理测试阶段无需调用高昂的 Critic 即可直接生成修正后的高质量动作，实现了高效、稳定的单阶段快速推断。

一个完整示例¶

以 $\tau$-bench 真实零售客服任务中典型的“复合换货请求”为例，展示 NLAC 的诊断与自我修正机制：

当前状态 $s_t$ 与初始动作 $a_t$：用户提出“我想办理两件商品的退换，第一件是黑色运动鞋...”。根据业务规则，智能体在整个对话会话中对数据库的修改接口 modify_order 仅允许调用一次。基座模型输出动作 $a_t$：直接调用 modify_order(item="sneakers") 提交了第一件商品的修改。
语言后继预测 $d_t$：后继模型 $M_\theta$ 根据单步状态结合历史自举，预测未来轨迹：“在后续轮次中用户将要求修改第二件商品，但由于系统已触发单次写库上限，智能体将因权限受阻而无法完成后续操作，最终任务失败，预期回报 $r(s_T)=0$。”
语言评判 $Q_L^\pi$：评估器输出具有明确归因的文本批注：“【次优动作】违反业务规则。modify_order 在每个会话中仅能执行一次。此时过早调用该工具将导致无法处理用户后续提及的其余换货项目。正确做法应先收集全部退换清单，最后发起单次批量调用。”
动作自反思 $a_t^r$：反思策略 $\pi^r$ 结合当前状态与 $Q_L$，生成优化动作：“好的，没问题。为了为您一次性办理完毕，请问您需要退换的另一件商品是什么呢？”
策略更新：基座策略计算对 $a_t^r$ 的交叉熵损失更新参数，在后续测试中直接习得合规的批量收集行为，避免了传统 RL 需要经历数百次失败试错才能探索出该时序约束的问题。

损失函数 / 训练策略¶

NLAC 训练包含值评估与策略改进两个核心损失： 1. 语言 Critic 损失 $\mathcal{L}_1$：在经验回放池 $\mathcal{D}$ 采样的单步转移样本 $(s_t, a_t, r_t, s_{t+1})$ 上，最小化自举目标与预测的 KL 散度： $$\mathcal{L}_1(s_t, a_t, s_{t+1}) = D_{\text{KL}}\left(\mathcal{B}_L M_{\bar{\theta}}(\cdot \mid s_t, a_t) \parallel M_\theta(\cdot \mid s_t, a_t)\right)$$ 采用逆向 KL 散度以保证未来可能轨迹的多样性覆盖，目标网络采用 EMA 平滑更新 $\bar{\theta} \leftarrow \tau \theta + (1-\tau)\bar{\theta}$（超参数 $\tau=0.005$）。 2. 策略提升损失 $\mathcal{L}_2$：在反思动作上计算自蒸馏交叉熵损失： $$\mathcal{L}_2(s_t, k) = -\log \pi_\theta(a_t^r \mid s_t)$$ 总优化梯度为 $\theta \leftarrow \theta - \lambda_1 \nabla_\theta \mathcal{L}_1 - \lambda_2 \nabla_\theta \mathcal{L}_2$。 3. 关键训练细节： - 优先经验回放（PER）：采用 Critic 损失 $\mathcal{L}_1$ 的大小对重放样本进行加权采样（$\alpha=0.1$），将梯度重点分配给智能体容易犯错或价值不确定的次优转移步。 - 思维链污染校正（CoT Correction）：对于具有隐式 CoT 推理的模型，由于反思输入包含了 Critic 的评判文本，蒸馏时通过提示词对反思的 CoT 进行后处理，剔除泄露的评判与未来真实状态信息，确保基座策略学到的是自洽的原生推理逻辑。

实验关键数据¶

主实验¶

论文在三个代表性长程决策基准上进行评测：MATH500-Hard（单步数学难题）、20 Questions（20Q 战略性多轮猜词游戏）、$\tau$-bench（融合复杂规则、对话与 API 调用的零售及航空客服场景）。评测对比了零样本 ReAct Prompting、拒绝采样微调（RFT）、标准在线强化学习（PPO、GRPO）以及自然语言强化学习基线（NLRL），模型规模覆盖 7B（Qwen2.5-7B-Instruct）与 32B（QwQ-32B）。各方法在 64 张 H20 GPU 上统一训练 30,720 步，汇报 3 次独立运行的平均结果。

基座模型	训练范式 / 方法	MATH500-Hard 准确率 (%)	20Q 胜率 (%)	$\tau$-bench Retail 成功率	$\tau$-bench Airline 成功率 (泛化)
GPT-5	Zero-Shot ReAct	80.8	30.2	0.44	0.32
Qwen2.5-7B-Instruct	RFT (拒绝微调)	49.8	12.6	0.21	0.13
Qwen2.5-7B-Instruct	PPO (标量 Critic)	52.3	17.2	0.31	0.14
Qwen2.5-7B-Instruct	GRPO (组相对策略优化)	52.5	18.4	0.32	0.11
Qwen2.5-7B-Instruct	NLRL (上下文轨迹聚合)	53.4	25.8	0.25	0.16
Qwen2.5-7B-Instruct	NLAC (本文方法)	56.2	26.0	0.42	0.22
QwQ-32B (推理特化)	RFT (拒绝微调)	69.4	22.0	0.35	0.29
QwQ-32B	PPO (标量 Critic)	73.4	24.0	0.52	0.41
QwQ-32B	GRPO (组相对策略优化)	71.8	25.6	0.49	0.39
QwQ-32B	NLRL (上下文轨迹聚合)	71.5	31.8	0.44	0.31
QwQ-32B	NLAC (本文方法)	72.7	32.1	0.56	0.43

消融实验¶

为了单独验证“语言后继值函数学习”与“基于评判的自反思蒸馏”两大核心贡献的有效性，论文设置了两套严格的消融变体： 1. Self-Distillation：移除语言 Critic，反思策略直接依赖上下文中采样的 4 条在线 Monte-Carlo 历史轨迹进行提示自修正（类似 Reflexion 范式）。 2. NLQL：保留语言后继值函数学习，但放弃自反思策略，退化为类似 Q-learning 的机制——在每个状态随机采样 4 个动作候选，并仅将文本评判情感最积极的动作蒸馏入策略。

模型基座	算法变体配置	20Q 胜率 (%)	$\tau$-bench Retail 成功率	$\tau$-bench Airline 泛化成功率	说明与核心差异
Qwen2.5-7B	NLAC (Full)	26.0	0.42	0.22	完整模型：语言后继 Critic + 自反思蒸馏
Qwen2.5-7B	w/o Language Critic (Self-Distill)	12.4	0.24	0.14	移除值学习，仅凭 4 条完整轨迹上下文自纠错
Qwen2.5-7B	w/o Refinement Policy (NLQL)	24.2	0.29	0.19	移除反思，通过离散采样 4 个动作做语言重排
QwQ-32B	NLAC (Full)	32.1	0.56	0.43	完整模型：高阶推理基座下的协同效果
QwQ-32B	w/o Language Critic (Self-Distill)	26.8	0.35	0.29	复杂长程交互下长轨迹直接提示效果显著衰退
QwQ-32B	w/o Refinement Policy (NLQL)	31.4	0.51	0.36	随机候选空间探索能力不足，劣于反思生成

关键发现¶

复杂长程任务增益显著：在多轮对话与工具调用任务中，NLAC 大幅超越经典强化学习。在 7B 模型上，NLAC 在 $\tau$-bench Retail 上相比 PPO 取得 35.5% 相对提升（0.42 vs 0.31），在未见过的 Airline 泛化任务上取得 57.1% 相对提升（0.22 vs 0.14），甚至逼近或超越了参数量大数倍的未微调 GPT-5。
单步数学推理与经典方法的边界：在 MATH500-Hard 这类单步无状态转移任务中，NLAC 退化为利用生成式语言回报模型指导重写，此时 PPO 凭借直接针对最终标量答案优化的优势略微占优（QwQ-32B 上 73.4% vs 72.7%），证明 NLAC 的核心威力在于解决多步动态环境下的长程信用分配。
样本利用效率大幅提升：收敛曲线表明，NLAC 达到最优性能所需的梯度更新步数显著低于 PPO，印证了自然语言空间中的因果解释信号能够直接提供高效的策略更新梯度，避免了纯随机标量探索的大量样本浪费。
NLRL 在复杂任务中的崩溃机制：NLRL 在 20Q 任务表现尚可，但在规则繁复的 $\tau$-bench 上表现极差（7B 仅 0.25）。质性分析发现，由于有限的上下文无法充分建模复杂动态，加上指令微调模型固有的“阿谀奉承（Sycophancy）”倾向，NLRL 生成的评判几乎全是无意义的正面评价，完全丧失了指导策略改动的鉴别力。

亮点与洞察¶

语言空间的贝尔曼自举：打破了过去语言强化学习“要么标量 TD、要么文本 Monte-Carlo 全轨迹拼上下文”的非此即彼，首次将 TD 学习的单步自举机制成功实例化于离散文本空间，使得值函数学习兼具高表达力与离线可扩展性。
消除策略提升中的动作枚举：创造性地将 Actor 的改进步骤转化为“基于 Critic 批注的自反思生成 + 教师蒸馏”，巧妙规避了语言生成空间巨大的组合爆炸难题。
单模型多角色复用：整个 Actor-Critic 体系无需维护复杂的异构神经网络，仅通过针对性的提示词让同一个预训练语言模型分饰基座策略、后继预测、贝尔曼备份、评估器与反思者，部署极其轻量。

局限与展望¶

对基座模型先验反思能力的依赖：算法假定底层 LLM 具备起码的指令遵循与根据文本反馈修正行为的能力。在参数量极小（如 1B-3B）或预训练质量不足的模型上，反思模块可能无法生成有效改进动作，引发训练停滞。
长程训练中的灾难性遗忘：论文在附录中指出，随着持续微调，模型在多任务角色切换中的提示遵循能力存在退化风险。虽然采用低数据量微调或引入 Learning without Forgetting（LwF）辅助 KL 约束可以缓解，但多角色统一微调的长期稳定性仍需进一步探索。
分层任务扩展：未来的重要方向是将 NLAC 扩展到层次化强化学习（Hierarchical RL），由高层语言 Critic 指导子任务分解，进一步突破极长程规划的瓶颈。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出语言空间的单步贝尔曼备份与后继模型学习，理论连接扎实，架构构思巧妙。
实验充分度: ⭐⭐⭐⭐☆ 涵盖单步推理、战略博弈与复杂工具交互，对比完整，消融细致，基准测试具有代表性。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，数学符号与直觉阐述平衡极佳，附录理论证明严谨。
价值: ⭐⭐⭐⭐⭐ 为大模型智能体长程决策提供了一条摆脱低效标量强化学习的新范式，工业界与学术界落地潜力大。