LeAct: Learning to Reason from Expert Actions¶

会议: NeurIPS 2026
arXiv: 2607.21856
OpenReview: https://openreview.net/forum?id=3YtLpuclPl
代码: https://github.com/ziranyang/LeAct
领域: 强化学习
关键词: 思维链推理, 专家动作蒸馏, 变分期望最大化, 不完美信息博弈, 强化学习

一句话总结¶

针对传统专家系统（博弈求解器、规划器等）仅输出最优动作却无自然语言思维链的局限，LeAct将推理过程建模为潜变量，通过后向候选生成、前向增量过滤（Forward Delta Scoring）与专家策略强制（EPF）构成的闭环变分EM框架，成功将无声专家动作转化为高质量的自然语言推理能力。

研究背景与动机¶

构建高质量的思维链（Chain-of-Thought, CoT）数据已成为制约大语言模型复杂推理能力扩展的核心瓶颈。当前学术界与工业界主要依赖人工密集标注或利用前沿强模型（如GPT-4、Claude等）进行蒸馏，部分工作也尝试采用自举生成与拒绝采样。然而，这类方法大多依赖模型自产文本或仅针对离散最终答案进行正确性二元过滤，并未直接在推理链与其对学生模型动作预测的因果贡献之间形成有效的闭环验证。更关键的是，监督信号始终局限在大模型家族内部，容易出现貌似合理但与决策无因果关联的“事后合理化”（rationalization）。

与之形成鲜明对比的是，诸如博弈求解器（CFR）、经典运动规划器以及形式化定理证明器等传统专业专家系统，能在广泛多样的复杂环境中持续输出极高质量乃至严格理论最优的动作分布。但这些专家是“无声的”（silent experts）：它们直接输出结构化动作或混合策略，完全不包含自然语言推导过程。若直接提示学生大模型为专家动作编写解释，极易退化为与动作脱钩的泛泛空谈，无法将专家的深层决策知识提炼为可泛化的推理链。

本文的切入角度是：将自然语言思维链视为连接观测状态与专家最优动作之间的潜变量，在训练阶段逆向反转“先想后做”的过程。通过让学生模型以后向方式生成候选解释，并严格过滤出那些能够显著提升自身恢复专家动作概率的思维链，从而借助外部无声专家的物理动作构成具有因果保证的全新监督闭环。核心 idea：将思维链视为从无声专家动作中恢复的潜变量，通过后向解释生成、前向概率增量过滤（\(\Delta\)-scoring）与专家策略强制微调（EPF）构建变分EM迭代闭环，使非LLM专家系统成为大模型推理能力的全新教师。

方法详解¶

整体框架¶

LeAct旨在将只有结构化动作输出的专家系统转化为训练大语言模型的思维链轨迹。在推理时，模型遵循常规的“先推理后行动”（reason-then-act）范式，即输入状态 \(x\)，先生成中间推理链 \(z\)，再输出动作策略 \(y\)；但在训练阶段，LeAct反向运行此循环，将推理过程视为潜变量，基于重要性加权自编码器（IWAE）边界推导出的变分期望最大化（Variational-EM）架构迭代优化。

整个框架由三个核心步骤循环构成：首先是后向生成（E步提议），学生模型接收状态与专家动作的定性概括，后向生成多条候选推理链；接着是前向增量评估与Top-K筛选，计算引入候选推理链相较于无条件基线所带来的专家动作对数概率增量 \(\Delta\)，仅保留严格带来正增益的高质量推理；最后是M步联合微调，采用专家策略强制（Expert-Policy Forcing, EPF）机制，以前向和后向双任务联合训练统一的学生模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入状态与无声专家动作<br/>(x, π*(·|x))"] --> B["后向生成候选推理链<br/>条件提示生成 N 个候选 z_i"]
    B --> C["前向增量评估与Top-K筛选<br/>计算动作概率增益并过滤 Δ > 0"]
    C --> D["专家策略强制联合微调<br/>前向 EPF 与后向重加权联合 SFT"]
    D -->|更新模型参数进入下一轮迭代| B
    D --> E["推理部署：先想后做<br/>x → z → y"]

关键设计¶

1. 变分EM框架与后向候选生成：通过后验采样解决潜变量不可观测问题

在无声专家场景下，状态 \(x\) 与专家动作 \(y \sim \pi^*(\cdot \mid x)\) 可观测，而推理链 \(z\) 完全处于潜状态。为最大化专家动作的边缘对数似然 \(\mathcal{J}(\theta) = \mathbb{E}_{x}\mathbb{E}_{y\sim \pi^*}[\log p_\theta(y \mid x)]\)，直接边际化高维连续自然语言序列在计算上不可行。LeAct引入后向提议分布 \(q_{\text{bwd}}(z \mid x, y)\)，通过向当前学生模型输入状态 \(x\) 以及对专家动作的定性概要 \(\tilde{\pi}^*\)（例如“主要弃牌，偶尔跟注”），采样生成 \(N\) 条候选思维链。定性概要的设计精妙地切断了模型直接原样抄袭专家数值概率的捷径，迫使其基于当前状态上下文推导该策略之所以最优的底层机制，从而把动作作为后验线索锚定高质量推理空间。

2. 前向增量评估与Top-K筛选：通过因果增益剥离无效合理化

为杜绝毫无因果联系的“事后合理化”，LeAct在IWAE下界推导的基础上，将未归一化重要性权重分解为任务相关项与提议匹配项：

\[w_i = \exp\Delta(z_i; x, y) \cdot \rho(z_i; x, y) \cdot p_\theta(y \mid x)\]

其中 \(\Delta(z; x, y) := \log p_\theta(y \mid x, z) - \log p_\theta(y \mid x)\) 表示候选思维链 \(z\) 对预测专家动作 \(y\) 的对数概率提升程度。在动作锚定设置下，\(\rho\) 项波动极小且缺乏结构化目标，LeAct果断舍弃不可计算的 \(\rho\) 项，仅采用前向增益 \(\Delta\) 作为筛选标准。在实际执行中，利用蒙特卡洛前向采样估计无思维链或自生成推理下的基线，计算平均增益 \(\bar{\Delta}(z; x) = \mathbb{E}_{y\sim \pi^*}[\Delta(z; x, y)]\)。只有严格满足 \(\bar{\Delta}(z; x) > 0\) 且排名前 \(K\) 的候选轨迹才会被吸纳进训练集 \(\mathcal{Z}_x\)。这种硬截断门控随着模型自身能力的提升而自适应收紧，确保每次迭代仅保留实质性促进决策的思维。

3. 专家策略强制与双向联合微调：以理论最优分布对齐梯度

在获得高质量思维链集合 \(\mathcal{D}_r\) 后，M步更新面临监督目标选择。若仅采用常规专家迭代中模型自身采样的动作，容易导致误差自强化。LeAct证明了在专家提供完整动作分布 \(\pi^*\)（如博弈中的混合纳什策略）时，最小化动作交叉熵等价于最小化与专家分布的KL散度：

\[\mathbb{E}_{y\sim \pi^*}[-\log p_\theta(y \mid x, z)] = H(\pi^*) + D_{\text{KL}}(\pi^*(\cdot \mid x) \parallel p_\theta(\cdot \mid x, z))\]

因此，M步直接采用真实的专家分布 \(\pi^*(\cdot \mid x)\) 作为前向目标（即专家策略强制，EPF）。同时，结合重加权唤醒-睡眠（reweighted wake-sleep）算法，对后向提议分布施加逆向监督损失，形成联合训练目标 \(\mathcal{L} = \mathcal{L}_{\text{fwd}} + \mathcal{L}_{\text{bwd}}\)：

\[\mathcal{L} = -\mathbb{E}_{(x,z)\in\mathcal{D}_r} \left[ \log p_\theta(z \mid x) + \mathbb{E}_{y\sim \pi^*(\cdot\mid x)}[\log p_\theta(y \mid x, z)] + \log p_\theta(z \mid x, \tilde{\pi}^*) \right]\]

这使得统一的模型参数不仅学会前向“先推理后逼近最优策略”，同时也自适应校准了下一轮迭代中的后向推理采样能力，保证IWAE界单调收紧。

实验关键数据¶

主实验¶

实验以 Qwen3-8B 为基础模型，在多尺度不完美信息博弈（Leduc Hold'em、Liar's Dice、3人Leduc、含 \(10^9\) 信息集规模的 Flop Hold'em）及包含单步动作决策的机器人操作基准 BuilderBench 上全面评估。对比基线包括冷启动模型（Coldstart）、无思维链行为克隆（NoCoT BC）以及传统带前向搜索的专家迭代（CoT ExIt）。下表展示了多环境在单样本（Single）与最佳选择（BoN）下的可利用度/NashConv/进度指标对比。

环境 / 任务 (# 信息集)	评估指标	NoCoT BC (Single)	CoT ExIt (Single)	LeAct (Ours Single)	NoCoT BC (BoN)	CoT ExIt (BoN)	LeAct (Ours BoN)
Leduc 6r2s (4K)	可利用度 (↓)	0.003 ± 0.001	0.087 ± 0.018	0.016 ± 0.004	0.001 ± 0.000	0.029 ± 0.007	0.006 ± 0.002
Leduc 10r4s (47K)	可利用度 (↓)	0.024 ± 0.009	0.319 ± 0.089	0.037 ± 0.024	0.002 ± 0.000	0.058 ± 0.016	0.0008 ± 0.0002
Leduc 13r4s (80K)	可利用度 (↓)	0.498 ± 0.050	0.501 ± 0.016	0.092 ± 0.033	0.334 ± 0.036	0.087 ± 0.005	0.022 ± 0.004
Liar's Dice (24K)	可利用度 (↓)	0.018 ± 0.003	0.156 ± 0.024	0.002 ± 0.001	0.009 ± 0.002	0.043 ± 0.007	0.001 ± 0.0002
3-Player Leduc (14K)	NashConv (↓)	0.773 ± 0.041	0.473 ± 0.057	0.005 ± 0.001	0.770 ± 0.024	0.146 ± 0.028	0.003 ± 0.001
BuilderBench (26任务)	任务进度 (↑)	—	0.5017 ± 0.038	0.3527 ± 0.068	—	0.7006	0.8853

在含约 \(10^9\) 信息集规模的超大型博弈 Flop Hold'em (FHP) 泛化测试集上，LeAct 的单样本 KL 散度达到 0.0019（CoT ExIt 为 0.0053，gpt-5.5 零样本为 0.7530），BoN KL 达到 0.0005；在 5 万手配对真机对战筹码输赢（mbb/g）中，LeAct 面对 NoCoT 取得 +60 ± 13 mbb/g，面对 CoT ExIt 取得 +62 ± 28 mbb/g 的显著净胜率。

消融实验¶

为了严格解耦后向增量筛选（Backward Delta）与监督目标选择（EPF vs 自采样动作），作者在 Leduc 10r4s 上进行了完备的 \(2 \times 2\) 交叉消融分析，控制相同的数据预算与两轮迭代。

方法架构	监督目标配置	单样本可利用度 (↓)	BoN 可利用度 (↓)	说明
Coldstart 基线	—	1.6701	0.2824	共享的初始冷启动检查点
CoT ExIt	EPF (强制专家策略)	1.0278	0.6191	破坏了自生成思维链与自身动作的内在一致性
CoT ExIt	no-EPF (自身动作)	0.4432	0.0599	标准专家迭代：自采样动作对齐
LeAct	no-EPF (自身动作)	1.0565	0.1940	缺失EPF后退化为复读纳什数字捷径
LeAct (Full)	EPF (强制专家策略)	0.1566	0.0019	完整模型：理论对齐的主对角线最佳配置

同时在 Liar's Dice 上对后向打分模块的直接消融显示：若保留 100% 状态覆盖的冷启动但移除后向增量打分筛选，策略可利用度停滞在 0.439；重新引入 \(\Delta\)-scoring 后，R1 即达到 0.019，R2 骤降至 0.002，带来了超过 219 倍的可利用度下降增益。

关键发现¶

增益来源于筛选而非单纯生成：将前向增量打分替换为随机排序后，模型在 Single 和 BoN 下的性能全面崩溃，证实 LeAct 的突破在于严格的因果有效性过滤，而非简单扩充数据量。
解决非二人零和博弈的发散困境：在 3-Player Leduc 设定下，传统依赖收缩映射保证的非线性规划与行为克隆因缺乏单调改进保证而陷入震荡（NashConv 达 0.770），而 LeAct 依靠思维链保持跨角色自洽性，将 NashConv 压制到 0.003 的求解器极限误差级别。
思维链驱动推理多样性提升：在小规模记忆可穷举状态（如 Leduc 6r2s）下，NoCoT BC 即可硬背策略；但在状态规模扩张（13r4s 及 FHP）或涉及分布外迁移时，LeAct 生成的思维链展现出优秀的分布发散度，极大拓宽了 BoN 推理时搜索的上限空间。

亮点与洞察¶

开辟非LLM专家系统的推理提炼新路径：跳出了过往完全依赖人工作业或更强大商业闭源大模型提供 CoT 的局限，将各类深耕数十年的无声离散/连续经典求解器转化为通用大模型的高阶推理导师。
严格数学推导与实用落地的巧妙结合：以 IWAE 变分下界为基石，通过形式化重要性权重分解，果断舍弃无结构的连续文本先验比率 \(\rho\)，将复杂的变分优化巧妙降维为“前向对数概率差值”这一极轻量且可判定的工程指标。
极高的计算性价比：由于在训练前向打分阶段仅需并行解码极短的动作策略行，额外算力开销相比于常规生成式专家迭代几乎可忽略不计，却在超大规模博弈中取得了跨数量级的收敛效果。

局限与展望¶

依赖专家动作空间的可评测性：在连续复杂动作（如高自由度机器人轨迹）中，无法直接计算准确的动作概率分布，只能依赖启发式动作匹配奖励函数（如空间欧式距离），对奖励设计的敏感度较高。
文本策略解析代理与实际解码分布的潜在漂移：当前实现中将模型生成的文本概率行解析为分布进行打分，虽经检验与实际 Token 级似然有 89%–98% 的高一致性，但在更复杂的自由开放域任务中，文本自报数值可能存在幻觉。
未来方向：将 LeAct 机制与在线强化学习（如 PPO 或 GRPO）融合，以无声专家的动作分布作为即时过程奖励（Process-level Reward），并向更大参数规模的前沿模型扩展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出从无声非LLM专家系统中反向恢复自然语言思维链的闭环框架，构思极富创造性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 个数量级规模博弈系统及机器人连续基准，主实验、对战胜率、全套正交消融极其扎实。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从变分边界到工程实现的映射逻辑严谨，实验分析直击要害。
价值: ⭐⭐⭐⭐⭐ 为解决前沿大模型高质量 CoT 数据枯竭问题提供了全新的无声专家监督范式，影响深远。