Recursive Semantic Divergence for LLM Agent Consistency¶

会议: NeurIPS 2026
arXiv: 2610.33012
OpenReview: https://openreview.net/forum?id=TNqJkEOsuA
代码: https://github.com/AgentConsistency/RSD-agent-consistency
领域: LLM Agent
关键词: 大语言模型智能体, 行为一致性, 互模拟度量, 自然语言推理, 轨迹级强化学习

一句话总结¶

将强化学习互模拟度量与自然语言推理结合，提出无监督轨迹级一致性指标 RSD，利用状态自距离单次前向估计智能体未来语义发散度，并在无需真值标签下作为强化学习奖励显著抑制决策随机性。

研究背景与动机¶

大语言模型驱动的自主智能体正在深度嵌入代码合成、复杂多轮工作流编排以及医疗诊断等严苛现实场景。然而，智能体在长时间跨度的交互执行中往往表现出严重的不可靠性：即面对完全相同的用户输入与系统环境状态，智能体在不同独立调用之间频繁产生南辕北辙的决策路径，例如调用迥异的外部工具、提供相互矛盾的推理事实，或陷入偏离既定目标的冗余动作轨迹。这种由多轮反馈级联放大的不确定性，使得哪怕在低温度或贪婪解码下，底层硬件计算浮点波动与环境微小扰动也能迅速演变为全局轨迹的发散崩溃。

现有评估体系主要侧重于终局任务正确性或局部步骤完成率，诸如 pass@k 等指标仅能粗粒度统计独立试验中全成功的经验概率，无法量化中间决策演化过程的平稳程度；而词元级熵仅在词表概率空间衡量瞬时困惑度，单轮语义熵也只在单次回复内使用语义聚类，两者皆缺乏对多轮轨迹未来时序发散的预判与刻画能力。更关键的是，一致性与正确性在本质上是正交的维度，智能体完全可能以极高的一致性稳定失败或成功，但在缺少真值任务反馈的环境下，如何系统性定义并约束多轮智能体的行为等价性仍是一个空白。

针对这一根本矛盾，强化学习领域中衡量马尔可夫决策过程状态行为等价性的互模拟度量提供了强有力的理论视角。核心 idea：将强化学习中的状态互模拟度量引入 LLM 智能体交互历史，用自然语言推理距离替代即时奖励差，构建递归语义发散度（RSD），通过状态嵌入自距离实现单次前向下的未来发散预估，并将其转化为无需真实标签的轨迹一致性微调奖励。

方法详解¶

整体框架¶

本文针对基于历史交互序列的信念状态马尔可夫决策过程，构建了从行为发散度量到策略一致性优化的闭环机制。系统首先将智能体与环境交互的完整历史映射为状态，通过多轮展开独立采样轨迹对；接着引入自然语言推理定义步间动作的逻辑距离，并借助时序差分递归逼近状态间的无限时界发散泛函；最后通过网络学习到的状态自距离作为标量奖励，在无真值监督下驱动策略微调。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多轮历史状态与轨迹采样<br/>独立生成成对 Rollouts"] --> B["NLI语义分歧度量<br/>三分类逻辑映射离散距离"]
    B --> C["MICo递归时序差分拟合<br/>双状态嵌入与角度范数分解"]
    C --> D["状态自距离一致性评分<br/>单次前向输出未来发散度"]
    D --> E["GRPO一致性强化微调<br/>负自距离驱动策略去噪"]

关键设计¶

1. NLI语义分歧度量：基于逻辑推断的步间动作等价性建模 传统互模拟度量高度依赖环境显式即时标量奖励之差，而在自主智能体多轮决策中，缺乏真值标注与人类反馈使得连续奖励无法获取。本文采用自然语言推理（NLI）三分类作为语义协议的无监督底层准则，直接对两个智能体在对应步生成的动作 $a^{(i)}$ 与 $a^{(j)}$ 进行双向蕴含、中立与矛盾判定： $$d_{\text{NLI}}(a^{(i)}, a^{(j)}) = \begin{cases} 0 & \text{若双向蕴含（逻辑等价）} \\ 1 & \text{若任一方向存在矛盾} \\ 0.5 & \text{其他情况（语义中立/部分重叠）} \end{cases}$$ 该设计规避了单纯词面表征或单向相似度易受措辞风格扰动的缺陷，确保距离度量严格满足对称性、自等价性 $d_{\text{NLI}}(a, a) = 0$ 以及 $[0, 1]$ 有界性，为后续贝尔曼递归算子提供了稳定的基底度量。

2. MICo递归时序差分拟合：高维历史空间下的行为发散逼近 由于大语言模型在多轮交互中的内部转移核未知且历史组合空间巨大，无法直接解析求解 Kantorovich 概率转移距离。本文借鉴强化学习中的独立耦合采样（MICo），通过将状态经过预训练冻结文本编码器映射后，送入 3 层 MLP 参数化网络 $\phi_\theta$，构造双状态扩散距离： $$\hat{U}_\theta(s^{(i)}, s^{(j)}) = \alpha \left(\|\phi_\theta(z^{s^{(i)}})\|^2 + \|\phi_\theta(z^{s^{(j)}})\|^2\right) + \beta \cdot d_\angle(\phi_\theta(z^{s^{(i)}}), \phi_\theta(z^{s^{(j)}}))$$ 其中 $d_\angle$ 为余弦夹角归一化距离。在训练阶段，算法在同一任务下并行采样独立轨迹，计算 $n$ 步展开的时序差分（TD）目标： $$y_t = \sum_{k=0}^{n-1} \gamma^k d_{\text{NLI}}(a_{t+k}^{(i)}, a_{t+k}^{(j)}) + \gamma^n \hat{U}_{\bar{\theta}}(s_{t+n}^{(i)}, s_{t+n}^{(j)})$$ 通过软更新目标网络 $\bar{\theta}$ 最小化贝尔曼残差 $(\hat{U}_\theta(s_t^{(i)}, s_t^{(j)}) - y_t)^2$。由于该贝尔曼算子具备 $\gamma$-压缩性，理论上保证了唯一不动点解 $U^*$ 的收敛，同时证明了逼近误差随单步编码压缩误差 $\epsilon_\phi$ 和 NLI 判别误差 $\epsilon_{\text{NLI}}$ 满足放缩上界 $\frac{\epsilon_\phi + \epsilon_{\text{NLI}}}{1-\gamma}$。

3. 状态自距离一致性评分：零采样单次前向的时序发散预估 在独立耦合度量框架中，当考察同一历史状态的自距离 $\hat{U}_\theta(s, s)$ 时，由于自身向量夹角严格为零，角度项彻底消失，使得自距离直接退化为隐空间范数的二次缩放形式： $$\hat{U}_\theta(s, s) = 2\alpha \|\phi_\theta(z^s)\|^2$$ 数学理论表明，自距离在本质上严格等于从状态 $s$ 出发展开两条独立轨迹的无限时界累积期望语义分歧：$U(s, s) = \mathbb{E}_{\tau, \tau' \sim \Pi(\cdot|s)}[\sum_{t=0}^\infty \gamma^t d_{\text{NLI}}(a_t, a'_t)]$。该设计带来了巨大的实用突破：在推理评估阶段，无需像传统方法那样耗费昂贵算力重复采样多条完整轨迹或频繁调用大模型裁判，仅需将当前交互历史做一次轻量级 MLP 前向计算，即可实时获得表征未来所有步潜在发散方差的标量评分。理论证明当 $U(s, s) < 1/4$ 时，主导动作语义等价类的概率下界严格大于 $1 - 2U(s, s)$，从而从理论上锁定了策略分布的集中度。

4. GRPO一致性强化微调：无真值标注的策略行为稳定化 为了将评价指标反哺至生成策略，本文将自距离评估结果作为内生一致性奖励信号。在组相对策略优化（GRPO）框架中，模型不再依赖昂贵的真实轨迹标签或人工偏好示范，而是直接将负自距离作为密集奖励： $$R_{\text{consistency}}(s) = -\hat{U}_\theta(s, s)$$ 由于训练数据集收集自已具备基础解题能力的底座模型采样，优化过程被限定在合理行为流形空间内部，既避免了策略塌缩为“始终输出固定无用回复”的退化一致性陷阱，又高效惩罚了因探索波动带来的无序分歧。

损失函数 / 训练策略¶

RSD 体系分为两个独立且衔接的训练阶段： 1. 度量网络拟合阶段：固定底座 LLM 策略，在收集的多轮轨迹对上最小化贝尔曼均方误差 $\mathcal{L}(\theta) = \mathbb{E}[(\hat{U}_\theta(s_t^{(i)}, s_t^{(j)}) - y_t)^2]$。使用 Cohere embed-v4-0 作为文本编码底座，超参数设置为折现因子 $\gamma = 0.8$、多步展开步数 $n = 3$、隐空间维度 256。 2. 策略微调阶段：使用训练好的 $\phi_\theta$ 评估每个决策状态的负自距离，以 GRPO 算法更新智能体策略模型（Qwen-2.5-3B/7B）。生成阶段温度设为 1 构建训练批次，并在测试评估时统一采用贪婪解码（温度 0）对比跨独立试验的方差表现。

实验关键数据¶

主实验¶

在两个多轮长程交互基准 ToolSandbox（涵盖日历、检索等通用工具调用）与 $\tau^2$-bench（双控航空客服交互系统）上，针对 Qwen-2.5 3B 与 7B 模型进行 8 次独立测试采样（每任务 64 条轨迹），对比不同微调策略在进度曲线下面积（AUC）、最终任务进度（Progress）、变异系数（$CV = \sigma/\mu$，越低越一致）及 pass@k 上的表现：

模型与方法	AUC (↑)	AUC CV (↓)	Progress (↑)	Progress CV (↓)	pass@1 (↑)	pass^3 (↑)
ToolSandbox 3B
Base Qwen-2.5-3B (基线)	0.271	0.90	0.293	0.86	14.1%	20.0%
Token Entropy (词元熵)	0.302	0.50 (↓43.8%)	0.317	0.53 (↓37.8%)	15.6%	20.0%
Semantic Entropy (语义熵)	0.326	0.83 (↓7.0%)	0.354	0.82 (↓4.0%)	17.2%	20.0%
SFT (监督微调)	0.311	0.82 (↓8.9%)	0.327	0.81 (↓5.6%)	17.2%	20.0%
RSD (本文方法)	0.340	0.44 (↓50.5%)	0.362	0.43 (↓49.3%)	18.8%	21.4%
ToolSandbox 7B
Base Qwen-2.5-7B (基线)	0.539	0.38	0.557	0.36	29.7%	28.6%
Token Entropy (词元熵)	0.510	0.50 (↑32.4%)	0.523	0.50 (↑40.5%)	21.9%	19.4%
Semantic Entropy (语义熵)	0.504	0.36 (↓6.2%)	0.512	0.34 (↓6.1%)	23.4%	23.2%
SFT (监督微调)	0.518	0.45 (↑17.9%)	0.530	0.43 (↑20.6%)	31.2%	28.8%
RSD (本文方法)	0.555	0.28 (↓26.8%)	0.562	0.27 (↓23.8%)	25.0%	28.6%
$\tau^2$-bench 3B
Base Qwen-2.5-3B (基线)	0.200	1.32	0.240	1.25	9.4%	0.3%
Token Entropy (词元熵)	0.204	1.38 (↑3.9%)	0.247	1.32 (↑6.1%)	9.4%	0.3%
Semantic Entropy (语义熵)	0.180	1.11 (↓15.9%)	0.239	1.00 (↓20.0%)	6.2%	1.0%
SFT (监督微调)	0.289	0.95 (↓28.0%)	0.353	0.90 (↓27.8%)	15.6%	5.4%
RSD (本文方法)	0.274	0.91 (↓30.9%)	0.332	0.92 (↓26.1%)	15.6%	3.6%

消融实验¶

为了探究引入环境外在任务进度奖励是否能与内在一致性奖励形成互补，作者在 ToolSandbox (Qwen-2.5-7B) 上进行了混合权重消融实验（以权重 $\lambda$ 调控 RSD 奖励与单步进度差 $\Delta \text{progress}$ 奖励的平衡）：

配置与权重	AUC (↑)	AUC CV (↓)	Progress (↑)	Progress CV (↓)	pass@1 (↑)	pass^3 (↑)	说明
纯 RSD ($\lambda=1.0$)	0.555	0.28	0.562	0.27	25.0%	28.6%	完整模型，一致性与综合性能最佳
混合奖励 ($\lambda=0.8$)	0.533	0.36 (↑29.3%)	0.541	0.33 (↑21.1%)	26.6%	28.6%	引入 0.2 进度奖励后波动增加
混合奖励 ($\lambda=0.5$)	0.532	0.37 (↑33.6%)	0.539	0.35 (↑28.2%)	29.7%	21.4%	进度稀疏性破坏了步间优化连续性
混合奖励 ($\lambda=0.2$)	0.518	0.42 (↑51.0%)	0.536	0.35 (↑27.0%)	23.4%	21.4%	变异系数大幅上升 51%

关键发现¶

小模型对一致性奖励更为敏感：在 3B 规模模型上，RSD 在两个基准分别斩获 50.5% 与 30.9% 的巨大变异系数降幅；而 7B 模型由于自身隐空间更具表征韧性，原生基线 CV 较小（0.38 对比 3B 的 0.90），降幅相对更为平稳。
局部短视方法导致全局不一致：最小化词元熵不仅未能在复杂轨迹中起效，反而频频导致变异系数恶化（如 ToolSandbox 7B 的 AUC CV 上升 32.4%）；单轮语义熵由于缺乏递归传播结构，降幅也极具局限性。
SFT 并不等于执行一致性：尽管监督微调在部分任务上强化了最终指标，但在 ToolSandbox 7B 上反而使得变异系数激增 17.9%，印证了依赖静态专家示范记忆无法有效约束自主交互中的分布偏移与多路径发散。
稀疏环境奖励与一致性奖励冲突：单步进度差通常高度稀疏且主要集中于末期轮次，过早强行引入进度差奖励引入了大量高方差噪声，反倒削弱了纯 RSD 带来的轨迹平滑效果。

亮点与洞察¶

互模拟自距离的巧妙退化：将原本用于评估两状态差异的复杂二元扩散函数，通过自距离取极限消除角度项，转化为仅由向量范数决定的单态标量评估器，将多轮轨迹一致性开销降至单次前向。
理论上下界直接指导可信度推导：通过马尔可夫不等式与柯西不等式严密证明了主导语义动作类别的存在性条件，给出了 $U(s,s) < 0.25$ 时主导策略占据严格多数的理论证明。
正交维度的无监督强化范式：不依赖任务标注即可稳定微调智能体策略，这为高难度、真值缺乏的多轮工具交互任务提供了一条低成本提升可靠性的全新路径。

局限与展望¶

一致性不等于正确性：该方法仅优化策略分布的集中度，无法天然识别“稳定犯错”的病态策略，若初始策略极度孱弱，可能迅速收敛到退化失败解。
跨环境域迁移成本：度量网络的训练依赖于具体交互环境的 Rollouts 分布，当迁移到具有全新 API 规范或交互逻辑的陌生环境时需重新适配。
底层 NLI 评判的标定偏差：整个递归过程以离线大模型判定的三分类 NLI 为真实基础，若判别模型在极专业领域出现幻觉误判，误差将通过贝尔曼算子呈倍数放大。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将强化学习互模拟理论与 NLI 逻辑度量迁移至大模型智能体轨迹一致性建模中。
实验充分度: ⭐⭐⭐⭐ 覆盖 ToolSandbox 和 $\tau^2$-bench 两个硬核多轮基准及 3B/7B 尺度，包含变异系数与消融评估。
写作质量: ⭐⭐⭐⭐⭐ 数学建模严密，理论收敛性与误差边界推导完整，叙述逻辑层层递进。
价值: ⭐⭐⭐⭐⭐ 为解决工业级智能体长程交互中“执行随机、难以复现”的核心可靠性痛点提供了无监督通用工具。

配置与权重	AUC (↑)	AUC CV (↓)	Progress (↑)	Progress CV (↓)	pass@1 (↑)	pass^3 (↑)	说明
纯 RSD (\(\lambda=1.0\))	0.555	0.28	0.562	0.27	25.0%	28.6%	完整模型，一致性与综合性能最佳
混合奖励 (\(\lambda=0.8\))	0.533	0.36 (↑29.3%)	0.541	0.33 (↑21.1%)	26.6%	28.6%	引入 0.2 进度奖励后波动增加
混合奖励 (\(\lambda=0.5\))	0.532	0.37 (↑33.6%)	0.539	0.35 (↑28.2%)	29.7%	21.4%	进度稀疏性破坏了步间优化连续性
混合奖励 (\(\lambda=0.2\))	0.518	0.42 (↑51.0%)	0.536	0.35 (↑27.0%)	23.4%	21.4%	变异系数大幅上升 51%