Tools as Continuous Flow for Evolving Agentic Reasoning¶

会议: NeurIPS 2026
arXiv: 2605.07339
OpenReview: https://openreview.net/forum?id=2MsbN9cHvM
代码: https://github.com/Tairan-Terrian/FlowAgent
领域: LLM Agent
关键词: 工具使用, 条件流匹配, 智能体推理, 连续轨迹生成, 闭环规划

一句话总结¶

将离散工具链重构为语义流形上的连续轨迹生成，通过条件流匹配联合解出未来全量动作锚点，并结合滚动时界闭环重规划，在抑制长程误差累积的同时显著增强对未见工具的泛化能力。

研究背景与动机¶

大语言模型驱动的智能体在与外部搜索、API、数据库等工具交互时展现出强大的自动化潜力。然而，现存主流工具规划范式普遍遵循自回归的逐步离散决策模式（Step-wise Discrete Decision），即智能体在每个时间步观察局部上下文，从庞大的离散工具候选中贪心采样下一个动作。这种局部优化机制割裂了复杂长程任务中动作之间的全局依赖，导致模型无法显式建模当前决策如何服务于后续完整工作流。

这种离散逐步决策范式在面对真实动态环境时暴露出三重核心矛盾：首先，缺乏全局长远视角使得智能体在多步调用中容易陷入局部最优或冗余死循环；其次，长程推理中单步次优选择会永久性改变外部数据库或环境状态，导致严重的复合误差累积与链条崩溃；最后，将工具抽象为互不相关的离散分类标签，完全忽视了工具功能描述之间的语义几何流形关联，使得模型在迁移至训练分布之外的未见工具（Unseen Tools）时泛化性能骤降。现有的提示工程、树搜索或纯离散强化学习（如 ToolRL、Agent-R1）虽能部分缓解局部决策偏差，但仍无法摆脱离散单步生成的结构性瓶颈。

本文的切入视角是跳出离散动作空间的束缚，将多步工具调用链提升为连续语义嵌入空间中的轨迹生成问题。核心 idea：将离散工具链重构为由常微分方程（ODE）驱动的连续语义流（FlowAgent），利用条件流匹配在每个环境阶段单次前向求解出未来完整动作轨迹的潜在锚点，并通过“执行首步-观测反馈-丢弃剩余-滚动重规划”的闭环机制实现动态校准与误差收敛。

方法详解¶

整体框架¶

FlowAgent 的核心流程分为连续轨迹生成、离散距离解码与滚动闭环执行三大阶段。对于给定的多步推理任务，智能体在离散环境阶段 $h \in \{1,\dots,H\}$ 维护当前上下文状态 $c_h = (x, \tau_{<h}, T_h)$，其中 $x$ 为用户初始指令，$\tau_{<h}$ 为历史交互轨迹（包含过往推理链、执行工具与返回的观测结果），$T_h$ 为当前阶段可用的工具集合。每个候选工具 $t \in T_h$ 均被参数化为连续语义嵌入向量 $e_t \in \mathbb{R}^d$。

与逐步生成单一离散动作不同，FlowAgent 在阶段 $h$ 通过条件流规划器在归一化时间 $s \in [0, 1]$ 内求解由速度场 $v_\phi$ 驱动的常微分方程，单次积分直接获得覆盖未来 $L_h$ 个规划位置的完整潜在轨迹锚点集合 $P_h = (z_h^{(1)}, z_h^{(2)}, \dots, z_h^{(L_h)})$。随后，离散解码器基于欧氏距离度量将每个连续锚点映射为候选工具的执行概率，并由参数化终止模块判定规划长度。在真实环境交互中，系统严格执行前向单一动作策略：仅执行首个锚点对应的离散工具，获取真实物理反馈后立即更新上下文状态，丢弃其余未执行锚点并在新状态下动态重新采样，形成自适应的闭环纠错流。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境上下文状态<br/>c_h = (x, τ_<h, T_h)"] --> B["条件流规划器<br/>ODE解出连续潜在轨迹 P_h"]
    B --> C["距离感知离散解码与终止机制<br/>锚点投影到候选工具与长度截断"]
    C --> D["滚动闭环执行与反馈更新<br/>执行首步工具 t_h^(1) 并获取观测 o_h"]
    D -->|状态转移更新 c_h+1 = U(...)| E["动态丢弃与滚动重规划<br/>丢弃后续锚点重新采样 P_h+1"]
    E --> B
    D -->|触发终止信号 / 任务达成| F["输出最终推理结果与环境目标"]

关键设计¶

1. 条件流规划器：基于连续流匹配的未来全局轨迹生成

传统逐步离散规划受限于短视的前向贪心采样，无法在单次决策中顾及长程动作的协同结构。本文通过将规划过程建模为时间区段 $s \in [0, 1]$ 上的连续速度场，利用流匹配（Conditional Flow Matching, CFM）生成全局轨迹。给定状态 $c_h$，潜变量轨迹满足常微分方程： $$\frac{dz_h(s)}{ds} = v_\phi(z_h(s), s \mid c_h), \quad z_h(0) \sim p_0$$ 通过 16 步欧拉数值积分器，在归一化时间点 $s_l = (l-1)/(L_h-1)$ 采样保留状态，得到潜在规划序列 $P_h = (z_h^{(1)}, \dots, z_h^{(L_h)})$。为了提供密集监督信号，从专家链条构建连续路径 $y_h(s)$，每个步长的稠密目标由工具语义嵌入、推理思考文本编码、前序观测编码以及可学习阶段嵌入投影融合而成： $$y_j = W_t e_{t_j} + W_r \text{Enc}(r_j) + W_o \text{Enc}(o_{j-1}) + W_p \nu_j$$ 连续路径在离散锚点间采用分段线性插值，利用回归损失 $\mathcal{L}_{FM} = \mathbb{E}[\|v_\phi - u^*\|_2^2]$ 直接拟合目标场。由于避免了离散自回归的逐步 token 展开，规划器单次 ODE 求解即可捕捉未来所有动作的依赖几何，且训练时不依赖昂贵的环境交互采样。

2. 距离感知离散解码与自适应终止机制：连续语义到离散动作的保距映射

连续流形中的潜在锚点必须无歧义地投影至动态变化的离散工具集 $T_h$。本文摒弃了常规分类头，构建了基于温度调节的负欧氏距离解码概率分布： $$p_\phi(t \mid z_h^{(l)}, T_h) = \frac{\exp(-\|z_h^{(l)} - e_t\|_2^2 / \epsilon)}{\sum_{t' \in T_h} \exp(-\|z_h^{(l)} - e_{t'}\|_2^2 / \epsilon)}$$ 其中 $\epsilon$ 为平滑温度因子。这一几何映射使相近语义功能的工具在嵌入空间中形成紧凑簇，即使面对未见工具，也能基于其语义嵌入向量 $e_t$ 的临近度直接泛化。同时，为了推断未知长度的规划轨迹并防止无限冗余生成，设计了轻量级参数化终止预测模块 $p_\phi(\text{stop} \mid z_h^{(l)}, c_h)$。当首个锚点的终止置信度超过设定阈值时，自动截断后续序列，确保离散动作序列长度与任务复杂度精确适配。

3. 滚动闭环执行与反馈校准：抑制复合误差发散的退行时界机制

开环执行长程规划序列在真实动态交互中极其脆弱，数据库状态改变或环境报错会使预先生成的后续动作瞬间失效。FlowAgent 引入模型预测控制（MPC）思想，采用滚动时界闭环执行策略（Receding-Horizon Execution）。在阶段 $h$，智能体仅实际派发执行首个锚点对应的离散工具 $\hat{t}_h^{(1)}$，接收真实环境返回的物理观测 $o_h$ 后，利用确定性状态转移算子更新上下文 $c_{h+1} = \mathcal{U}(c_h, \hat{t}_h^{(1)}, o_h)$。此时，此前生成的所有后续未执行锚点 $(z_h^{(2)}, \dots, z_h^{(L_h)})$ 被立即丢弃。在新上下文 $c_{h+1}$ 下，流规划器重新积分采样得到全新轨迹 $P_{h+1}$。理论分析证明，在局部反馈稳定性假设下，闭环误差累积上界满足 $E_{\mathrm{closed}} \leq \sum_{i=1}^{H-1} a_i \frac{1-\rho^{H-i}}{1-\rho} < E_{\mathrm{open}}$，通过真实环境观测的即时注入严格收敛了误差传播包络。

损失函数 / 训练策略¶

FlowAgent 采用三阶段端到端加权优化框架，整体目标函数为： $$\mathcal{L} = \mathcal{L}_{FM} + \lambda_1 \mathcal{L}_{dec} + \lambda_2 \mathcal{L}_{plan} + \lambda_3 \mathcal{L}_{cons}$$ 各分量协同支撑连续流与离散决策的无缝对接： 1. 连续路径拟合（$\mathcal{L}_{FM}$）：约束预测速度场 $v_\phi$ 逼近专家插值向量场 $u^*$，学习潜在语义流形流向； 2. 离散动作解码（$\mathcal{L}_{dec}$）：最小化针对真实工具身份及终止标记的交叉熵损失，强化距离决策边界； 3. 规划效用强化（$\mathcal{L}_{plan}$）：引入离线重要性采样策略优化，利用全局规划效用函数 $U(P, c_h)$（包含最终正确率、调用成本惩罚、死循环冗余惩罚及观测一致性奖励）引导潜在分布逼近高收益规划空间： $$\mathcal{L}_{plan} = -\sum_{P \in \mathcal{P}_h} \pi^*(P \mid c_h) \log q_\phi(P \mid c_h), \quad \pi^*(P \mid c_h) \propto q_{\mathrm{old}}(P \mid c_h) \exp(U(P, c_h))$$ 4. 上下文语义一致性约束（$\mathcal{L}_{cons}$）：以辅助正则化项 $\mathcal{L}_{cons} = \frac{1}{L_h} \sum_{l=1}^{L_h} \|z_h^{(l)} - W_c \text{Enc}(c_h)\|_2^2$ 强力惩罚潜在锚点与当前输入上下文表征的语义脱节。

实验关键数据¶

主实验¶

评估基于整合 $\tau^2$-bench、ToolBench、API-Bank 和 GTA 构建的规划级基准，涵盖 6,865 个任务与 3,930 个工具 schema（其中 599 个测试工具严格未见），并在包含真实数据库与复杂交互策略的电信（Telecom）与零售（Retail）闭环环境中进行真实重放评估（140 条测试轨迹，Retail 涉及严苛的状态性数据库回滚/退换货操作）。基线模型涵盖 Direct-LLM、Standard SFT、RAG Planning 以及代表性强化学习方法 ToolRL。

执行器 (Executor)	方法 (Methods)	Overall Success ↑	Retail Success ↑	Tool EM ↑	Retail Tool EM ↑	Pred Exec ↑	Arg Value EM ↑
Qwen2.5-7B-Instruct	Direct-LLM	0.1214±0.0186	0.2208±0.0215	0.1286±0.0179	0.2338±0.0231	0.9412±0.0068	0.4308±0.0197
	Standard SFT	0.6571±0.0126	0.3766±0.0174	0.6714±0.0118	0.4026±0.0192	0.9268±0.0075	0.4387±0.0156
	RAG Planning	0.5214±0.0158	0.4935±0.0189	0.5214±0.0163	0.4935±0.0195	1.0000±0.0000	0.3478±0.0172
	ToolRL	0.4786±0.0289	0.5065±0.0316	0.4929±0.0274	0.5325±0.0331	0.9643±0.0098	0.5257±0.0295
	FlowAgent (本文)	0.7643±0.0098	0.5714±0.0137	0.7745±0.0091	0.5892±0.0152	0.9619±0.0061	0.5929±0.0124
Llama-3.2-3B-Instruct	Direct-LLM	0.2000±0.0207	0.0779±0.0169	0.2071±0.0198	0.0909±0.0182	0.8060±0.0116	0.1225±0.0175
	Standard SFT	0.6214±0.0152	0.3117±0.0201	0.6286±0.0144	0.3247±0.0213	0.9318±0.0084	0.4348±0.0187
	RAG Planning	0.5286±0.0176	0.5065±0.0198	0.5500±0.0169	0.5455±0.0211	0.9091±0.0102	0.3241±0.0181
	ToolRL	0.1357±0.0361	0.1169±0.0328	0.1500±0.0348	0.1429±0.0355	0.9362±0.0124	0.1028±0.0307
	FlowAgent (本文)	0.7571±0.0112	0.5584±0.0159	0.7714±0.0103	0.5844±0.0167	0.9524±0.0072	0.5573±0.0136

扩展对比中，FlowAgent 同样全面超越近期先进强化学习规划器：在 Qwen2.5-7B 上较 Agent-R1（Overall Success 0.7186）、ToolPlanner（0.6858）和 AutoTIR（0.6920）均取得显著优势；在 599 个未见工具集测试中，FlowAgent 在 Qwen2.5-7B 和 Llama-3.2-3B 上的规划准确率分别高达 78% 与 76%。

消融实验¶

针对 Qwen2.5-7B 骨干，逐步加入条件流规划器、上下文观测状态以及参数化终止机制的系统消融结果如下表所示：

配置 (Configuration)	流规划器 (Flow)	上下文状态 (Context)	终止机制 (Stop)	Overall Success ↑	Retail Success ↑	Tool EM ↑	Retail Tool EM ↑	Pred Exec ↑	Arg Value EM ↑
基准 SFT	×	×	×	0.6571	0.3766	0.6714	0.4026	0.9268	0.4387
+ 条件流规划	✓	×	×	0.6786	0.4156	0.6857	0.4286	0.9381	0.5099
+ 上下文状态	✓	✓	×	0.7357	0.5195	0.7429	0.5325	0.9619	0.5613
完整模型 (Full)	✓	✓	✓	0.7643	0.5714	0.7745	0.5892	0.9619	0.5929

为了进一步探究全局轨迹监督与闭环重规划频率的影响，补充消融分析证实： 1. 预测目标形式：相较于仅预测单步离散动作（SFT 0.6571）或单步语义嵌入（0.7149），联合生成未来全量潜在轨迹使 Overall Success 进一步跃升至 0.7643，证明多步长程关联监督的核心增益； 2. 重规划时界步长 $k$：仅执行首步即重规划（$k=1$）达到最优 0.7643，若开环执行完整预规划序列（$k=\text{All}$），Retail Success 大幅衰退 14.28%（由 0.5714 降至 0.4286），证实高动态数据库交互中即时吸纳观测反馈的极端重要性。

关键发现¶

训练开销与收敛速度实现数倍飞跃：得益于连续向量场匹配的直接监督，FlowAgent 训练耗时仅需 12.29 分钟（主 GPU 峰值显存 52.63 GiB），而基于在线轨迹强化学习的 ToolRL 需 48.75 分钟（显存 78.69 GiB），训练加速近 4 倍且收敛极快（约 4 分钟即达平台期）。
推理开销处于高度可控区间：FlowAgent 虽需 16 步欧拉数值积分，但在 Qwen2.5-7B 上规划延迟仅由 SFT 的 171 ms 微增至 194 ms（端到端延迟仅增加 26 ms，显存微增 0.7 GiB），以极小的推理成本置换了超过 10.7% 的端到端任务成功率净收益。
大模型尺度与测试规模下的极强鲁棒性：在 Llama-3.1-70B 与 Qwen2.5-32B 规模下，FlowAgent 成功率分别攀升至 0.8508 与 0.8368；将测试集扩展至 300、500 及 800 条轨迹时，FlowAgent 成功率方差在 0.0033 以内，表现出极强的泛化稳定性。

亮点与洞察¶

将离散调度连续化的降维打击：首次将智能体离散多步工具链转化为语义流形上的连续流（CFM），从数学建模根源上打破了自回归离散贪心搜索的局部视野限制。
模型预测控制（MPC）与流匹配的有机融合：“全局规划提供远景方向，局部单步执行保留纠错敏捷度”的设计，成功解决了扩散/流模型长程开环生成与动态环境突变之间的脱节痛点。
理论推导完备的收敛与泛化保障：不仅给出了端点误差对 MAP 解码下界的严格控制，还首次证明了连续语义嵌入紧致流形上的未见工具泛化上界及闭环误差收缩性。

局限与展望¶

作者承认的局限：目前规划器采用固定的 16 步欧拉积分求解器，相较纯前向 Transformer 增加了约 20 余毫秒推理开销；同时验证域主要集中在结构化 API 与文本/数据库环境中，未拓展至多模态及具身环境。
潜在不足与适用边界：理论误差收缩定理严格依赖局部反馈稳定性假设（$\rho < 1$），在对抗性输入或环境反馈完全不可逆/非平稳剧变时，预设的流形连续性可能退化；此外参数填充（Argument Value）依赖固定的验证规则，面对非结构化复杂参数生成时仍存在偶发幻觉。
未来改进方向：探索基于流形蒸馏（Flow Distillation）实现 1-step 或自适应步长极速采样；结合视觉感知拓展至 GUI Agent 与机器人具身控制连续动作空间。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次将条件流匹配重构为智能体多步工具轨迹规划器，概念范式极具开创性]
实验充分度: ⭐⭐⭐⭐⭐ [从 140 到 800 扩展闭环轨迹，跨 6 种主流模型尺度，涵盖主实验、消融、效率与未见工具全面验证]
写作质量: ⭐⭐⭐⭐⭐ [数学推导完备严密，系统架构清晰，图文与动机呼应紧凑]
价值: ⭐⭐⭐⭐⭐ [为解决复杂智能体长程复合误差与未见工具冷启动提供了极具工程前景的新范式]