TRACER: Verifiable Generative Provenance for Multimodal Tool-Using Agents¶

会议: NeurIPS 2026
arXiv: 2605.09934
OpenReview: https://openreview.net/forum?id=I2bqIi1pI6
领域: 多模态 VLM
关键词: 多模态智能体、工具使用、生成式溯源、过程监督、强化学习

一句话总结¶

针对多模态工具智能体中回答主张缺乏观测证据支持关系的“溯源断层”，TRACER 在生成每个回答句子的同时产出结构化溯源记录，并通过严格的多维可验证性检验与局部信用引导的组相对强化学习，在将测试集工具调用量削减 29.56% 的同时使回答准确率提升至 78.23%。

研究背景与动机¶

多模态大语言模型（MLLMs）在结合外部工具执行长程视觉推理、文本识别（OCR）、网页检索与符号计算等视觉中心任务方面取得了显著进展。从 Search-R1、WebWatcher 到各类 Agentic VLM 架构，现有系统逐步实现了多轮交互中主动获取跨模态观测的能力。然而，当前的工具调用智能体大多仅暴露轨迹级别的交互过程——即调用了哪些工具、返回了哪些结果以及最终产出什么答案。最终生成回答中的各个具体主张究竟依赖哪一次工具调用的哪项观测，在现有框架中完全处于隐式状态。

这种证据依赖关系的缺失构成了一种“溯源断层（provenance gap）”。在现实的复杂交互轨迹中，往往同时混杂着关键性证据、无效或冗余的试探性调用以及缺乏事实支撑的幻觉推理。当模型最终输出一个看似正确的答案时，外部系统无法判定该结果究竟源于对工具观测的忠实引用、模型参数记忆的残留、偶然的随机猜测还是无根据的推断。更严重的是，这种不透明性引发了灾难性的信用分配难题（credit assignment）：轨迹级或答案级的单一反馈无法识别哪些工具轮次真正提供了有效支撑，导致强化学习往往盲目奖励包含大量冗余调用的嘈杂轨迹，甚至使工具接入反而引入噪声、降低模型准确率。

本文切入的角度是：可解释与可靠的工具推理不能依赖于事后打补丁式的引用标注，而必须将“溯源”内生化为生成的有机组成部分，使模型在阐述事实的同时显式输出对证据单元的依赖图谱。核心 idea：将多模态工具智能体的主张生成与结构化证据溯源紧密绑定，定义包含引用、压缩与推断的三元关系空间，并通过四重可验证性检验与局部信用分配驱动组相对强化学习，实现高准确率、全可追溯且极简高效的工具推理。

方法详解¶

整体框架¶

TRACER 针对输入的多模态问题与工具集合，通过策略模型执行多轮工具交互生成观测轨迹，并在输出最终解答时将回答拆解为句子级主张，同时联合发射出关联工具轮次、证据单元和语义支撑类型的结构化溯源图。随后，生成的溯源记录接受格式与语义可验证性检验，并转化为硬性忠实度门控及局部工具信用信号，在免于训练价值模型的前提下通过组相对策略优化更新智能体。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：多模态查询与工具集<br/>x = (q, M, H_0, U)"] --> B["多轮工具交互与观测收集<br/>执行工具动作并生成轨迹 τ"]
    B --> C["句子级结构化生成溯源<br/>联合生成主张句子与溯源元组 (ℓ, z, r)"]
    C --> D["多阶段溯源验证与忠实度门控<br/>结构/轮次对齐/源真实性/关系合理性检验"]
    D --> E["局部溯源信用引导分配<br/>依据验证通过的溯源将信用赋予工具查询 span"]
    E --> F["组相对强化学习优化<br/>归一化优势更新策略并抑制冗余工具探索"]

关键设计¶

1. 句子级结构化生成溯源：将事后引用转化为联合生成 针对事后标注引用容易脱离生成上下文且无法反映推理过程的痛点，TRACER 在生成阶段将最终解答 $y$ 显式分解为句子级主张序列 $(s_1, \ldots, s_N)$，并在解码每个句子 $s_i$ 的同时联合生成其对应的结构化溯源集合 $\mathcal{P}_i = \{(\ell_{ij}, z_{ij}, r_{ij})\}_{j=1}^{m_i}$。其中，$\ell_{ij}$ 明确指向唯一的工具调用轮次标识符（如 OCR_1 或 GoogleSearch_2），$z_{ij}$ 为该工具返回结果中定位的具体文本片段或多模态证据单元，而 $r_{ij}$ 属于语义支撑关系集合 $\{\text{Quotation}, \text{Compression}, \text{Inference}\}$。这一关系分类覆盖了三种典型的认知机制：引用（Quotation，直接复用工具原文属性）、压缩（Compression，提炼冗余的描述或检索文本）以及推断（Inference，跨观测或基于数值进行逻辑推导）。联合自回归生成概率形式化为： $$p_\theta(y, \mathcal{G} \mid x, \tau) = \prod_{i=1}^N p_\theta(s_i, \mathcal{P}_i \mid x, \tau, s_{<i}, \mathcal{P}_{<i})$$ 这种机制迫使模型在组织语言的同时明确自身陈述的证据出处，将原本不透明的工具利用转化为结构化的命题-证据依赖图。

2. 多阶段可验证性检验与忠实度门控：杜绝虚构与低效工具调用 为了防止模型生成虚假引用或盲目调用海量工具刷分，TRACER 建立了端到端的可验证性审计流水线。首先通过模式检查校验 JSON 输出格式与索引完整性（记为 $C_{\text{schema}} \in \{0, 1\}$）。对于每个溯源项，进一步执行三项原子检查：工具轮次存在性 $v_{ij}^{\mathrm{turn}}$、引述证据源真实性 $v_{ij}^{\mathrm{src}}$（引用的片段确实存在于对应工具观测中）以及语义关系合理性 $v_{ij}^{\mathrm{rel}}$（所声明的引用、压缩或推断在逻辑上足以支持该句主张）。单项证据的有效性为三者的连乘： $$v_{ij} = v_{ij}^{\mathrm{turn}} v_{ij}^{\mathrm{src}} v_{ij}^{\mathrm{rel}}$$ 在此基础上，TRACER 引入硬性可追溯性门控奖励 $R_{\text{trace}} = C_{\text{schema}} \prod_{i=1}^N \prod_{j=1}^{m_i} v_{ij}$。只要存在任何一处未经证实的虚构证据或无效关系，$R_{\text{trace}}$ 立即置零，使得整条轨迹的强化学习奖励直接归零。同时，定义引用效率奖励 $R_{\text{cite}} = |\mathcal{T}_{\text{cited}}| / \max(|\mathcal{T}_{\text{called}}|, 1)$，以此惩罚那些被调用却从未对最终结论做出贡献的冗余探索轮次。

3. 局部溯源信用引导的组相对强化学习：破解长轨迹信用分配难题 传统强化学习仅凭最终结果对整条轨迹施加均一奖励，极易造成“正确答案奖励错误探索”的假象。TRACER 利用已通过严格检验的溯源链接，精确反推每一个工具轮次 $t$ 的局部贡献信用： $$c_t = R_{\mathrm{vqa}} R_{\mathrm{trace}} \min\left(1, \sum_{i,j} \mathbb{I}[\ell_{ij} = \ell_t] v_{ij}\right)$$ 即只有当工具调用为完全正确且完全可溯源的回答贡献了真实证据时，该轮次才被赋予局部正向信用。在组相对优化过程中，旧策略对同一输入采样 $G$ 条候选轨迹，计算每个候选轨迹的综合奖励 $R_{\mathrm{total}} = R_{\mathrm{vqa}} R_{\mathrm{trace}} (w_0 + w_{\mathrm{cite}} R_{\mathrm{cite}})$。对于生成第 $t$ 次工具查询动作的 token 跨度 $\mathcal{S}_t^{(g)}$，将其优势函数与局部信用直接绑定： $$\widehat{A}_n^{(g)} = \operatorname{Norm}_{g \in [G]} \left( R_{\mathrm{total}}^{(g)} + \lambda \sum_t \mathbb{I}[n \in \mathcal{S}_t^{(g)}] c_t^{(g)} \right)$$ 而非工具查询 token 仅接收轨迹级全局优势。随后通过带截断的 PPO 目标函数和 KL 散度约束更新模型。这种局部信用机制无需训练额外的价值网络（Value Model），便能精准将梯度流引导向产生高价值证据的工具决策。

一个完整示例¶

以识别图像中摩托车制造商及其首次参赛历史的真实案例为例，输入图片包含一辆赛道摩托车，任务要求回答该厂商首次参与摩托车锦标赛的年份： 1. 未对齐基线：盲目调用 TextToBbox、RegionAttributeDescription、OCR 和 GoogleSearch，前两次局部视觉探测均未提取出有效车标，轨迹冗长且产生幻觉年份。 2. TRACER-SFT 探索：先后调用 ImageDescription_1（识别出雅马哈厂牌特征）、OCR_2（识别头盔文字未果）和 GoogleSearch_3（检索到该厂商于 1961 年首次参赛）。在输出阶段，句子 1（“图中赛车制造商为雅马哈”）通过 Quotation 链接至 ImageDescription_1；句子 2（“雅马哈首次参加摩托车大奖赛是在 1961 年”）通过 Inference 链接至 GoogleSearch_3。此时 OCR_2 未被任何句子引用。 3. TRACER-RL 优化演进：经过引用效率惩罚与局部信用回传，策略模型自发裁撤了未被引用的 OCR_2 步骤，直接在两轮内紧凑完成视觉全局识别与知识检索，以更高置信度生成精准可追溯的最终答案。

损失函数 / 训练策略¶

训练分为两个阶段。第一阶段为监督微调（SFT），在 8 张 A100 GPU 上对 Qwen3-VL-8B-Instruct 的视觉编码器、多模态投影层和 LLM 基座进行全参数更新，学习率设为 $5 \times 10^{-6}$，训练 2 个 epoch，最大上下文长度 8,192 tokens。第二阶段为强化学习（RL），从 SFT 检查点初始化，进行 200 步组相对策略优化。每个提示词采样 $G=8$ 个候选输出，重点筛选候选之间答案正误方差显著的高熵困难样本。优化目标使用 PPO 截断率 $\epsilon=0.2$、KL 散度惩罚系数 $\beta=0.02$、奖励超参数 $w_0=1.0, w_{\text{cite}}=0.5$ 以及局部信用系数 $\lambda=0.3$。

实验关键数据¶

主实验¶

在构建的 TRACE-Bench 官方测试集（2,550 个样本）上评估，涵盖准确率、测试集工具调用总数、工具错误总数、轨迹总结准确率（SummAcc.）、可溯源性准确率（Traceability Acc.）及溯源 F1（Prov. F1）：

模型配置	任务准确率 (%)	工具调用数 ↓	工具错误数 ↓	总结准确率 (%)	可溯源准确率 (%)	溯源 F1 (%)
ChatGPT-4o-latest (直接回答)	38.29	–	–	–	–	–
ChatGPT-4o-latest + 工具	34.96	2,003	1,804	56.10	–	–
Claude-3.5-Sonnet (直接回答)	30.33	–	–	–	–	–
Claude-3.5-Sonnet + 工具	30.52	585	524	75.52	–	–
Gemini-2.5-Pro (直接回答)	27.35	–	–	–	–	–
Gemini-2.5-Pro + 工具	54.43	1,569	438	70.27	–	–
Qwen3-VL-8B-Instruct (直接回答)	23.52	–	–	–	–	–
Qwen3-VL-8B-Instruct + 工具	26.62	5,580	3,730	72.07	–	–
Qwen3-VL-8B-Instruct + tool-SFT	70.94	4,949	590	84.39	–	–
TRACER-SFT (本文微调)	73.56	4,034	654	93.29	77.53	70.70
TRACER-RL (本文完整模型)	78.23	3,486	573	95.72	93.61	90.52

消融实验¶

在 TRACER-RL 框架下对核心奖励组件进行逐项剥离消融分析：

配置	准确率 (%)	工具调用数	工具错误数	总结准确率 (%)	可溯源准确率 (%)	溯源精确率 (%)	溯源召回率 (%)	溯源 F1 (%)	说明
TRACER-RL (完整模型)	78.23	3,486	573	95.72	93.61	89.24	91.85	90.52	联合使用双重溯源奖励
w/o $R_{\text{cite}}$ (去引用效率奖励)	75.13	4,251	615	93.86	87.28	74.20	85.12	79.28	工具调用激增，精确率骤降 15.04%
w/o $R_{\text{trace}}$ (去可追溯门控奖励)	74.58	3,839	593	92.14	91.67	82.15	83.40	82.77	准确率与 F1 均显著下跌
TRACER-SFT (仅监督微调基线)	73.56	4,034	654	93.29	77.53	68.42	73.15	70.70	缺乏强化学习自发剪枝与对齐

关键发现¶

工具接入不等于能力增强：未做针对性溯源对齐的模型直接调用工具常常出现负迁移。例如 ChatGPT-4o-latest 接入工具后准确率从 38.29% 下降至 34.96%，且在 2,003 次调用中出现了 1,804 次错误；开源模型 LLaVA-v1.5 更是陷入 9,684 次死循环报错。这表明缺乏证据沉淀与归因能力的模型极易被工具噪声淹没。
双重奖励的解耦与协同效应：去除引用效率奖励 $R_{\text{cite}}$ 后，测试集工具调用量直接从 3,486 暴增至 4,251，溯源精确率从 89.24% 剧降至 74.20%，表明模型倾向于盲目扩大检索范围而引入低质证据；而去除硬性追溯门控 $R_{\text{trace}}$ 则导致伪造或失配溯源增多，整体准确率滑落至 74.58%。二者互为表里，共同实现了紧凑而真实的推理链路。
高效率调用带来 SOTA 性能：TRACER-RL 相比纯工具 SFT 基线，不仅在最终准确率上高出 7.29 个百分点，还将总工具调用开销削减了 29.56%（从 4,949 次降至 3,486 次），彻底打破了“提升能力必须依赖更长调用链”的固有模式。

亮点与洞察¶

生成时溯源而非事后标注：将证据归因从被动的事后解释升级为主动解码时产出的结构化图谱，确保了模型输出语言与观测证据的内在因果一致性。
免价值网络的局部信用分配：巧妙利用形式化验证通过的溯源链接，将全局最终奖励精确反投给产生实质贡献的工具查询 token 跨度，用极低的工程开销攻克了长交互中的信用分配瓶颈。
通用性启发：此种将“推断主张-事实凭证”关系分类（引用、压缩、推断）与强化学习门控绑定的范式，完全可以迁移至代码生成（代码行与文档/编译器反馈对齐）以及多模态具身决策（动作与传感器历史观测对齐）等复杂 agent 场景。

局限与展望¶

评测对裁判模型的依赖性：TRACE-Bench 的轨迹过滤和最终可追溯性校验部分依赖于 LLM-as-a-judge（使用 Gemini-2.5-Pro），评测器可能存在的提示敏感性与固有偏见或将引入微量判定误差。
工具集与领域广度受限：目前验证环境继承自 ToolVQA，核心覆盖 7 种感知与检索工具，尚未涵盖更复杂的代码解释器、动态 API 交互与物理仿真环境。
机理因果性的认知边界：可验证的外部生成溯源证明了回答命题在逻辑与语义上被工具观测所充分支撑，但这并不等同于模型内部注意力机制在因果机理层面完全以此为唯一依据，外部归因与内部机械解释性（mechanistic interpretability）之间仍有待进一步弥合。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次系统性提出多模态工具智能体的生成式可验证溯源，并定义了完备的关系空间与局部信用分配机制。]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖闭源与开源全系列 10 余个强基线对比，提供了全面的任务指标、溯源质量指标以及深入细致的消融分析。]
写作质量: ⭐⭐⭐⭐⭐ [逻辑链路严谨清晰，问题定义切中当前工具智能体痛点，数学形式化表达规范凝练。]
价值: ⭐⭐⭐⭐⭐ [为多模态 Agent 的可靠落地、安全审计与高效推理提供了极其重要的范式创新。]