VeriGraph: Towards Verifiable Data-Analytic Agents¶

会议: NeurIPS 2026
arXiv: 2606.16603
OpenReview: https://openreview.net/forum?id=XHH1MUulfY
代码: https://github.com/ignorejjj/VeriGraph
领域: LLM Agent
关键词: 数据分析智能体, 证据有向无环图, 可验证推理, 神经符号系统, 强化学习

一句话总结¶

针对大语言模型数据分析智能体输出难以审计的问题，VeriGraph 将线性推理轨迹重构为显式异构证据有向无环图（DAG），通过计算、绑定与推导三类原语统一确定性代码计算与语义推演，并结合分层图感知复合奖励进行策略优化，在四个数据基准上实现了顶尖性能与 87.61% 的断言溯源支撑率。

研究背景与动机¶

基于大语言模型（LLM）的智能体结合代码解释器在金融分析、商业智能和科学数据探索等高强度分析任务中展现出强大能力。然而在这类关键任务中，可信生成远不止要求最终答案正确，更要求输出具备可验证性——用户必须能够严格审查每一个定量或定性结论是如何从底层数据中一步步推导得出的。在传统的线性交互范式（如 ReAct 或 CodeAct）中，智能体以交替的“思考-动作-观察”轨迹运行，但所有执行历史和解释器变量最终都坍缩为非结构化的线性文本流。

这种线性流造成了严重的审计障碍：一方面，中间代码执行生成的关键变量（如聚合指标、统计检验结果）仅作为短暂的控制台文本片段存在，数值断言丢失了程序化可重放的代码依赖；另一方面，将计算数值上升为定性判断的语义推演步骤完全混杂在自由文本中，使得严谨的因果推论与毫无依据的幻觉胡诌难以区分。即便最终给出的数值看似吻合，审计者也无法判断模型是通过正确的代码路径算出的，还是凭借巧合甚至伪造推算出来的。

解决该问题的关键矛盾在于，数据密集型推理天然跨越两个耦合的空间：执行确定性数值转换的代码空间，以及解释、综合计算结果的高层语义推理空间。线性文本无法表达跨越两者的复杂网状依赖。核心 idea：将智能体的目标从输出非结构化线性轨迹重构为增量构建显式的异构证据有向无环图（DAG），把代码变量依赖与高层语义推论纳入统一拓扑，使结构可溯源性直接归约为有向图的可达性，并设计层次化复合奖励解决图级信用分配难题。

方法详解¶

整体框架¶

VeriGraph 将数据分析任务建模为在交互执行中协同求解任务并增量扩展异构证据 DAG \(\mathcal{G}=(\mathcal{V}, \mathcal{E})\) 的过程。图的节点划分为数据节点 \(\mathcal{V}_{\mathrm{data}}\)（包含初始原始数据源和代码执行产生的中间运行时变量）与断言节点 \(\mathcal{V}_{\mathrm{claim}}\)（由自然语言表达的事实或定性判断）。图的边划分为三类异构关系：记录代码变量依赖的计算边 \(\mathcal{E}_{\mathrm{comp}} \subseteq \mathcal{V}_{\mathrm{data}} \times \mathcal{V}_{\mathrm{data}}\)、将运行时变量锚定为原子断言的接地边 \(\mathcal{E}_{\mathrm{ground}} \subseteq \mathcal{V}_{\mathrm{data}} \times \mathcal{V}_{\mathrm{claim}}\)，以及连接前提断言与新衍生断言的语义推演边 \(\mathcal{E}_{\mathrm{derive}} \subseteq \mathcal{V}_{\mathrm{claim}} \times \mathcal{V}_{\mathrm{claim}}\)。

在每轮交互中，智能体根据压缩的历史观察、当前命名空间摘要以及既有子图，生成包含特定原语的 Python 代码。系统通过静态抽象语法树（AST）自动追踪变量计算依赖，同时由智能体显式调用拓展原语，使得证据图与任务执行同步演进。当任务完成时，智能体指定终端断言，系统通过反向可达性遍历抽取祖先证据子图 \(\mathcal{G}^*\)，生成受图约束的用户可见报告。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始数据源与任务输入"] --> B["计算扩展<br/>AST 自动追踪变量依赖"]
    B --> C["接地扩展<br/>bind 原语锚定运行时变量"]
    C --> D["推导扩展<br/>infer 原语显式语义推演"]
    D --> E["终端提取<br/>submit_answer 诱导祖先子图"]
    E --> F["输出可验证结构化报告"]

关键设计¶

1. 计算扩展：基于静态语法树的无侵入式变量依赖追踪

为了在不侵入 Python 解释器运行时性能的前提下捕获代码空间的确定性转换，计算扩展通过命名空间前后快照与静态 AST 遍历协同完成。智能体执行代码动作 \(\alpha_t\) 后，系统对比执行前后的变量符号提取新增或修改变量集合 \(\mathrm{NewVars}(\mathcal{E}, \alpha_t)\)，并通过解析代码 AST 提取计算各变量所读取的前置依赖 \(\mathrm{Deps}(v, \alpha_t)\)。由此自动生成的计算子图更新为：

\[\Delta \mathcal{G}_t^{\mathrm{comp}} = \Bigl( \mathrm{NewVars}(\mathcal{E}, \alpha_t), \bigl\{ (u, v) \mid v \in \mathrm{NewVars}(\mathcal{E}, \alpha_t), u \in \mathrm{Deps}(v, \alpha_t) \bigr\} \Bigr)\]

这种纯静态与轻量快照结合的机制避免了像 sys.settrace 这类运行时追踪带来的巨大执行开销，精准构建出代码变量的有向依赖链，确保每个数值变量都可以通过重放其对应的前缀代码单元进行确定性复现。

2. 接地扩展：通过模板绑定将程序状态锚定为原子断言

计算出的数值本身缺乏业务语义，必须显式映射为自然语言事实，但自由文本输出极易脱离代码产生幻觉。为此，VeriGraph 引入 bind 原语作为代码空间向语义空间的桥梁。智能体必须提供带有占位符的模板句子 \(l\) 以及绑定的运行时变量 \(\{x_j \mapsto v_d^{(j)}\}\)，系统在运行时求值后实例化原子断言节点 \(v_c \in \mathcal{V}_{\mathrm{claim}}\)：

\[v_c = \texttt{bind}(v_d, l), \quad \Delta \mathcal{G}_t^{\mathrm{ground}} = \Bigl( \{v_c\}, \bigl\{ (v_d^{(j)}, v_c) \bigr\}_{j=1}^m \Bigr)\]

运行时强制执行类型与占位符检查：任何不包含占位符的纯文本模板或引用不存在变量的调用均会被环境立即拒绝。这一设计在结构层面确立了断言的物理锚定，杜绝了凭空捏造数值的可能，即使存在语义描述偏差，也明确将责任暴露在具体的接地边上供下游审计。

3. 推导扩展：显式声明逻辑前提与推理证明的高层推理

从离散的数据事实提炼出综合性商业洞察或高层定性结论时，传统方法往往产生无依据的跳跃推断。VeriGraph 引入 infer 原语，要求智能体在推导新断言 \(v_{\mathrm{new}}\) 时显式传入前置断言集合 \(\mathcal{P} \subseteq \mathcal{V}_{\mathrm{claim}}\)、自然语言推理依据 \(r\) 以及目标结论 \(c\)：

\[v_{\mathrm{new}} = \texttt{infer}(\mathcal{P}, r, c), \quad \Delta \mathcal{G}_t^{\mathrm{derive}} = \Bigl( \{v_{\mathrm{new}}\}, \bigl\{ (p, v_{\mathrm{new}}) \mid p \in \mathcal{P} \bigr\} \Bigr)\]

运行时严格限制 \(c\) 不得引入前提 \(\mathcal{P}\) 之外的新数据事实，且推理说明 \(r\) 必须满足长度和结构约束。推导边将原本隐匿在模型内部的黑盒逻辑外化为清晰的因果连接，使整个分析报告的每一个观点都具备可审查的论据链条。

4. 终端提取：面向任务目标的反向依赖剪枝与确定性报告合成

在交互完成时，智能体调用 submit_answer 原语指定最终的终端断言集合 \(\mathcal{V}_{\mathrm{final}} \subseteq \mathcal{V}_{\mathrm{claim}}\)。系统通过图的反向遍历算法计算其祖先闭包：

\[\mathcal{G}^* = \mathrm{Ancestors}_{\mathcal{G}}(\mathcal{V}_{\mathrm{final}}), \quad o = \mathrm{Compose}(\mathcal{V}_{\mathrm{final}}, \mathcal{G}^*)\]

该机制自动过滤掉探索过程中产生的死胡同分支、冗余调试变量和无关计算，仅保留严格支持最终结论的极小子图 \(\mathcal{G}^*\)。对于开放式报告任务，约束生成器 Compose 仅将终端断言重排组织为连贯段落而不引入任何未在图中登记的新事实，保证最终可见文本的完全可审计性。

损失函数 / 训练策略¶

直接使用终端结果奖励优化模型会导致图构建的信用分配难题，因为最终答案正确并不能保证图拓扑的完整与推导的严谨。VeriGraph 采用层次化图感知复合奖励进行策略优化：

\[R(\tau, \mathcal{G}_T) = R_{\mathrm{process}}(\{\alpha_t\}_{t=1}^T) + R_{\mathrm{infer}}(\mathcal{I}) + R_{\mathrm{outcome}}(\mathcal{G}^*, q, a^*)\]

过程执行奖励 \(R_{\mathrm{process}}\)：按步统计代码动作在沙箱中的执行成功率 \(\frac{1}{T}\sum_{t=1}^T \mathbb{I}[\texttt{exec}(\alpha_t)=\text{success}]\)，保障计算主干的语法与操作健壮性；
推导有效性奖励 \(R_{\mathrm{infer}}\)：对集合 \(\mathcal{I}\) 中由 infer 创建的每条推导边，调用轻量判别器检验结论是否被前提严格蕴含，无依据跳跃或幻觉扣分：\(R_{\mathrm{infer}} = \frac{1}{|\mathcal{I}|}\sum_{i \in \mathcal{I}} \texttt{Verify}(q, \mathcal{P}_i, r_i, c_i)\)，其中 \(\texttt{Verify} \in \{-0.5, +1\}\)；
终端子图质量奖励 \(R_{\mathrm{outcome}}\)：在成功完成终端提取的前提下，利用大模型裁判评估最终答案与子图相对于黄金答案的正确性、完整性与忠实度。

在训练流程上，首先通过约 36K 条提炼轨迹执行两阶段监督微调（SFT）冷启动：先使用原子样本（规划、单步原语调用、终端合成）学习语法与局部前置条件，再用完整交互轨迹学习长程协同；随后采用 DAPO（解耦优势策略优化）算法，在 Verl 分布式框架上基于上述复合奖励优化 Qwen3-8B 策略模型。

实验关键数据¶

主实验¶

论文在四个典型数据密集型基准上全面评估：TableBench（单表多维 QA）、InfiAgent-DABench（单 CSV 闭式数据分析）、DSBench（多表长文本数据科学分析）以及 DAB-Step Research（跨表与非结构化文档的开放式研报分析）。评价维度包括基准任务得分（Overall）以及度量断言可恢复性的溯源支撑率（Grounding Rate, GR）。

方法	可溯源性 (计算/推导)	DABench	DSBench	TableBench	DABStep-R (Content/Format)	Overall	Grounding Rate (%)
GPT-5.2 (直接推理)	✗ / ✗	19.46	14.72	66.63	4.61 / 4.81	48.75	—
Claude-4.5-Opus (直接推理)	✗ / ✗	36.58	30.67	74.04	4.68 / 4.73	58.85	—
Qwen3-32B (直接推理)	✗ / ✗	22.57	29.75	69.98	4.65 / 4.64	53.80	—
GPT-5.4 (ReAct)	✓ / ✗	87.16	53.07	74.52	3.71 / 3.62	72.01	78.52
Claude-4.5-Opus (ReAct)	✓ / ✗	89.49	53.07	74.40	3.67 / 3.92	73.22	73.57
Qwen3-8B (ReAct)	✓ / ✗	80.54	38.04	62.80	3.39 / 3.41	62.35	59.52
Qwen3-32B (ReAct)	✓ / ✗	84.82	56.44	67.34	3.81 / 3.72	70.98	71.95
DataMind (专用智能体)	✓ / ✗	83.27	14.72	68.94	2.47 / 2.86	55.06	71.64
DeepAnalyze (专用智能体)	✓ / ✗	75.60	47.64	67.51	3.61 / 3.93	66.54	61.35
VeriGraph-8B (本文)	✓ / ✓	85.99	66.43	73.58	3.31 / 3.56	73.68	87.61

消融实验¶

消融实验深入剖析了训练配方各阶段以及图感知奖励机制对最终任务得分和可验证性指标的影响。

配置变体	InfiAgent	DSBench	TableBench	DABStep-R	Overall	Grounding Rate (%)	综合变化 (\(\Delta\))
完整 VeriGraph-8B	85.99	66.43	73.58	3.31	73.68	87.61	—
w/o 原子 SFT 阶段	82.75	57.28	67.61	3.49	69.34	72.33	-4.34
w/o 轨迹 SFT 阶段	26.46	69.63	06.22	2.44	37.78	95.01	-35.90
w/o 强化学习阶段 (仅SFT)	85.10	62.40	71.85	3.12	70.42	85.29	-3.26
仅结果奖励强化学习 (Outcome-only RL)	84.05	65.52	64.62	2.15	65.35	76.46	-8.33
VeriGraph-4B (轻量主干)	81.25	65.91	68.44	2.88	68.28	69.41	-5.40
VeriGraph-14B (更大主干)	88.98	70.16	75.74	3.28	75.52	88.67	+1.84

关键发现¶

8B 模型逼近闭源前沿：仅有 8B 参数的 VeriGraph 在 Overall 综合分上达到了 73.68，超越了 Claude-4.5-Opus ReAct（73.22）与 GPT-5.4 ReAct（72.01），且是在满足更严格的双重溯源（计算+推导）条件下达成的；
溯源率断层领先：在衡量断言与底层事实可追溯一致性的 Grounding Rate 上，VeriGraph 达到 87.61%，比表现最佳的商业 ReAct 智能体高出 9~14 个百分点；
全轨迹 SFT 是长程协同的基石：去掉轨迹级 SFT 会使 Overall 骤降 35.90 分（TableBench 甚至崩溃至 6.22），证明虽然模型能学会语法约束（GR 高达 95.01%），但缺乏多轮长程规划能力；
细粒度图奖励不可或缺：若退化为常规的仅按结果奖励（Outcome-only RL），得分与 GR 分别大幅下滑 8.33 分和 11.15%，表明只看终端结果会助长冗余试错和虚假推断，必须借助过程与推导边级别的结构化监督。

亮点与洞察¶

将审计性重构为图可达性：创新性地将文本解释的审计转化为异构有向无环图上的祖先路径可达性判定，使定性推断和定量统计享有同等精确的拓扑证明链路。
计算与语义空间的神经符号解耦：利用 AST 自动抓取纯代码依赖，通过 bind 与 infer 显式承载语义过渡，兼具符号系统的可控确定性与神经模型的灵活理解力。
层次化信用分配策略：针对强化学习中图结构难以优化的痛点，设计对齐图构建周期的分层奖励机制，为复杂智能体系统的精细化训练提供了极具推广价值的范式。

局限与展望¶

推导评判依赖辅助判别器：推导边奖励 \(R_{\mathrm{infer}}\) 依赖轻量模型（如 gpt-4o-mini）进行逻辑蕴含评估，判别器本身的幻觉或偏差可能对训练产生噪声。
结构化输出对自由文风的微弱抑制：在开放式报告任务（DAB-Step Research）中，严格受图约束导出的断言序列在语言润色上略逊于无约束自由生成的商业大模型，导致格式评分略低。
未来方向：探索多模态证据图（集成可视化图表和图像证据），以及进一步在强化学习中将图验证器小型化与本地化，实现自闭环的去中心化训练。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将数据分析智能体的内部推理与代码执行形式化为异构证据 DAG，概念清晰且设计完整。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大不同复杂度基准，兼具任务精度与 Grounding Rate 双维度评测，消融与案例翔实。
写作质量: ⭐⭐⭐⭐⭐ 框架建模严谨，图示与数学形式化表述清晰自洽，附录细节丰富完备。
价值: ⭐⭐⭐⭐⭐ 为高风险、需要严格审计的金融分析、医疗与科学数据智能体落地开辟了极具前景的实用技术路径。