Conformal Agent Error Attribution¶

会议: NeurIPS 2026
arXiv: 2605.06788
OpenReview: https://openreview.net/forum?id=fvwWOlglCS
代码: https://github.com/layer6ai-labs/conformal-agent-error-attribution
领域: LLM Agent
关键词: 大语言模型智能体, 错误归因, 保形预测, 连续区间预测, 自动化状态回滚

一句话总结¶

针对多智能体系统（MAS）执行轨迹长、失败后难以精确定位根因的难题，本文提出了首个基于保形预测（CP）的时序滤子错误归因框架，能在无分布假设与有限样本条件下提供严格的连续区间覆盖率保证，并成功指导智能体最小代价回滚自愈。

研究背景与动机¶

随着大语言模型（LLM）与工具链的结合，多智能体系统（MAS）在软件工程、科学发现和复杂规划等长流程任务中展现出卓越能力。然而，随着交互轨迹的拉长和智能体间协同复杂度的剧增，执行失败不可避免。在长程依赖下，早期的微小偏航往往会在多轮交互后酿成系统级溃败。尽管判定最终任务是否失败相对容易，但定位导致不可逆失败的“决定性错误步”（decisive error step），成为智能体系统调试诊断与自动化恢复的最大瓶颈。

现有的 MAS 错误归因技术大多依赖朴素 LLM 评判、分层提示工程或微调评分器，输出通常是一个单点预测（Point Prediction）。在长达几十步的复杂交互中，由于单步打分缺乏置信度量化，单点预测的准确率极低，且无法给出可靠的不确定性边界。盲目信任单点预测进行状态回滚，极易导致“回滚不足未能覆盖根本错误”或“回滚过多浪费计算开销”。保形预测（Conformal Prediction）能够在有限样本且无分布假设的前提下提供严格的统计覆盖率保证，但现有保形分类算法要么输出离散无序的集合，要么依赖僵硬的层次树结构，无法适配智能体轨迹这种具有天然先后顺序的连续时序数据。

为了打破离散预测集对时序定位的桎梏，本文将时序滤子概念引入保形预测，直接预测紧凑且连续的决策步区间。核心 idea：利用单向与双向时序滤子（Filtration）构造保形预测集，在无分布假设下为决定性错误步提供有限样本的连续区间覆盖理论保证，并以此为边界指导智能体精确回滚至错误前夕完成自主恢复。

方法详解¶

整体框架¶

系统将任务失败的多智能体轨迹表示为时序决策序列 $x = (c_1, \dots, c_\ell)$，其中包含一个隐式决定性错误步 $y^* = c_{j^*}$。方法整体包含两大解耦且可互换的模块：底层时序打分函数 $g$ 和时序保形预测算法（涵盖单向过滤与双向过滤）。首先利用标定轨迹集计算保形非一致性分数并标定分位数阈值 $\hat{q}$；在测试阶段，输入新轨迹后算法沿时序方向动态剪除不含错误可能性的步，输出具有边际覆盖率保证 $1-\alpha$ 的连续候选区间 $C(x_{n+1}; \hat{q})$。若下游需要自愈恢复，系统将智能体环境状态精准回滚至预测区间的起点并注入失败上下文重试。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入失败智能体轨迹<br/>x = (c_1, ..., c_ℓ)"] --> B["步级打分与单调聚合<br/>LLM 评分器映射为单调区间分数 g(·)"]
    B --> C["时序滤子保形算法<br/>左向/右向/双向滤子匹配错误分布"]
    C --> D["连续预测区间生成<br/>满足 P(y* ∈ C(x)) ≥ 1 - α 的连续区间"]
    D --> E["智能体确定性状态回滚<br/>回滚至区间首步并注入失败前情重启"]

关键设计¶

1. 步级打分与单调聚合：将离散模型输出转化为有序区间概率代理 时序保形算法的高效推理依赖于评分函数在区间包含关系上的单调性，即子区间的分数不得超过超区间。为此，系统利用评分模型（朴素 LLM、角色提示集成或微调小模型）对轨迹中的每一步 $c_i$ 独立输出错误似然得分 $\text{LLM}(c_i)$。为消除轨迹绝对长度对打分尺度的干扰，并保证子区间向外扩展时分数严格递增，方法采用序列长度归一化的累加聚合： $$g(c_{j:k}) = \frac{1}{\ell} \sum_{i=j}^{k} \text{LLM}(c_i)$$ 这种设计不仅天然满足单调性条件 $c_{b:c} \subseteq c_{a:d} \implies g(c_{b:c}) \leq g(c_{a:d})$，还将保形分数的理论计算极大地简化为仅需评估关键端点后辍或前缀的分数，免去了组合爆炸级别的子区间搜索。

2. 单向时序滤子：基于前缀与后缀裁剪的保形区间界定 针对传统保形分类算法输出离散断裂索引集合、无法指导物理回滚的问题，左向滤子（Left Filtration, LF）与右向滤子（Right Filtration, RF）显式利用了轨迹的时序结构。以左向滤子为例，定义后缀集合 $\mathcal{I}_{\text{LF}} := \{c_{j:\ell}\}_{j=1}^{\ell+1}$。滤波函数 $F_{\text{LF}}(x; q)$ 在阈值 $q$ 下自左向右依次裁剪冗余步骤，返回满足打分上界的最长有效后缀： $$F_{\text{LF}}(x; q) := \arg\max_{c_{j:\ell} \in \mathcal{I}_{\text{LF}}} \big(|c_{j:\ell}| \;\big|\; g_{\text{LF}}(c_{j:\ell}) \leq q\big)$$ 利用嵌套单调性，真实标签 $y^* = c_{j^*}$ 对应的保形分数为保留该步骤的最小阈值 $S_{\text{LF}}(x, y^*) = g_{\text{LF}}(c_{j^*:\ell})$。在校准集经验分位数 $\hat{q}$ 确定后，测试期从右向左依序扫描，一旦遇到打分超过 $\hat{q}$ 的后缀立即截断，从而生成连续区间。由于左向滤子保留后缀，它天然适合错误发生偏向轨迹后半程的场景；相反，右向滤子保留前缀，非常适配决定性错误多发于前期的场景。

3. 双向时序滤子：双向交集约束与非一致性分数对偶 单向滤子在错误处于轨迹中间位置时，必然会囊括从端点到中心的大量无效步骤。为了在任意位置都能紧凑压缩区间，双向滤子（Two-Way Filtration, TWF）通过左右两路独立滤子的交集形成预测区间： $$F_{\text{TWF}}(x; q) := F_{\text{LF}}(x; q) \cap F_{\text{RF}}(x; q)$$ 论文证明，双向滤子的保形得分等价于左右两侧得分的上确界最大值：$S_{\text{TWF}}(x, y^*) = \max\big(S_{\text{LF}}(x, y^*), S_{\text{RF}}(x, y^*)\big) = \max\big(g_{\text{LF}}(c_{j^*:\ell}), g_{\text{RF}}(c_{1:j^*})\big)$。该定理将看似包含三重嵌套极值搜索的复杂双向规划收敛为两次简单的单调区间求值，使算法既继承了有限样本严密覆盖率，又能够自适应收紧中间段错误的边界。

4. 智能体确定性状态回滚：基于连续边界的自愈闭环 获得保形集合 $C(x) = (c_j, \dots, c_k)$ 后，自动化系统不再盲目从单点预测步骤重启，而是直接将智能体全局状态（包括环境快照、工具状态与记忆上下文）回滚到区间起始步 $c_j$。由于保形覆盖定理保证 $y^* \in [c_j, c_k]$ 的概率不低于 $1-\alpha$，这一策略在统计意义上保证了回滚必然回退到了决定性错误发生之前。在重启时，系统将失败前情及此前尝试的错误模式注入提示词，引导智能体修正路径并重新规划，兼顾了恢复成功率与重做成本。

实验关键数据¶

主实验¶

实验基于真实基准 Who&When（184 条真实标注轨迹）与大规模合成基准（GSM8k 与 MATH 结合 MACNET / DyLAN 框架生成的 4,800 条轨迹），在目标覆盖率 $1-\alpha = 0.8$ 下评估各算法的修剪率（Removal Rate, RR，剔除无关步骤的比例，越高越好代表集合越紧凑）与前向打分调用次数（NFE）。

数据集 / 架构	保形算法	连续性	覆盖率上限	修剪率 (RR ↑)	平均 NFE ↓
Who&When (真实轨迹)	Vanilla CP (基准)	否	有	0.20 ± 0.06	$\ell$
Who&When (真实轨迹)	CRSVP (树遍历基准)	是	无	0.21 ± 0.04	$\ell$
Who&When (真实轨迹)	Right Filtering (RF)	是	有	0.31 ± 0.04	0.36 $\ell$
GSM8k Left-Dense (偏早期)	Right Filtering (RF)	是	有	0.65 ± 0.01	3.08 (vs 8.50)
GSM8k Mid-Dense (偏中期)	Two-Way (TWF)	是	有	0.63 ± 0.02	8.50
GSM8k Right-Dense (偏晚期)	Left Filtering (LF)	是	有	0.60 ± 0.01	3.70 (vs 8.50)

消融实验：状态回滚成功率与开销对比¶

在 GSM8k 变体数据集上使用微调评分器（Qwen3-1.7B）和 MACNET 智能体，对比单点预测（Top-1）、离散保形基准（VCP）与时序保形滤子（LF）在目标覆盖率 80% 下的实际回滚自愈效果：

数据集分布	方法	任务恢复成功率 (↑)	决定性错误覆盖率 (目标 0.80)	回滚计算开销 (重做步数占比 ↓)	说明
Left-Dense	Top-1 单点预测	0.76 ± 0.05	0.92 ± 0.03	0.83 ± 0.02	无法设定置信水平，且代价高
Left-Dense	Vanilla CP	0.73 ± 0.05	0.85 ± 0.03	0.79 ± 0.02	离散集合回滚需扩展，开销过大
Left-Dense	Left Filtering (LF)	0.77 ± 0.04	0.81 ± 0.05	0.90 ± 0.00	覆盖率精确落在目标保证区间
Mid-Dense	Top-1 单点预测	0.67 ± 0.04	0.86 ± 0.04	0.56 ± 0.02	缺乏不确定性保证
Mid-Dense	Vanilla CP	0.59 ± 0.05	0.95 ± 0.02	0.65 ± 0.01	过覆盖导致重做步数过多
Mid-Dense	Left Filtering (LF)	0.68 ± 0.05	0.81 ± 0.03	0.65 ± 0.01	恢复率最高，精确卡位 81% 覆盖
Right-Dense	Top-1 单点预测	0.71 ± 0.05	0.86 ± 0.04	0.50 ± 0.02	波动较大
Right-Dense	Vanilla CP	0.70 ± 0.05	1.00 ± 0.00	0.66 ± 0.02	完全过覆盖 (100%)，计算严重浪费
Right-Dense	Left Filtering (LF)	0.75 ± 0.04	0.82 ± 0.04	0.40 ± 0.01	最低重做成本，自愈成功率最高

关键发现¶

时序滤子与真实错误分布强匹配：在真实世界基准 Who&When 中，智能体早期决策偏航占主导，Right Filtering 以 0.31 的修剪率大幅胜出；而在右偏分布中，Left Filtering 只需评估约 3.7 步（占总长度 43%）即可提前终止，显著节省在线推理算力。
对评分模型质量具备超常鲁棒性：传统点预测高度依赖昂贵的微调打分模型（微调 Qwen3-1.7B 准确率为 0.731，而零样本仅 0.110）；但保形时序滤子搭配弱打分器（如仅有微弱判别力的提示工程模型）时，其修剪率和覆盖率依然极其稳固，打破了小样本下游难微调的冷启动瓶颈。
规避离散集合的过度回滚陷阱：VCP 由于预测集合散落，如果取集合中最早的一步回退，往往会导致经验覆盖率严重虚高（高达 95%~100%），浪费大量计算；LF 严格贴合目标覆盖率（81%~82%），在错误发生偏晚时重做开销降低了近 40%。

亮点与洞察¶

将保形预测拓展至连续序列区间的开创性设计：传统保形预测在多分类中输出任意子集，本文通过单调滤子和数学等价转换，用极轻量的理论构造证明了连续区间预测的有限样本无分布下界与上界保证。
打通了从统计不确定性量化到智能体闭环自愈的工程断点：不仅给出了理论区间，更将其直接转化为回滚指令的精准快照位点，使原本不透明的“单点碰运气调试”转变为有置信度底线的自动化容错系统。

局限与展望¶

单决定性错误步假设的理论限制：论文假设整个失败轨迹由单一关键错误步触发，然而在复杂现实工作流中，往往存在多步轻微失误累加造成的“渐进式溃败”。未来需结合集合覆盖的加权召回率保证拓展多错误定位。
可交换性假设与动态环境漂移：有限样本覆盖率基于轨迹样本间的可交换性假设，若智能体部署在持续发生概念漂移（Concept Drift）的非平稳环境中，校准阈值可能失真，需要引入自适应在线保形推断机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将保形预测与时序滤子结合解决智能体错误归因，填补了连续区间预测理论与实践空白。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖真实人工标注基准与大规模合成控制实验，涵盖覆盖率验证、打分器消融、推理效率与自动化回滚全链路。
写作质量: ⭐⭐⭐⭐⭐ 理论证明严谨自洽，动机与系统流程叙述清晰连贯。
价值: ⭐⭐⭐⭐⭐ 为长流程自主智能体系统的可靠性调试、根因分析和自动化容错提供了极具落地前景的理论工具。