跳转至

FloCA: Towards Faithful and Logically Consistent Flowchart Reasoning

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Jinzi-Zou/FloCA-flowchart-reasoning
领域: VLM Reasoning
关键词: 流程图推理, 任务型对话系统, 拓扑约束执行, 神经符号协同, 用户模拟器

一句话总结

针对大模型在面向流程图的多轮对话中缺乏拓扑约束且极易发生节点跳转幻觉的难题,FloCA解耦语义理解与路径推理,通过拓扑受约束的外部图执行工具确保节点转移忠实一致,在任务成功率与路径覆盖度上大幅超越现有LLM与VLM基线。

研究背景与动机

面向流程图的多轮对话(Flowchart-Oriented Dialogue, FOD)旨在引导用户遵循领域特定的流程图逐步完成故障排查、医疗诊断或法律合规等复杂决策与操作流程。然而,在真实的工业故障诊断与专业操作指引中,流程图往往具有严格的前置条件与复杂的拓扑分支结构,要求模型必须严格贴合预设路径;中间任何一个判定节点的判断失误,都可能将用户引入完全错误的下游分支,甚至带来不可逆的设备损坏或诊断事故。

尽管大语言模型(LLM)与多模态大模型(VLM)在通用任务型对话中表现出较强的上下文交互能力,但将其直接应用于面向流程图的对话时仍存在两个根本性的结构瓶颈。一方面,现有的检索增强生成(RAG)、图序列化(Graph Serialization)以及基于纯图像输入的VLM方案,要么过度压缩破坏了流程图原生的拓扑连通性,要么迫使模型完全依赖概率采样在隐式语言空间中维护长程拓扑转移,导致模型极其容易产生拓扑非法的节点跳转幻觉;另一方面,现实交互中用户初始输入往往包含丰富背景,且交互过程中频繁插入专业知识追问(FAQ中断),现有模型难以可靠完成初始节点自适应落地并在中断后恢复流程状态。

本文的切入角度是:不再让大模型凭空依靠隐式注意力硬背图拓扑,而是让神经网络回归其最擅长的自然语言理解与指令交互,将确定性的拓扑路径转移显式委托给外部图执行引擎。核心 idea:提出零样本流程图对话智能体 FloCA,通过 LLM 负责意图理解与语义边匹配、外部符号工具执行拓扑约束的状态转移,并结合自循环初始落地与 FAQ 状态暂停机制,从根本上杜绝节点跳转幻觉与逻辑不一致。

方法详解

整体框架

FloCA 的核心系统架构由通用大语言模型(LLM)与保真流程图推理工具(Flowchart Reasoning Tool)两部分协同构成。流程图被形式化建模为带文本属性的有向图 \(F = (V, E, X)\),其中 \(V\) 为节点集合,\(E\) 为有向边集合,\(X\) 为节点与边的文本属性。LLM 专注于处理非结构化自然语言,包括用户意图分析、出边条件匹配以及基于节点属性的连贯应答改写;外部图推理工具则维护当前的节点状态 \(\hat{v}_t\),仅暴露合法的拓扑查询与单跳执行接口,从底层拓扑规则上阻断任何跨越非连通节点的非法跳转。

方法的完整运行机制涵盖三个核心阶段:首先利用自循环机制在初始轮次对齐用户复合陈述以实现跨步初始落地;随后在多轮交互中执行局部语义条件判定与单跳图推进;遇到超出用户常识的专业知识提问时,系统调用 FAQ 检索器进行局部解答并冻结节点状态,待知识盲区扫清后再无缝恢复流程图的确定性推演。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户首轮输入与多轮对话历史"] --> B["自循环初始节点落地<br/>从根节点递归执行拓扑前向跳转"]
    B --> C["拓扑约束交互推理工具<br/>图函数提取当前节点与出边属性"]
    C --> D["大模型语义边匹配<br/>意图映射至合法分支或澄清操作"]
    D -->|用户提出领域知识疑问| E["FAQ知识检索与状态保持<br/>悬挂节点转移并应答外部知识"]
    E --> C
    D -->|判定条件满足| F["单步NextHop状态更新<br/>拓扑连通节点转移至终点检查"]
    F --> G["应答改写与最终诊断输出"]

关键设计

1. 拓扑约束的流程图推理工具:将图连通性固化为确定性符号接口 针对 LLM/VLM 在全图序列化文本或全图图像上推理时频繁发生非连通节点跳跃的幻觉问题,FloCA 将流程图固化为一个只支持确定性查询与单跳受控转移的图推理工具。该工具对语言模型仅暴露四个原子图函数接口: - NodeAttr(NodeID):获取指定节点的文本属性(如诊断问题或操作指南)。 - OutEdgeAttr(NodeID):获取该节点所有合法出边的转移条件文本列表。 - NextHop(NodeID, EdgeAttr):在源节点与其真实出边文本属性已知的情况下,返回唯一合法的下游目标节点 ID。 - TerminalCheck(NodeID):布尔判断该节点是否为叶子终点。 通过该接口约束,LLM 在每一轮决策时仅需面对当前节点及其局部的出边候选,搜索空间被严格限制在一步邻域内。由于下游节点的转移完全由 NextHop 内部拓扑驱动,从原理上彻底杜绝了模型在全局生成时臆造不存在路径或跨分支跳跃的结构性错误。

2. 自循环初始节点落地机制:避免冗余多轮交互的自适应前向推演 针对现实对话中用户首句往往包含复合故障信息(例如“车钥匙在 ON 档位,且熔丝已经烧断了,该怎么修?”)从而导致如果每次都从根节点逐句问答会带来严重冗余交互的痛点,FloCA 提出了自循环初始落地策略。智能体在接收到用户首轮输入后,并不直接让 LLM 从全图中猜测起点,而是在后端以 root 节点为起点启动无感知的内部图执行自循环:系统连续调用 NodeAttr 与 OutEdgeAttr,由 LLM 检验用户的首句陈述是否已经明确蕴含了当前判定节点的出边条件(对于操作节点,则检验用户是否已声明完成该动作)。若条件满足,系统自动执行 NextHop 并推进一步,重复此过程直至遇到用户输入未覆盖或存在不确定性的第一个决策节点;此时才调用 LLM 将该节点文本改写为首个发给用户的提问。该机制既保留了自顶向下的拓扑可信验证链路,又显著提升了初始落地的效率与准确度。

3. FAQ 知识中断与节点状态悬挂恢复:解耦领域知识问答与流程控制 针对用户在诊断过程中因专业技能受限无法直接回答诊断提问(例如被要求“检查是否存在短路”时反问“怎样用万用表测短路?”)而容易打乱对话状态的难题,FloCA 建立了中断挂起与平滑恢复机制。当 LLM 判定用户当前输入并非回答出边判定条件、而是寻求相关背景知识时,系统主动挂起节点转移,将当前用户问句转交外部 FAQ 检索器(FAQRetriever)获取技术指引并生成解答,同时图执行器内部严格保持当前节点 \(\hat{v}_t\) 冻结不变。直到下一轮用户在获得知识辅助后给出了明确的判定反馈,LLM 才重新启动边匹配并驱动 NextHop,从而避免了传统上下文对话模型在经历问答旁支后发生的历史注意力漂移和状态丢失。

一个完整示例

以车辆故障排查为例:流程图根节点 ① 为“钥匙打在 ON 档是否有开路?”,其“是”分支连向节点 ②“熔丝是否熔断?”,② 的“是”分支连向节点 ③“熔丝熔断后是否仍然短路?”,③ 的“否”分支连接终点 ④“更换额定电流相同或稍低的新熔丝”。 1. 初始落地:用户输入“我的车熔丝烧断了,该怎么修?”。FloCA 在后台从节点 ① 启动自循环,LLM 识别到熔丝熔断蕴含了开路处于故障状态,匹配“是”边后调用 NextHop(①, Yes) 到达节点 ②;针对节点 ②,用户直接声明熔丝已断,再次匹配“是”边调用 NextHop(②, Yes) 推进至节点 ③。对节点 ③ 调用 OutEdgeAttr(③) 发现短路未被提及,自循环终止。FloCA 将节点 ③ 改写为问句向用户提问:“请检查熔丝熔断后车辆是否存在短路情况。” 2. FAQ 知识中断:用户反问:“我怎么知道车里有没有短路?”。LLM 判定为领域知识求助,保持当前节点 ③ 不变,调用 FAQRetriever 查得万用表电阻档检测流程并向用户回复;用户随后回复:“用万用表测了,车里没有短路。” 3. 确定性转移与收敛:LLM 将该回答精准匹配到节点 ③ 的“否”出边,调用 NextHop(③, No) 转移至终点节点 ④。TerminalCheck(④) 返回 1,FloCA 输出最终解决建议:“请更换规格相同或额定电流稍低的新熔丝。”

实验关键数据

主实验

实验在基准流程图故障排查数据集 FLODIAL(包含 12 张真实设备诊断流程图与 2,738 轮人机对话)上展开评测。评估体系不仅考察端到端终点准确率(TNGA),还严格评估全流程按序覆盖的路径覆盖准确度(PCA)、初始节点识别准确率(INGA),以及交互冗余度(NSR)和超时率(TR)。

方法 模型底座 / 类别 INGA Overall (↑) TNGA (↑) PCA (↑) TR (↓) NSR (↓)
SA-FloNet (Raghu et al., 2022) 任务微调序列模型 67.75 1.65 0.20 0.00 23.24
Graph Serialization GPT-4o 52.87 78.26 73.49 0.00 0.85
Graph Serialization GPT-5 81.38 87.16 79.29 0.62 1.15
Graph Serialization Claude Opus 4.1 60.85 83.43 80.12 0.00 0.38
RAG + Graph Serialization GPT-4o 51.29 80.53 75.98 0.00 0.72
RAG + Graph Serialization Claude Opus 4.1 60.62 87.16 6.62 0.00 42.25
Visual Language Models (VLM) GPT-4o 54.85 33.12 12.83 0.62 2.60
Visual Language Models (VLM) GPT-5 77.85 50.10 29.39 9.10 8.45
Visual Language Models (VLM) Claude Opus 4.1 49.20 16.35 3.72 0.20 1.80
FloCA (本文) Llama-3.3-70B 61.77 83.85 83.01 0.00 0.86
FloCA (本文) DeepSeek-R1 60.44 90.26 89.84 0.00 0.45
FloCA (本文) Qwen3 59.90 91.71 90.88 0.00 0.64
FloCA (本文) GPT-4o 62.11 91.71 90.88 0.00 0.15
FloCA (本文) Claude Opus 4.1 61.02 91.30 90.46 0.00 0.23
FloCA (本文) GPT-5 61.45 91.92 90.88 0.00 0.60

消融实验

基于 FLODIAL 数据集并采用 GPT-5 作为底座模型,系统消融了 FloCA 的三项核心设计:(1) 去除自循环机制(w/o self-loop mechanism),改为由 LLM 直接从序列化流程图中预测初始节点;(2) 去除局部边匹配(w/o edge matching),改为由 LLM 直接在一阶序列化子图上预测下一个节点;(3) 去除 FAQ 中断时的显式状态保持(w/o FAQ interruption recovery),改为让 LLM 从对话上下文重新推断中断后的图状态。

配置 TNGA (%) PCA (%) 说明
FloCA (完整模型) 91.92 90.88 结合自循环落地、符号边转移与状态保持机制
w/o self-loop mechanism 84.67 83.02 初始落地退化为全局预测,易匹配至局部相似错误节点,掉点最严重 (-7.86% PCA)
w/o FAQ interruption recovery 90.68 89.64 遭遇知识问答后无法精准复原中断节点,导致下游偏航 (-1.24% PCA)
w/o edge matching 91.30 90.26 失去单步结构化约束,仅依赖子图文本提示推导,掉点 -0.62% PCA

关键发现

  • 拓扑执行彻底化解长程逻辑崩塌:现有全图序列化 LLM 以及图像输入 VLM 表现极为脆弱,尤其 VLM(如 GPT-5 VLM)的 PCA 仅有 29.39%,常因无法在像素空间绑定离散决策逻辑而在中间分支严重死循环(如在 case study 中连续 8 轮在同一点澄清);而 FloCA 各模型底座的 PCA 均达到 83%~90.88%,验证了符号工具硬约束的必要性。
  • 自循环机制贡献最大收益:消融自循环机制导致 PCA 骤降 7.86 个百分点。深入分析显示,由于流程图中大量分支存在相似提问(如不同系统都在询问“电路通断”),全局语义匹配极易选错起点;自循环机制从根节点按拓扑路径做保守验证,有效杜绝了跨拓扑的初始落地误判。
  • 知识中断解耦带来零超时的稳定对话:RAG 增强的序列化基线在遇到领域知识时容易产生上下文干扰,导致 Claude Opus 4.1 的 NSR 飙升至 42.25;而 FloCA 凭借状态悬挂与外部工具解耦,实现了全模型底座的超时率 TR = 0 与极低冗余度。

亮点与洞察

  • 神经与符号分工明确:将大模型限定在局部语义对齐与对话回复生成的优势区间,将确定性状态转移与可达路径校验完全收拢于外部图执行工具,以确定性拓扑防范概率生成幻觉。
  • 动态用户模拟与全链路评测基准:提出了结合已标定已知事实的 DeepSeek-R1 用户模拟器,配合 INGA、TNGA、PCA、NSR、TR 五维指标体系,填补了流程图对话长期依赖静态文本相似度评测的空白。
  • 可复用的受控工作流范式:自循环初始落地(Self-loop Grounding)与中断挂起状态机模式能够无缝泛化至各类 SOP 指南、客服排障和规则审核智能体开发中。

局限与展望

  • 单向不可逆假设:FloCA 当前版本假定交互严格沿有向无环图(DAG)单向前进,未构建逆向状态回溯(Backtracking)机制。若用户在后续轮次发现前期判断存在事实失误(如“我刚才看错了,熔丝其实没断”),系统尚不能灵活倒退到历史分支重新规划。
  • 复杂图元素解析受限:系统目前依赖连通的文本属性图建模,针对跨页面连接符、泳道图(Swimlanes)以及多子图嵌套等复杂非标流程图的结构建模与鲁棒解析仍需拓展。
  • 大规模真实评测集仍匮乏:现有公开基准规模有限且领域相对局限,未来需要进一步在跨行业真实多轮复杂指引场景中验证长流程鲁棒性。

相关工作与启发

  • vs SA-FloNet (Raghu et al., 2022):SA-FloNet 依赖任务微调与密集向量检索获取路径信息,缺乏图拓扑强约束,在复杂多轮时由于误差累积导致端到端 TNGA 崩溃至 1.65%;FloCA 采用零样本外部图执行引擎,拓扑严密,TNGA 超过 91%。
  • vs 端到端 VLM (FlowVQA / GPT-5 Vision):传统多模态直接将流程图图像喂入模型,往往受困于视觉连线与复杂文字混合排版的空间错配与幻觉死循环;FloCA 将视觉或 UML 结构转化为文本属性图工具驱动执行,大幅缩减无效交互与多轮冗余。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 首次将流程图对话严格形式化为拓扑约束的节点落地问题,并创新提出工具解耦与自循环落地机制。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖多模型底座、跨域数据评测、深入消融及细粒度失败案例归因。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念清晰、逻辑链条严谨、动机与设计高度闭环。
  • 价值: ⭐⭐⭐⭐⭐ 为任务型排障与严谨 SOP 执行智能体落地提供了标准解耦范式。