跳转至

When the Bottleneck Shifts: Diagnosing and Closing Information Gaps in Interactive Decision-Making

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/authurlord/PASCAL_Release
领域: 对话系统
关键词: 交互式决策, 交互式Text-to-SQL, 信息获取瓶颈, 成本感知调度, 重试中断控制

一句话总结

本文提出交互式决策与Text-to-SQL中的信息充分性假说(ISH)并构建五源信息缺口分类法,设计出无需训练的成本感知信息获取控制框架PASCAL,通过前置主动获取、精细化澄清与重试中断机制,在BIRD-Interact基准上使35B本地开源模型大幅超越前沿闭源专有模型。

研究背景与动机

在真实世界的数据库分析与人机交互决策场景中,用户的自然语言分析查询往往伴随着高度的语义模糊性。用户意图与查询语义不仅依赖于常规的关系数据库模式(Schema),还深刻依赖于未明确表达的业务规则、领域专属计算口径、外部知识库乃至前序交互产生的数据状态。传统静态Text-to-SQL方法通常假设问题描述、模式定义与辅助知识在推理前已完备给出,技术重心普遍聚焦于子任务分解、基于执行反馈的自纠错或微调对齐;然而在交互式环境下,生成正确查询所需的关键证据并不在提示词中一次性呈现,必须由智能体在有限的交互预算内与环境进行跨源交互后动态获取。

以往的ReAct类交互式智能体架构将模式探查、知识库检索、用户澄清提问与SQL执行等动作完全交由大语言模型自主调用,却频繁陷入两种灾难性行为模式:一方面,模型倾向于在尚未收集到关键业务逻辑时便过早生成并提交SQL,在执行报错后陷入盲目的SQL重试循环(Overthinking),白白耗尽预算;另一方面,无约束的探索容易向知识库发出偏离业务命名空间的宽泛检索,导致上下文中充满无用定义。更严峻的现实矛盾在于,在生产数据库与企业系统交互中,环境动作会直接产生实质代价——SQL执行会加重数据库负载,知识库检索消耗系统算力,而用户澄清则直接消耗真实人类注意力。因此,交互式智能体决策的核心稀缺资源并非推理Token,而是受限的外部环境交互预算。

通过严格控制变量的交互轨迹诊断实验,本文发现强基座模型遭遇失败的主因并非SQL生成语法与推理能力匮乏,而是在尚未获取任务关键证据前发生了“过早提交”。针对这一系统性症结,本文将交互式决策形式化为受限预算下的信息获取问题,并提出信息充分性假说(Information Sufficiency Hypothesis, ISH)。核心 idea:将交互决策的执行重心从盲目的生成重试重构为有序的信息获取,构建五类信息缺口分类法并依据“需求度/交互成本”比率调度通道,在生成前严格前置低成本结构与知识获取、按需触发精细化用户澄清,并配合自适应重试中断器阻断无效循环。

方法详解

整体框架

PASCAL(Priority-Aware Source-Calibrated Acquisition Layer)是一个无需模型训练即可即插即用的交互式决策控制框架。系统将智能体与环境的交互过程划分为串行推进的三大核心阶段:第一阶段为前置主动信息获取(Proactive Information Acquisition),第二阶段为约束生成与重试中断控制(SQL Construction with Retry Breaker),第三阶段为面向多轮追问的状态继承与组合(Follow-up Composition)。在预算 \(B\) 的硬性约束下,智能体每一步交互均需扣除对应的环境消耗成本 \(c(a_t)\),控制器依据各缺口类别的成本阶梯对可用动作空间进行动态门控。

方法的整体执行管道如下图所示,清晰呈现了从模式零成本注入、知识库命名空间发现、按需精细化澄清,到带停机与路由切换的SQL重试控制,再到跨轮次公用表表达式(CTE)状态继承的完整数据流与决策流:

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["自然语言查询输入与先验环境"] --> B["1. 模式预注入与结构对齐<br/>零成本挂载完整DDL并校验引用"]
    B --> C["2. 类型化知识检索与命名空间发现<br/>基于命名空间两阶段索引与按需拉取"]
    C --> D["3. 证据约束的用户主动澄清<br/>低成本通道穷尽后触发参数级精准问询"]
    D --> E["4. 状态监测的自适应重试中断控制<br/>哈希停滞与错误类型重复触发信道切换"]
    E -->|单轮任务完结/执行正确| F["5. 跨轮次状态继承与CTE组合<br/>将前序SQL物化为CTE并传递已获信息"]
    F --> G["最终正确执行结果与状态输出"]

关键设计

1. 模式预注入与结构对齐:消除低效探索 -> 零成本注入全量DDL -> 释放宝贵交互预算
在传统的开放式交互智能体中,模型往往需要耗费数轮 explore_tables 或 list_columns 等交互调用来探索数据库表结构与外键连接,这直接挤占了后续获取复杂领域语义所需的交互预算。针对模式探索并非核心决策瓶颈但消耗预算的痛点,PASCAL在任务启动之初将完整的关系模式元数据 \(\mathcal{M}\) 作为零成本操作直接注入智能体的上下文窗口中,并在本地执行轻量级的查询项与模式表/列引用的有效性校验,迅速剔除无效的表别名与引用。通过这种前置显式注入,智能体无需消耗任何环境交互额度即可完全消除模式缺口 \(\Delta_{\text{sch}}\),将宝贵的预算完整保留给更具杠杆效应的外部知识获取环节。

2. 类型化知识检索与命名空间发现:盲目语义检索 -> 命名空间两阶段获取 -> 消除幻觉与无关定义干扰
生产环境下的领域知识库通常包含庞杂的业务指标计算公式、状态评级口径与分类阈值,若一次性全量塞入上下文会导致模型窗口超载与注意力分散;而若允许智能体自由调用关键词搜索,模型往往因为查询词未精准匹配标准实体名而检索失败,转而依赖参数化先验知识臆造错误的阈值。PASCAL将知识库离线处理为具有标准规范命名(Canonical Name)和简短摘要的类型化可调用条目。在交互时分两阶段展开:首先以较低成本调用命名空间列表 list_kb_names 暴露全量条目概览,智能体在具备全局命名空间感知后,精准匹配并按需调用 get_kb_def 拉取特定条目的详细公式与阈值定义。对于缺口类别 \(c\),控制器基于历史轨迹估算未解决信号 \(\text{need}_t(c)\),并依据成本归一化优先级 \(\text{priority}_t(c) = \text{need}_t(c) / \text{cost}(c)\) 进行排队,确保成本低且收益高的结构化知识库通道 \(\Delta_{\text{kb}}\) 优先于高成本的用户澄清被充分消化。

3. 证据约束的用户主动澄清:高成本且模糊的提问 -> 穷尽排查后的参数级问询 -> 最小化人类交互摩擦
向真实人类用户提问(\(\Delta_{\text{usr}}\))是所有可用通道中经济与时间成本最高的交互行为,且早期发起的开放式提问极易获取模糊或无实质约束的回答。PASCAL严禁智能体在交互初期未经信息收集直接向用户“甩锅”,控制器通过结构门控对用户澄清动作施加严格限制,仅在满足以下三种明确的可观测信号之一时才被动激活:其一,查询中的关键歧义术语在已拉取的知识库命名空间中完全无匹配条目;其二,SQL生成进入死循环,连续 \(N_v\) 次提交的归一化SQL哈希完全一致;其三,检索到的知识库条目包含未绑定的自由参数。更为关键的是,在发起提问时,智能体必须基于已获取的部分模式与知识库证据构建“带上下文的事实确认型问题”(例如:“知识库定义不稳定性指标为温度方差大于1或湿度方差大于3,本查询是否采用该阈值?”),将原本开放式的定义索取转化为单参数的精准二元确认,从而以最低的人类注意力成本闭合意图歧义。

4. 状态监测的自适应重试中断控制:死循环SQL微调 -> 轨迹状态感知中断 -> 强制跳出局部最优重返信息获取
现有Text-to-SQL方法过度依赖基于数据库报错的自纠错循环,然而实验表明,当缺乏必要领域规则时,基于生成结果的反复重试只会浪费计算与预算。PASCAL在SQL构建执行层设计了一个自适应重试中断器(Retry Breaker)。中断器实时维护历史提交序列 \(H_t = \{e_1, \dots, e_t\}\),其中记录每一次提交的错误类别与归一化SQL哈希。中断函数依据三级触发逻辑执行干预: $$ \text{fire}(H_t) = \begin{cases} \text{STOP}, & |H_t| \ge N_{\text{cap}} \ \text{STUCK}, & \text{last } N_v \text{ hashes match} \ \text{SWITCH}, & \text{last } N_e \text{ errors match} \end{cases} $$ 当总提交数达到硬性上限 \(N_{\text{cap}}\) 时触发 STOP 强制终止防止预算耗尽;当连续 \(N_v\) 次提交产生相同的SQL哈希时判定智能体陷入停滞(STUCK),强制升级调度触发 ask_user;当连续 \(N_e\) 次提交遭遇同一种错误类别时判定当前通道无法修复(SWITCH),强行切断当前SQL编辑流,重定向智能体回到知识库或模式探索层检查是否存在遗漏的外部证据。此外,每次SQL执行失败后,系统提取包含行数、列数与样本数据偏差的结构化值差异反馈(Structured Value-Diff Feedback)呈现给智能体,辅助模型精确分辨是输出投影形状不匹配还是过滤谓词数值错误。

5. 跨轮次状态继承与CTE组合:多轮状态断裂丢失 -> 显式状态池传递与CTE嵌套物化 -> 支撑复杂长程推理
在交互式商业智能分析中,后续提问往往严重指代前序阶段的分析产物(如“针对上述异常展柜,列出其展示的所有文物”)。针对多阶段任务中状态断裂导致的指代消解失败痛点(\(\Delta_{\text{ph}}\)),PASCAL在第一阶段成功通过执行验证后,将该阶段所累积的信息集合 \(I^{(1)}_T\) 以及最终生成的正确SQL \(\sigma_1\) 原封不动地继承至第二阶段的初始状态 \(I^{(2)}_0 = I^{(1)}_T \cup \{\sigma_1\}\)。在构造第二阶段查询时,系统自动将 \(\sigma_1\) 在上下文环境中物化为具名的公用表表达式(Common Table Expression, CTE,如 WITH phase1_result AS (...)),使第二阶段的生成模型可以直接通过自然连接引用前置分析结果集,无需重新探索第一阶段的业务条件,在零额外环境交互代价下彻底消除跨阶段指代鸿沟。

诊断协议与闭环优化策略

为了定量诊断智能体在交互轨迹中信息缺口的闭合质量,本文构建了后验信息充分性评分(Information Sufficiency Score, \(S(q)\)): $$ S(q) = \frac{1}{|\mathcal{C}|} \sum_{c \in \mathcal{C}} \frac{|I^c(q) \cap I{|I^}|_c(q)|} $$ 其中集合 \(\mathcal{C} = \{\text{tab}, \text{col}, \text{kb-id}, \text{kb-term}, \text{intent}\}\) 覆盖了模式表、列、知识库条目ID、领域术语以及用户意图五大打分维度,\(I^*_c(q)\) 为真实标注所需的关键信息项子集,\(I_{T, c}\) 为智能体在轨迹终点实际成功获取的证据集合。若某一类别在任务中未作要求(即集合为空),则默认记为满分 1。

该评分机制不仅在离线实验中印证了信息充分度与执行成功率之间严格的单调正相关关系,更在设计层面指引了闭环调度:各通道的探索不是孤立展开的,而是严格遵循“零成本模式注入 \(\rightarrow\) 广度命名空间扫描 \(\rightarrow\) 深度类型化条目检索 \(\rightarrow\) 目标导向用户澄清 \(\rightarrow\) 结构化反馈辅助的SQL生成与中断控制”的有向闭环路径,从根本上杜绝了生成阶段因缺少关键语义而造成的无效空转。

实验关键数据

主实验

在权威交互式基准 BIRD-Interact 的 lite_300 测试集(包含195个商业智能BI任务与105个数据管理DM任务,共300个复杂交互任务)上,PASCAL与传统静态生成管线、官方ReAct交互框架以及顶级前沿闭源专有模型进行了系统评测对比。评估指标包括阶段1成功率(P1%)、两阶段端到端成功率(P2%)以及官方综合标准化奖励(Reward)。

方法 模型基座 / 平台 BI成功率(%) DM成功率(%) P1成功率(%) P2成功率(%) 综合奖励(Reward)
DIN-SQL Qwen3.6-35B 10.8 14.3 12.0 6.7 10.40
DAIL-SQL Qwen3.6-35B 15.9 29.5 20.7 13.0 18.37
MAC-SQL Qwen3.6-35B 7.7 10.5 8.7 1.7 6.57
CHESS Qwen3.6-35B 14.4 8.6 12.3 6.0 10.43
Claude-Opus-4.6 官方 a-Interact 框架 24.2 58.8 36.3 24.0 32.63
Claude-Sonnet-3.7 官方 a-Interact 框架 22.1 56.2 34.0 17.7 29.10
GLM-4.7 官方 a-Interact 框架 18.6 48.4 29.0 9.0 23.00
MiniMax-M2.1 官方 a-Interact 框架 18.5 46.5 28.3 13.0 23.73
Kimi-2.5 官方 a-Interact 框架 17.8 44.9 27.3 11.3 22.53
Qwen3.6-27B 官方 a-Interact 框架 19.0 48.6 29.3 19.3 17.70
Qwen3.6-35B 官方 a-Interact 框架 10.8 44.8 22.7 11.3 12.27
PASCAL 27B Qwen3.6-27B 本地部署 41.8 60.0 48.3 35.4 44.42
PASCAL 35B Qwen3.6-35B 本地部署 43.6 64.8 51.0 37.0 46.80

消融实验

为了剥离并精确定量各核心机制对交互行为与最终结果的贡献度,作者在 lite_300 任务集上对 PASCAL 35B 进行了渐进式模块消融实验。追踪指标包括阶段1通过率(P1%)、综合奖励(Reward)、信息缺失导致的失败率(InfoFail%)、首个正确知识库调用出现的相对位置(1st-KB,0代表开始,1代表从未调用)、峰值重复SQL比例(Rpt-SQL)以及信息饱和后的无效交互占比(Overthink)。

实验配置变体 P1成功率(%)↑ 综合奖励↑ 信息失败率(InfoFail%)↓ 首调KB相对位置(1st-KB)↓ 重复SQL比例(Rpt-SQL)↓ 无效交互占比(Overthink)↓
无协议基线 (No protocol) 32.3 33.5 86.67 1.000 0.430 0.354
+ 模式预注入与渐进访问 36.9 28.5 67.70 1.000 0.680 0.307
+ 类型化知识库检索 42.1 37.1 40.69 0.680 0.300 0.311
+ 重试中断与部署控制器 (完整模型) 51.0 46.80 31.10 0.427 0.258 0.154

关键发现

  • 性能飞跃根源于交互预算的精准配置,而非纯粹的模型参数规模:搭载开源 35B 本地模型的 PASCAL 取得了 51.0% 的 P1 成功率与 46.80 的奖励分,以极其悬殊的优势(+14.7 个百分点 P1,+14.17 奖励分)碾压了在官方 a-Interact 框架下运行的顶级专有模型 Claude-Opus-4.6(36.3% P1)。同样是 Qwen3.6-35B,在无序的 a-Interact 框架下仅获 22.7% P1,足见无序探索对模型实际能力的巨大压制。
  • 外部知识获取对商业智能(BI)类任务具有决定性杠杆效应:BI任务由于充斥大量模式外部的业务阈值与计算公式,传统静态方法与未接入KB的智能体表现极其惨烈(通常只有 10% 左右)。PASCAL 35B 将 BI 成功率直接从基线的 10.8% 拔高至 43.6%(大幅提升 +32.8 个百分点),相比之下主要依赖模式内推理的 DM 任务提升为 +20.0 个百分点。这证明了类型化知识检索在闭合语义缺口上的核心价值。
  • 信息获取量与交互质量呈现非单调关系,交互工具调用熵揭示三大行为模式:纯生成管线(如 DAIL-SQL)的工具调用熵极低(\(H=0.81\)),完全不进行外部信息检索;官方 a-Interact 表现出过度发散的高熵(\(H=2.20\)),虽耗费超 50% 预算进行工具调用,但由于缺乏命名空间指引,检索命中率极低,导致大量幻觉;PASCAL 则维持在中等合理的工具熵(\(H=1.78\)),将行动高度聚焦于高价值证据的精确获取,并在获取完备后迅速转入高效生成。
  • 重试中断控制器成功切断了无效生成的拖尾损耗:消融数据显示,单纯引入知识库检索后,智能体的 Overthink(信息饱和后的空转动作)仍停留在 0.311 的高位;而部署自适应重试中断器后,Overthink 指标直接腰斩至 0.154,重复 SQL 提交率下降至 0.258,首个关键知识库调用的位置大幅提前(1st-KB 从 0.680 前移至 0.427),显著提升了预算利用率。

亮点与洞察

  • 精准切中交互决策中的“过早承诺”核心顽疾:本文没有盲目跟风去微调更大的生成模型,而是通过扎实的控制变量轨迹分析证明强模型失败不是因为“写不出SQL”,而是因为“不知道缺什么就匆忙动笔”。将信息充分性假说(ISH)形式化为受限预算下的序贯决策问题,为交互式智能体架构树立了清晰的理论指引。
  • 成本归一化优先级调度策略(Cost-Normalized Priority)极具落地价值:在企业级真实生产系统中,不同环境操作的代价异构性极高(DB只读查询 < 复杂计算执行 < 人工工单确认)。PASCAL提出的 \(\text{priority}_t(c) = \text{need}_t(c) / \text{cost}(c)\) 闭式启发式调度原则,不仅完全无需训练即可部署,而且天然与工程落地的成本约束完美契合。
  • “命名空间前置发现 + 参数级精准提问”的闭环设计高度可迁移:在处理长上下文知识库检索与复杂人机协同问答场景时,先展示轻量命名空间消除实体混淆、在穷尽系统信道后再发起带上下文约束的定向提问,这一范式不仅适用于数据库查询,对通用操作系统Agent、工具调用型Agent与客服决策系统均具有极高的通用参考意义。

局限与展望

  • 依赖环境知识库的半结构化规范组织:当前实验环境中的外部知识库经过了一定程度的预处理,具备清晰的条目命名与摘要结构。在完全非结构化、充斥大量长文档且混杂噪声的企业Wiki或知识图谱中,两阶段命名空间发现机制的构建成本与容错能力仍有待进一步拓展检验。
  • 模拟用户与真实人类交互行为存在分布漂移:论文当前采用规则与大模型(Gemini-2.5-Flash-Lite等)作为用户模拟器,返回的答复普遍基于标准参考答案(Gold-grounded)且具有确定性。真实人类用户在交互中往往可能给出含糊不清、甚至前后自相矛盾的反馈,智能体在面对带噪、不可靠人类输入时的自愈与鲁棒交互能力仍需进一步实证研究。
  • 调度优先级采用静态启发式设定而非自适应动态学习:当前通道调度基于设计期预设的固定常数成本体系,在面对底层数据库负载动态波动或用户响应延迟频繁变化的多变部署场景时,静态规则无法自适应动态调优,未来可探索结合离线强化学习与上下文强化学习的动态预算分配机制。

相关工作与启发

  • vs DIN-SQL / MAC-SQL / CHESS(静态单轮Text-to-SQL方法):静态方法将输入限定为“提示词 + 模式”,主要依靠思维链拆解、多Agent分工或执行结果纠错来优化生成,无法在运行时动态感知未知知识与意图歧义,在BIRD-Interact等交互基准上均难以突破 20.7% 的执行成功率;PASCAL则开辟了“信息获取优先”的交互式范式,通过动态关闭外部缺口为下游生成扫清障碍。
  • vs a-Interact(官方ReAct交互式Scaffold):a-Interact将全部工具接口无差异地抛给底层LLM自主决策,导致模型在面对复杂知识库时无的放矢、或陷入盲目的SQL重试泥潭;PASCAL通过成本感知调度器与状态监控重试中断器,对动作空间实施分阶段严格门控,以极低的控制开销实现了质的性能跨越。
  • vs PRACTIQ / ECLAIR(面向意图澄清的对话系统):现有澄清工作主要将用户提问孤立对待,往往过早或机械化地打扰用户;PASCAL则建立起清晰的成本阶梯,证明通过模式自检与知识库检索等廉价通道先行消化歧义,能将开放式提问压缩为高置信度的参数确认,大幅提升了人机交互的整体效益。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性揭示并形式化了交互决策中过早承诺与信息缺口的核心矛盾,提出了完备的五类缺口分类体系与免训练调度机制。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 300 篇任务的全量评测、6 个典型案例的微观轨迹归因、多维度渐进消融及跨基准(PRACTIQ)泛化验证,数据详实严密。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层层递进,从失败现象诊断到理论假说建立再到架构实现一气呵成,图表规范精准。
  • 价值: ⭐⭐⭐⭐⭐ 开创了交互式数据智能体从盲目生成到主动证据获取的全新设计范式,本地开源模型逆袭前沿闭源模型的成果具有重大工业落地指导价值。