When Seeing Is Not Enough: Benchmarking Interactive Visual Grounding in LVLMs¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/jaaack-wang/benchmarking-interative-visual-grounding
领域: 多模态大模型
关键词: 交互式视觉定位, 多模态大语言模型, 主动信息搜寻, 共同基准建立, 置信度校准
一句话总结¶
本文提出了首个系统化解耦视觉匹配与主动信息搜寻的受控交互式视觉定位基准,通过操纵前置信息丰度的四阶递进协议(STATIC / FULL / PARTIAL / NONE),揭示了前沿多模态大模型显著落后于人类水平且在纯主动提问定位中严重溃败的核心瓶颈。
研究背景与动机¶
视觉定位(Visual Grounding)是多模态人工智能的核心基石,要求智能体根据自然语言描述在视觉环境中精准识别并定位目标实体,为具身智能导航、开放世界问答与人机协同交互提供关键支撑。随着跨模态预训练和多模态大语言模型(LVLMs)的爆发式发展,前沿模型在标准视觉定位基准上展现出惊人的单发匹配性能,部分数据集甚至已接近饱和。然而,传统基准普遍建立在一个高度理想化的前提假设之上:模型在开始定位前即被赋予了一段信息充分、无歧义的静态指称表达式(Referring Expression)。这种非交互式的“单轮一发映射”设定本质上只检验了静态跨模态模式匹配能力,无法评测模型是否具备判断信息缺失、主动发起澄清提问以及跨轮次动态融合线索的高阶认知能力。
这一假设与真实世界中人类指称交流的基本运作机理存在深刻脱节。在现实的人际沟通过程中,初始指称表达往往是不完全的、充满歧义的,或者是高度依赖于特定局部视觉语境的。对话双方依赖澄清提问、确认以及多轮反馈逐步建立“认知共同基准”(Common Ground)。以往将交互引入视觉定位的研究(如目标猜测游戏或特定人机对话)虽然初步触及了交互特性,但因未能系统控制前置目标信息的可用程度,导致实验结果混杂在一起:当整体定位准确率下降时,研究者无法界定失败究竟源于模型的底层视觉感知缺陷,还是源自主动信息搜寻与跨轮次线索综合的失效。这种混叠效应掩盖了本质不同的失效模式,难以指引多模态智能体的针对性演进。
为了打破静态评测的桎梏并彻底解耦感知匹配与主动交互能力,本文构建了一套受控的交互式视觉定位评估框架。通过设计 Director(指导者)与 Matcher(匹配者)之间的非对称信息博弈,在四种具有人类真实交互基础的视觉语境下,系统性梯级调控前置初始信息的供给量。核心 idea:构建双角色非对称视觉参考博弈,设立覆盖“单发匹配-可选澄清-欠缺恢复-纯问答建构”的四阶递进信息协议(STATIC / FULL / PARTIAL / NONE),在 38,848 次真实博弈中系统性解耦并量化多模态大模型在视觉匹配、主动探询与置信度元认知上的综合能力缺陷。
方法详解¶
整体框架¶
本文构建的交互式视觉定位评估框架将视觉定位重新形式化为一个双人协作的非对称信息参考博弈。系统中包含两个核心角色:指导者(Director) 与 匹配者(Matcher)。Director 拥有一个由 \(K\) 个有序目标物体构成的集合 \(D = (d_1, d_2, \dots, d_K)\);而 Matcher 则面对一个包含 \(N\) 个物体(\(N \ge K\),包含额外视觉干扰项 distractor)且索引经过独立随机打乱的候选集合 \(M = (m_1, m_2, \dots, m_N)\)。双方无法看到对方的视界,亦不能通过绝对坐标或位置索引进行通信,必须通过多模态自然语言对话逐步达成一致,最终由 Matcher 输出预测的目标序列 \(\hat{D} = (\hat{d}_1, \dots, \hat{d}_K)\)。
整个基准的端到端评测流水线自上而下包含多模态博弈环境初始化、递进协议分流以及决策评估三个核心阶段。针对每个待识别的目标物体,双方在受控的回合预算内展开对话;Matcher 可在对话过程中提出澄清问题,并在发现新证据时对先前已做出的决策发起自修复修正。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["多模态输入<br/>Director目标集合 + Matcher打乱候选网格"] --> Des1["双角色非对称视觉参考博弈<br/>非对称局部可观测视界与多轮问答通信"]
Des1 --> Des2["递进式信息可用性交互协议<br/>STATIC / FULL / PARTIAL / NONE 四阶控制梯级"]
Des2 --> Des3["动态自我修复与置信度校准机制<br/>跨轮次选择回溯修正 + 0-100置信度分箱评估"]
Des3 --> Out["最终决策输出<br/>目标匹配序列 + 准确率/提问率/校准误差报告"]
关键设计¶
1. 双角色非对称视觉参考博弈:消除空间作弊并还原真实沟通的不对称观测视界 传统视觉定位通常假定输入输出空间同构,导致模型容易利用布局先验或相对坐标投机取巧。本基准将评测置于局部可观测与信息不对称的严格博弈中:Director 仅按特定顺序观测纯目标物体,而 Matcher 观测到的网格将所有目标图像与干扰项混洗并独立重排索引。通信过程中,Prompt 显式严禁双方提及任何网格索引、行列绝对位置或邻近物体关系(仅允许描述物体内部的几何结构与外观细节)。每轮交互 utterance 限制在 50 词以内,单目标设 10 轮交互硬上限。这种设计切断了一切非语义捷径,强制模型必须完全依赖跨模态细粒度语义的表达与辨析,以此还原人类在协同任务中建立 Common Ground 的本质认知挑战。
2. 递进式信息可用性交互协议:解耦静态视觉感知与主动信息搜寻及跨轮综合能力
为了将“看不准(感知局限)”与“问不出/合不成(交互信息搜寻缺陷)”精确剥离,基准设计了四个梯级协议:
- STATIC(静态单发):Matcher 单向接收高质量人类完整描述,禁止交互,纯粹测试静态跨模态匹配上限;
- FULL(完整输入+可选澄清):提供相同的人类充分描述,但允许 Matcher 主动追问以验证疑点、消除细微混淆或确认假设;
- PARTIAL(欠缺指定+主动补全):初始仅提供由 LLM-as-a-judge(GPT-5.4)自动抽取的最低信息量属性(属性支持率高达 0.998、描述覆盖率 0.895),迫使 Matcher 意识到描述的不完备性并主动向 Director 索取关键判别特征;
- NONE(零初始描述+纯问答建构):不给任何初始描述,Director 仅充当预言机对提问返回“Yes”、“No”或“Unclear”,Matcher 必须由浅入深自主规划问题链,完全凭借问答反向推断并建构目标实体的内部表征。
四阶协议构成了清晰的信息阶梯,使得研究者能够精准诊断模型在哪个交互阶段发生能力崩塌。
3. 动态自我修复与置信度校准机制:量化多模态交互中的错误感知与元认知失调 在多轮对话中,先前的错误往往会像滚雪球般污染后续决策。本基准特别支持并记录 Matcher 的“自修复”(Self-Repair)行为:当 Matcher 在后续轮次发现更强的新证据推翻了此前的假设时,允许在 JSON 响应中提交对先前目标位置的回溯修改。同时,Matcher 在每一次做出匹配选择时,必须同步输出 \([0, 100]\) 的显式置信度评分 \(c_j\)。评估体系将置信度划分为 10 个均匀分箱 \(B_\ell \in [0, 10), \dots, [90, 100]\),通过绘制经验准确率与置信度的对齐曲线,并计算加权期望校准误差: $\(ECE = \sum_{\ell=1}^{10} \frac{|B_\ell|}{N} \left| \text{acc}(B_\ell) - \text{conf}(B_\ell) \right|\)$ 从而量化模型是否真正“知其知与不知”。这使得基准不仅能衡量定位结果对错,更能剖析模型在面临信息不确定时的认知校准与纠错能力。
交互式视觉定位与多轮评估协议¶
本节系统规范整个评测框架的数据构建、角色模拟与执行协议:
1. 多语境基准数据集构建:整合四类源于经典认知语言学与人机参考实验的人类交互数据集:
- Dogs(狗数据集):13 个候选物体(10 目标 + 3 干扰项),口语对话转录,真实物体,具名性强;
- Baskets 1(篮子数据集 1):13 个候选物体(10 目标 + 3 干扰项),口语对话转录,真实细粒度编织物,具名性极弱;
- Baskets 2(篮子数据集 2):18 个候选物体(12 目标 + 6 干扰项),文本对话,真实细粒度编织物,具名性极弱;
- Tangrams(七巧板数据集):12 个候选物体(12 目标,无干扰项),文本对话,抽象几何拼图,形状命名高度发散。
数据集经严格质量筛选,仅保留人类对话成功率高(Zeng \(\ge 80\%\),Hawkins \(\ge 90\%\),Wang 100%)且多轮跨轮表现不退化的高质量对话(共计 48 个完整人类对话,沉淀 536 个物体描述对)。
2. 模拟通信与角色交互:
- Director 角色统一由 GPT-5.4 固定模拟(其与人类 Matcher 初始轮次准确率约 85%),并在后续验证中对比了 Gemini-3.1-Flash Director,两者排名相关性极高(Spearman \(\rho \ge 0.929\)),消除了特定信息源的偶发偏置;
- Matcher 由被测的 8 款主流开源与闭源 LVLM 扮演,交互输出严格采用带 schema 校验的 JSON 格式(包含自然语言发言 utterance、目标选择列表 selections 及各自的 confidence);
- 交互规则要求 Matcher 在发起追问或确认时不得内部提交选择;一旦决定确认推进到下一目标,必须显式提交选择;达到 10 轮上限时强制输出选择。
3. 评测指标全景:主指标包含匹配准确率(Accuracy,%)(每轮正确匹配目标的比例,随机猜测基线为 \(1/N\))与提问率(Question Rate)(平均每个目标提出的问题数,STATIC 下恒为 0);次要指标包含校准曲线/ECE 以及自修复行为统计(修复次数、成功纠正率、致错率、无效修改率及置信度前后变化)。
实验关键数据¶
主实验¶
主实验在 8 款主流 LVLM(涵盖 GPT-5.5、GPT-5.4、GPT-5.4-Mini、Gemini-3.1-Pro、Gemini-3.1-Flash、Gemma-4-31B-IT、Qwen3-VL-32B、Qwen3-VL-8B)上展开,每款模型在四种协议下各完成 2,144 次目标判定,主评测共产生 17,152 次选择(包含扩展实验共计 38,848 次判定)。
下表汇报了各模型在四种交互协议下的微观平均准确率(%)及相对于 STATIC 静态基线的增减变化(配对 t 检验显著性):
| 模型 (Model) | STATIC (静态基线) | FULL (完整+可选澄清) | PARTIAL (欠缺+主动补全) | NONE (纯问答建构) |
|---|---|---|---|---|
| Gemini-3.1-Pro | 87.5 | 89.9 (+2.9) | 89.0 (+2.3) | 56.7 (-28.6*) |
| GPT-5.5 | 65.8 | 69.5 (+3.6) | 71.4 (+5.5) | 59.7 (-6.1) |
| GPT-5.4 | 66.1 | 69.4 (+3.4*) | 65.5 (-0.4) | 43.2 (-23.6*) |
| Gemini-3.1-Flash | 67.8 | 65.3 (-2.7) | 54.5 (-12.9*) | 37.9 (-30.4**) |
| Gemma-4-31B-IT | 56.0 | 60.0 (+4.3) | 58.4 (+2.6) | 26.4 (-29.0**) |
| Qwen3-VL-32B | 48.8 | 50.5 (+2.8) | 44.0 (-4.0) | 23.9 (-25.5*) |
| GPT-5.4-Mini | 47.9 | 49.0 (+0.6) | 37.1 (-11.5*) | 13.5 (-35.2*) |
| Qwen3-VL-8B | 33.6 | 35.0 (+1.6) | 35.3 (+1.2) | 21.6 (-12.7*) |
人机能力鸿沟与数据集分析¶
为了衡量当前模型与人类真实表现的绝对差距,下表统计了各模型在各自最优交互协议下,与任务级人类基准的平均准确率差距(配对均值差 %,负值代表落后于人类,* 表示统计显著性):
| 模型 (Model) | Dogs (狗, 13选10) | Baskets 1 (篮子1, 13选10) | Baskets 2 (篮子2, 18选12) | Tangrams (七巧板, 12选12) | All (全数据集汇聚) |
|---|---|---|---|---|---|
| Gemini-3.1-Pro | -7.0* | 0.0 (持平人类) | -8.3* | -6.0 | -6.8** |
| GPT-5.5 | -14.0** | -15.0** | -18.5*** | -40.5*** | -25.3*** |
| GPT-5.4 | -26.0*** | -16.0*** | -20.8*** | -42.9*** | -27.3*** |
| Gemini-3.1-Flash | -18.0*** | -23.0** | -22.6*** | -47.0*** | -28.9*** |
| Gemma-4-31B-IT | -37.0*** | -31.0*** | -27.4*** | -44.6*** | -36.7*** |
| Qwen3-VL-32B | -25.0*** | -26.0** | -41.7*** | -72.6*** | -46.2*** |
| GPT-5.4-Mini | -40.0*** | -30.0*** | -32.1*** | -70.8*** | -47.7*** |
| Qwen3-VL-8B | -42.0*** | -54.0*** | -61.9*** | -72.0*** | -61.4*** |
消融与扩展分析¶
- 测试时推理预算(Reasoning Effort)的影响(以 Tangrams 数据集为例):
- GPT-5.4 在静态单发
STATIC下:无推理为 50.6%,中等推理 52.4% (+1.8),高等推理 48.8% (-1.8),静态匹配几乎不从推理计算中获益; - GPT-5.4 在交互式
FULL下:无推理为 52.4%,中等推理跃升至 60.7% (+8.3),高等推理为 61.3% (+8.9); - GPT-5.4-Mini 在
FULL下:无推理 17.3% \(\to\) 中等推理 30.4% (+13.1) \(\to\) 高等推理 31.0% (+13.7); -
结论:推理思维链在交互场景中能显著改善线索分析与提问质量,但在中等(Medium)到高等(High)之间迅速遭遇边际收益递减的瓶颈。
-
自修复行为(Self-Repair)的稀疏性与模型分化:
- 全体实验中自修复极为罕见,总发生率不足 2%(536 次匹配中累计仅观测到 49 例),且全部发生在 FULL 和 PARTIAL 中,NONE 下自修复为 0;
- 在 49 例自修复中,成功由错改对的占 53.1%(26 例),但改对为错的占 10.2%(5 例),错改错的无效循环占 36.7%(18 例);
-
模型显著分化:Gemini-3.1-Pro 表现出极强的反思能力,17 次修改中 13 次成功修正(76.5% 成功率),修正后置信度微降 -4.3 分;而 GPT-5.4 发生的 6 次修改中成功率为 0.0%(3 次改对为错,3 次错改错),且修改后置信度反常暴增 +11.2 分,暴露了其致命的错误盲信。
-
替代 Director 与多领域迁移鲁棒性:
- 将 Director 更换为 Gemini-3.1-Flash 后,FULL 协议下匹配准确率仅微跌 1.1%(51.5% \(\to\) 50.4%),PARTIAL 协议下微跌 3.5%(48.3% \(\to\) 44.8%),Matcher 之间的排位相关性极高(FULL 下 Spearman \(\rho = 0.929\),PARTIAL 下 \(\rho = 0.976\)),证明评测结论具备跨信息源稳定性;
- 在全新的 FACES 微表情数据集(6 组面部肖像、每组 12 张)上迁移评测:整体准确率呈现严格一致的梯度——STATIC (48.7%) \(\approx\) FULL (47.8%) > PARTIAL (41.9%) > NONE (30.7%)。
关键发现¶
- 交互能补全证据,但无法代替初始指引:在 FULL 协议下,8 款模型中有 7 款表现超越 STATIC(如 GPT-5.5 提升 +3.6%,Gemma 提升 +4.3%),证明可选的追问能够修复理解盲点;然而一旦初始描述被彻底抽离(NONE 协议),所有模型准确率全线暴跌(GPT-5.4 从 66.1% 跌至 43.2%,Mini 从 47.9% 跌至 13.5%),即使模型在此协议下提问次数最多,也无法自力更生构建出有效的目标表征。
- 提问数量不等于交互质量:GPT-5.4-Mini 在交互中极度被动,提问率接近于 0,在 PARTIAL 和 NONE 下性能溃败;然而“多问”并不必然导向“答对”——Gemini-3.1-Pro 在 NONE 下的提问率显著高于 GPT-5.5,但 GPT-5.5 凭借更精准的信息整合能力在 NONE 下反超 Gemini-3.1-Pro(59.7% vs. 56.7%)。
- 严重的过度自信与元认知校准失调:虽然模型能根据信息匮乏程度主动调低汇报的置信度(置信度呈现 NONE < PARTIAL < FULL),但在分箱校准图上绝大多数数据点深陷对角线下方,表明模型的实际胜任力远低于其自我宣称的置信度。
亮点与洞察¶
- 解耦认知维度的实验设计:通过静态单发与三类交互梯级(FULL/PARTIAL/NONE)的严密对照,第一次在评测上厘清了“视觉表征对齐”与“协作对话推理”的能力边界,彻底打破了仅靠一发 Prompt 测定位的局限。
- 揭示自修复机制的双刃剑特性:揭露了多模态模型在缺乏对偶校验时的自修复幻觉——弱模型(如 GPT-5.4)在发起决策修正后不仅无法纠错,反而盲目拔高自信心,这一发现对构建高可靠多模态 Agent 具有深刻警示意义。
- 可复用的真实参考数据集管线:将人类真实认知实验中的口语、笔语以及抽象七巧板数据转化为严格受控的多模态图表输入,为未来评估对话具身智能体提供了极高价值的标准化基准资产。
局限与展望¶
- 模拟 Director 的生态局限:尽管验证了 GPT-5.4 与 Gemini-3.1-Flash 的高度一致性,但由 LLM 模拟的 Director 依然无法完全模拟真实人类在面对不确定性时的眼神交流、语调暗示及复杂共识建立动态。
- 视觉场景复杂度受限:当前基准主要基于独立物体的网格排布(Object-level Contexts),尚未覆盖杂乱自然场景(Cluttered Scenes)、复杂空间三维关系推理(3D Spatial Grounding)以及开放世界主动视点漫游。
- 未来方向:探索开放式回答(突破 NONE 协议下的 Yes/No 约束)、将强化学习(RLVR)与自我反思(Self-Correction)机制引入多轮视觉定位训练,以及向具身机器人主动视觉交互系统的真实落地。
相关工作与启发¶
- vs. 静态视觉定位 (RefCOCO, Flickr30k Entities, Ref-Adv): 传统工作依赖长且充分的单一文本描述评估单步区域匹配;本文打破充分性假设,引入双角色通信,重点测试在信息残缺时的澄清、恢复与建构能力。
- vs. 目标问答与辨析基准 (GuessWhat?!, INGRESS, InViG): 早期工作局限于受限单目标游戏或单一物体的问答分类;本文拓展至多目标集合在复杂干扰项下的受控参考博弈,并实现了多阶信息梯度的严格解耦。
- vs. 多模态多轮长对话评测 (MMDU, MMRC, Chatterbox): 现有长对话评测多聚焦通用多轮指引遵循或长文本记忆;本文深入语用学(Pragmatics)与认知交互核心,以 Common Ground 建立为纲,系统剖析了模型的不确定性表达与校准问题。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐(首次提出系统解耦感知匹配与交互搜寻的四阶多模态定位基准)
- 实验充分度: ⭐⭐⭐⭐⭐(涵盖 8 款主流开源/闭源 LVLM、38,848 次真实判定、5 大扩展验证)
- 写作质量: ⭐⭐⭐⭐⭐(概念界定严谨,认知语言学与自然语言处理结合精妙,逻辑链极为扎实)
- 价值: ⭐⭐⭐⭐⭐(直击具身多模态智能体在人机协同交互中的核心短板,指导意义重大)