TRIAD: Benchmarking Omni-Modal Ambiguity in Multimodal Large Language Models¶

会议: NeurIPS 2026
arXiv: 2610.30841
领域: 多模态 VLM
关键词: 全模态歧义消除、三模态互解消歧、反事实场景组、模态捷径依赖、全模态大语言模型

一句话总结¶

提出了首个面向全模态大语言模型（OMLLM）的“三模态严格互解消歧”评测基准 TRIAD，包含跨中英双语的 327 个查询与 86 个扰动场景组，揭示了当前顶尖模型在脱离选项脚手架后组准确率跌至个位数、重度依赖文本锚点与忽视音频韵律等多模态推理瓶颈。

研究背景与动机¶

人类日常交流中的多模态信息天然具有高度未充分说明性（underspecified）：单独一句话常存在代词指称或句法歧义，静态图像只能约束局部视觉空间却难以判定动态意图，而语音信号中的重音、语调、说话人特征与环境背景声则往往承担着锁定唯一解读的关键功能。然而，现有的多模态评测基准主要聚焦于感知、识别或基于确定性输入的单一推理任务。针对歧义性的工作（如 HallusionBench、CODIS、MUCAR 等）多局限于纯视觉或“文本-图像”双模态交互；而视听与全模态评测基准（如 AVQA、OmniBench、OmniMMI 等）又大多侧重于声学事件、发声物体检测或宽泛的跨模态问答，未曾将“文本-视觉-音频三模态共同参与、协同解歧”作为核心研究对象。

这种评测空白导致学术界无法判定当前全模态大模型（Omni-Modal LLMs，如 GPT-4o、Gemini 2.5/3 系列、Qwen-Omni 等）究竟是真正具备了融合异质模态线索的联合推理能力，还是仅仅依仗主导模态的静态先验或局部表面匹配做伪消歧。现有模型在面对多输入时往往出现模态捷径（modal shortcut）——文本往往成为提议答案的绝对锚点，视觉与听觉信息仅被当作从属性的验证凭证，甚至在文本与语音出现语义冲突时（如讽刺反语）直接忽略声学韵律特征。更重要的是，标准单道多选题无法检验模型是否真正掌握跨模态因果规律：模型即使碰巧选对某单个变体，也极可能在微调某一模态的反事实场景中彻底失去判断一致性。

针对上述挑战，本文将全模态消歧严格形式化为“三模态互解消歧”（tri-modal mutual disambiguation）任务。核心 idea：确立「三模态联合确定唯一答案、任意双模态子集均保持歧义」的不可约减数学准则，构建包含 327 个手工质检查询与 86 个单模态反事实扰动场景组的 TRIAD 基准，通过封闭多选、思维链以及去除选项的开放式生成等多维协议，严格诊断全模态模型在跨模态联合解歧与抗捷径推理上的真实鲁棒性。

方法详解¶

整体框架¶

TRIAD 将每个评测样本形式化为一个五元组 $x = (\mathcal{C}, \mathcal{I}, \mathcal{A}, \mathcal{Q}, \mathcal{Y})$，其中 $\mathcal{C}$ 为文本上下文，$\mathcal{I}$ 为图像，$\mathcal{A}$ 为自然音频片段，$\mathcal{Q}$ 为自然语言问题，$\mathcal{Y}$ 为包含 2 至 8 个选项的候选集合。模型的目标是从候选集中选出唯一成立的真实解读 $y^* \in \mathcal{Y}$。

基准的核心流程包括三个阶段：首先提出严格的三模态互解消歧数学约束与 5 位专家人工子集核验清单，筛选剔除任何单模态或双模态即可回答的冗余退化样本；其次建立覆盖文本、视觉、音频各 6 类叶子节点的 18 类跨模态歧义分类体系，并在此基础上构建单模态扰动的“姊妹查询”（sister queries）场景组；最后设计包含封闭选择（Standard）、思维链（CoT）以及剥离选项候选的开放式生成（Open-ended）等多模态诊断协议，结合全模态消融切片深入探究模型决策机制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    In["多模态候选输入<br/>文本 C + 图像 I + 音频 A + 问题 Q + 选项集 Y"] --> D1["严格互解消歧判定准则<br/>全模态唯一答案 |Y_M|=1 且 双模态非唯一 |Y_S|>1"]
    D1 --> D2["18 类跨模态细粒度歧义分类学<br/>语言学 / 视觉表征 / 声学声调各 6 类叶子标签"]
    D2 --> D3["场景组单模态反事实扰动机制<br/>固定核心场景与选项，单变图像或音频生成姊妹项"]
    D3 --> D4["多提示格式全模态诊断协议<br/>Standard 多选 / CoT 逐步推理 / Open-ended 自由生成"]
    D4 --> Eval["评估与诊断输出<br/>单项 Acc_q 与场景组一致性 Acc_g / 模态消融分析"]

关键设计¶

1. 严格互解消歧判定准则：杜绝单模态与双模态冗余快捷方式

为了彻底排除“单模态占优即可直接解出”或“某模态仅作背景装饰”的伪全模态样本，论文给出了明确的形式化定义。设全模态集合为 $\mathcal{M} = \{\mathcal{T}, \mathcal{V}, \mathcal{A}\}$，对于模态子集 $S \subseteq \mathcal{M}$，定义在受限输入 $x_S$ 下依然保持语义相容的候选答案集为 $\mathcal{Y}_S(x) = \{y \in \mathcal{Y} : y \text{ 与 } x_S \text{ 相容}\}$。良定（well-posed）的三模态消歧样本必须严格满足： $$|\mathcal{Y}_{\mathcal{M}}(x)| = 1 \quad \text{且} \quad \forall S \subset \mathcal{M}, |S|=2: |\mathcal{Y}_S(x)| > 1$$ 这一约束确保了完整三模态输入足以收敛到唯一真实解，但任意剥离一种模态（文本+图像、文本+音频、图像+音频）之后，剩余信息在语义上必然允许多个候选答案共存。在数据构建流程中，该准则由 5 位具备 NLP 与语言学专业背景的标注专家组成评审组，对每一个候选条目的所有单模态与双模态子集进行逐项独立检查。只有在所有 $|S|=1$ 与 $|S|=2$ 条件下均保留至少两个相容选项时方可入库，严防选项文本泄漏视觉/音频线索，最终仅有约 40% 的候选条目成功入选。此外，作者还开源了基于强模型多次采样的自动化验证参考脚本，以便社区复现与扩充评测。

2. 18 类跨模态细粒度歧义分类学：涵盖声学、视觉与语言底层语义

以往基准往往将歧义笼统视为单一的模糊性，TRIAD 构建了一个细粒度的 18 类歧义分类体系，在文本、图像、音频三个维度各定义 6 个互补的叶子类别： - 文本歧义（Text）：指称歧义（Anaphoric，代词/指示代词目标不决）、句法歧义（Syntactic，介词短语挂靠与并列结构模糊）、逻辑歧义（Logical，否定与量词辖域不定）、语用歧义（Pragmatic，言语行为/反讽/礼貌否定）、时序歧义（Temporal，动作发生先后与时态未明）、词汇歧义（Lexical，多义词与同音异义）。 - 图像歧义（Image）：符号象征（Semiotic，文化或手势多重寓意）、定位对齐（Grounding，画面多个候选实体匹配题干）、空间方位（Spatial，深度/前后/方位二义性）、运动学状态（Kinematic，静态动作瞬间的方向与阶段模糊，如开门或关门）、视角观测（Observational，剪影/光影致使物体形貌多解）、上下文语境（Contextual，单纯画面难以断定具体场合场景）。 - 音频歧义（Audio）：指称角色（Referential，称谓依说话对象而转移）、音调韵律（Prosodic，焦注重音与语调升降翻转语义）、说话人索引（Indexical，声纹年龄/性别/身份决定社会称谓）、语音音素（Phonetic，连读/音联与最小对立体模糊）、环境声效（Environmental，背景音效决定前景对话性质）、非语象征（Symbolic，门铃/特定电话铃声等物理信号消歧）。每个题目均打上三个模态各一个细粒度标签，同时依据模态内部固有的模糊度划分成 1-歧义（230 题，70.3%）、2-歧义（59 题，18.0%）与 3-歧义（38 题，11.6%）三个复杂层级。

3. 场景组单模态反事实扰动机制：严格惩罚静态场景先验与猜测

孤立的多选题评测极易掩盖模型的虚假成功：模型可能仅仅依靠常识先验或偏好某种特定选项模式猜中答案，而非真正理解了模态特征的因果影响。为此，TRIAD 将 327 个查询组织成 86 个场景组（Scene Groups $\mathcal{G}$），每个组包含 2、3、4 或 8 个姊妹查询（平均每组 3.8 个）。同一个场景组内的姊妹查询共享核心背景叙事、问题模板与候选选项池，但仅对其中一个模态施加严密控制的反事实扰动： - 图像扰动组：保持文本与音频完全一致，替换关键图像帧，迫使正确选项随视觉线索变化而翻转； - 音频扰动组：保持文本与图像完全一致，由同一配音演员在相同录音环境下切换重音位置（如将重音分别落在“I didn't say she stole the money”的不同单词上）或调整语调态度，导致所蕴含的真实语义发生确定性偏移； - 混合扰动组：跨姊妹样本成对切换不同受控变量。在评估时，论文不仅计算常规的单题准确率 $\mathrm{Acc}_q$，更将场景组一致性准确率 $\mathrm{Acc}_g$（仅当场景组内所有姊妹查询全数答对时该组才记为正确）作为核心指标，从根本上杜绝利用静态捷径蒙混过关的可能性。

4. 闭卷多选向开放式生成的全模态诊断协议：剥离候选选项脚手架

传统多模态基准高度依赖多项选择题格式，但选项列表本身就是一个强烈的外部假设脚手架（hypothesis scaffolding），允许模型在尚未形成完整三模态情境模型的情况下，仅通过选项间的置信度排序便侥幸命中。为了度量模型自主构建情境消歧表征的真实能力，TRIAD 制定了三套提示协议与多模态消融对照矩阵： - 标准多选（Standard）与思维链多选（CoT）：显式提供选项，严格精确匹配输出代号； - 无选项开放式回答（Open-ended）：完全隐藏选项内容，要求模型直接输出简短明确的消歧判定短语，并引入两套独立的先进大模型裁判进行严格对齐打分与人工复核仲裁； - 模态留一消融（Leave-one-out）：分别测试剔除文本（No-Text）、剔除图像（No-Image）和剔除音频（No-Audio），以及单模态输入（Text-only / Image-only / Audio-only）。在严格互解的数据集设计下，若模型在剔除某一模态后仍表现出极高准确率，直接证明了其对剩余模态捷径的严重依赖。

损失函数 / 训练策略¶

作为纯诊断型评估基准，TRIAD 本身不提供训练集或梯度反向传播机制。在全模型基准评测实施中，所有 14 个 OMLLM 均在零样本（zero-shot）贪婪解码（温度 $T=0$）模式下进行原生三模态音频、图像与文本推理，音频输入统一规范为 48kHz 单声道 PCM 格式并进行 -23 LUFS 能量归一化。

实验关键数据¶

主实验¶

论文对 6 款主流商业全模态大模型及 8 款开源全模态大模型进行了评测，涵盖标准多选（Std）、思维链（CoT）、开放式回答（Open）以及各类模态消融下的表现。随机基线与人类表现作为上下界参照。

模型	全输入 Std $\mathrm{Acc}_q$	全输入 Std $\mathrm{Acc}_g$	全输入 CoT $\mathrm{Acc}_g$	全输入 Open $\mathrm{Acc}_g$	文本独存 Text $\mathrm{Acc}_g$	去除图像 No-I $\mathrm{Acc}_g$	去除音频 No-A $\mathrm{Acc}_g$
Random Baseline	24.3	2.2	–	–	2.2	2.2	2.2
Human Reference	95.1	91.6	–	79.2	18.2	70.5	60.7
Gemini 3.1 Pro	90.4	71.2	72.5	4.6	42.6	57.2	51.8
Gemini 3 Pro	89.2	68.9	70.4	3.1	40.1	54.7	49.4
Gemini 3 Flash	82.5	59.4	58.1	3.5	38.9	52.3	45.8
Gemini 2.5 Pro	80.7	55.3	58.0	3.3	33.5	45.9	40.2
GPT-4o	76.3	49.8	52.9	2.8	28.9	41.8	36.5
Gemini 2.5 Flash	73.2	45.6	46.8	2.9	30.3	40.5	34.1
Qwen3.5-Omni-Plus	78.0	52.8	51.4	3.1	32.1	43.6	39.7
Qwen3-Omni-30B	72.5	41.7	40.9	2.3	25.0	35.2	30.2
MiniCPM-o-4.5	66.2	36.4	38.2	1.6	21.3	30.1	25.9
Qwen2.5-Omni-7B	61.8	30.2	32.5	1.2	17.2	24.6	20.8
OmniVinci-9B	58.7	26.9	25.4	1.0	15.0	21.7	18.4
Ola-7B	55.4	23.8	24.7	0.9	13.2	18.9	16.1
Qwen2.5-Omni-3B	54.1	22.1	20.6	0.7	11.9	17.3	14.8
Baichuan-Omni-1.5	52.9	20.4	19.2	0.6	10.6	15.8	13.5

消融与细粒度分析¶

为了深入剖析模型推理瓶颈，表 2 展示了不同歧义复杂层级（1/2/3 模态内含歧义）下的单题准确率，以及代表性模型在查询级模态消融测试下的指标响应：

| 模型 | 1-歧义模态 (70.3%) | 2-歧义模态 (18.0%) | 3-歧义模态 (11.6%) | 无输入 None | 仅文本 Text | 去除文本 No-T | 去除图像 No-I | 去除音频 No-A | |---|---|---|---|---|---|---|---| | Gemini 3.1 Pro | 95.4 | 94.1 | 87.8 | 29.1 | 85.7 | 55.4 | 87.1 | 82.9 | | Gemini 3 Pro | 94.8 | 92.6 | 86.2 | 28.7 | 83.9 | 53.6 | 86.1 | 81.4 | | Gemini 3 Flash | 87.9 | 87.7 | 80.6 | 27.4 | 81.1 | 43.6 | 82.1 | 82.0 | | Qwen3.5-Omni-Plus| 93.9 | 82.3 | 74.4 | 21.1 | 74.5 | 43.8 | 77.5 | 75.5 | | GPT-4o | 87.5 | 80.9 | 72.1 | 25.9 | 69.7 | 44.3 | 74.0 | 70.8 | | Gemini 2.5 Flash | 86.9 | 81.8 | 68.6 | 17.4 | 69.5 | 39.6 | 74.8 | 73.0 | | MiniCPM-o-4.5 | 78.6 | 71.4 | 61.5 | 22.4 | 60.1 | 36.7 | 65.0 | 61.9 | | Qwen2.5-Omni-7B | 73.2 | 66.8 | 57.3 | 20.5 | 56.4 | 33.1 | 60.2 | 58.5 | | Baichuan-Omni-1.5 | 65.4 | 58.2 | 48.7 | 22.1 | 48.4 | 28.2 | 52.3 | 49.8 | | Human Reference | 97.8 | 96.2 | 93.6 | 24.3 | 41.8 | 46.7 | 72.5 | 68.3 |

关键发现¶

场景组一致性暴露伪消歧假象：虽然最强商业模型 Gemini 3.1 Pro 在查询级准确率（$\mathrm{Acc}_q=90.4\%$）上已逼近人类基线（95.1%），但一旦考察场景组所有姊妹题的连贯一致性，其组准确率（$\mathrm{Acc}_g=71.2\%$）落后人类参考（91.6%）超过 20 个百分点。随着组规模从 2 扩展到 8，模型组准确率从 51.8% 崩塌至 8.9%，证实模型对单模态受控扰动缺乏稳健的因果追踪能力。
无选项开放式回答全面溃败：当剥离候选选项列表、要求模型自由生成消歧短语时，所有模型的组准确率全部断崖式下跌至个位数（最高仅 4.6%），而人类依然稳居 79.2%。这表明当前模型在多选题上的优异表现主要得益于在离散假设空间中做判别匹配，而非真正自主构建了跨模态联合理解。
重度依赖文本锚点与音频低利用率：在消融实验中，去除文本导致准确率暴跌，但去除图像或音频后，顶级模型在 Standard 格式下依然保持 80%+ 的单题准确率；人工错误分析显示 35.0% 的失败源自“仅把音频当文字听（Transcript-only listening）”而直接无视声调重音，25.5% 源于过早锚定图像，印证了系统性的提前承诺（Premature Commitment）错误模式。
难度与跨模态歧义层级高度相关：所有模型在 3-歧义样本上的表现均显著劣于 1-歧义样本（如 Qwen3.5 从 93.9% 跌至 74.4%），验证了 TRIAD 成功度量了分布在多模态上的深层语义不确定性，而非单纯的图像/声音感知噪声。

亮点与洞察¶

将消歧严格形式化为不可约减的三模态交互：突破了传统评测单纯堆叠模态数量的局限，提出了任意双模态子集皆不可判定的必要性约束，为真正的“全模态联合推理”设立了清晰的理论边界。
场景组单模态反事实扰动有效破解作弊先验：通过姊妹题微调单个模态而保持其他上下文绝对静止的设计，精准捕获了模型“看似单题答对、实则组内随机”的虚假表征，该评测范式对反事实鲁棒性研究具有极高推广价值。
揭示了“候选题脚手架”对大模型评估的巨大虚高效应：多选评测掩盖了全模态模型自主生成跨模态一致表征的严重无能，这一洞察对未来多模态基准的设计提出了严肃的方法论警示。

局限与展望¶

基准规模与全三向歧义覆盖有限：由于三模态互解消歧的数据构筑极其严苛且依赖多道专家人工把关，总样本量为 327 条，其中完全三向内部皆含歧义的高阶样本仅占 11.6%，对模型极度复杂的长尾失效模式覆盖仍有提升空间。
开放式判卷依赖 LLM 裁判的潜在偏差：虽然引入了两款独立裁判模型交叉验证并对争议样本实施人工复议，但自由语言表述的多样性仍可能带来评分噪声。
未来方向：作者计划引入多语言文化背景与现实噪声场景下的声学样本，探索结合轻量化微调或强化学习针对性纠正全模态模型“提前承诺”与“忽略音频副语言特征”的训练方案。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次形式化并实现了三模态严格互解消歧基准与反事实场景组评估体系]
实验充分度: ⭐⭐⭐⭐⭐ [详尽评测了 14 款主流模型在 3 种提示协议与 8 种模态消融下的系统性表现]
写作质量: ⭐⭐⭐⭐⭐ [概念定义极其清晰严格，统计分析逻辑严密，图表信息高度凝练]
价值: ⭐⭐⭐⭐⭐ [深刻揭示了当前全模态大模型伪消歧与模态捷径的致命缺陷，对全模态研究有重要导向意义]