EDMA: Entropy-Driven Multimodal Answering¶

会议: NeurIPS 2026
arXiv: 2610.27120
领域: 多模态VLM
关键词: 多模态问答、逻辑熵、熵减推理、模态归因、动态轨迹选择

一句话总结¶

本文提出 EDMA 框架，通过引入逻辑熵将多模态问答形式化为候选答案空间上的迭代划分精炼与熵减过程，实现了每一步推理与各模态贡献的显式量化归因，并在大幅削减假阳性错误的同时显著超越现有 CoT 与规划提示基线。

研究背景与动机¶

多模态问答（MMQA）要求智能体跨越异构数据源（自然语言文本、结构化表格与视觉图像）进行深度的联合推理。例如在面对跨模态复合查询时，模型必须从图像中提取局部视觉特征，在表格中锁定实体关联属性，并结合文本背景段落交叉印证，才能推导出正确答案。随着多模态大语言模型（MLLM）的发展，思维链（CoT）与规划式提示（Planning Prompting）被广泛用于将复杂问答分解为中间推理步骤，显著缓解了单步端到端生成的幻觉问题。

然而，现有方法在推理过程的可解释性与控制力上存在关键瓶颈：无论是多步思维链、分步规划还是多智能体协同框架，均未能显式量化各个独立模态及其跨模态融合对候选答案空间不确定性消除的具体贡献。推理链条在隐式状态下展开，无法衡量加入图像或表格究竟排除了多少干扰候选项，导致推理轨迹缺乏可追溯的置信度信号；一旦中间某个步骤引入无关干扰或模态误读，模型往往沿着高不确定性的错误分支持续蔓延。

针对这一根本矛盾，本文提出以信息划分的不确定性度量来审视多模态推理。核心 idea：基于逻辑熵（Logical Entropy）将多模态问答建模为候选答案集合上的序列划分精炼与熵减过程，通过量化单模态划分与跨模态双向条件过滤带来的熵减幅度构建显式推理轨迹，并以最终逻辑熵最小化原则选择最优路径生成答案。

方法详解¶

整体框架¶

EDMA 将多模态问答定义为在候选答案空间上的熵驱动搜索算法，整个推导管线分为四个紧密衔接的阶段： 1. 答案需求提取与初始模态预测：解析复杂自然语言问题，抽取答案必须满足的结构化原子约束需求集合 $R$，并根据问题与各模态候选元素粗筛出起始模态集合 $M_s$； 2. 单模态划分与逻辑熵计算：遍历活跃模态中的各个要素，依据各需求 $r \in R$ 生成二元划分，基于集合基数计算无偏的单模态逻辑熵，初筛高区分度线索； 3. 跨模态序列条件过滤与多模态划分：轮流将各模态视作目标模态，提取其他条件模态的交叉证据实施级联过滤，收缩目标模态候选集并计算多模态逻辑熵及相对熵减率； 4. 熵最小化轨迹选择与最终答案生成：将单模态与多模态状态映射为可量化轨迹，选取全过程中使逻辑熵达到全局最低的轨迹终点，由 LLM 基于紧凑证据集输出最终答案。若推理失败，则引入未探索模态继续回溯循环。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入问题 Q 与多模态要素集合 {Ωm}"] --> Des1["需求抽取与初始模态预测<br/>抽取约束 R={r} 并预测起始模态 Ms"]
    Des1 --> Des2["单模态划分与逻辑熵评估<br/>构建二元划分 P_m^r 并计算 H(P_m^r)"]
    Des2 --> Des3["跨模态序列条件过滤<br/>提取证据 E_m 级联约束目标模态候选集"]
    Des3 --> Des4["基于逻辑熵最小化轨迹选择<br/>评估轨迹相对熵减 ΔH 并选定最优路径 t*"]
    Des4 --> Out["目标实体与强证据上下文推理<br/>输出跨模态答案 a*"]

关键设计¶

1. 需求抽取与初始模态预测：问题解构与搜索边界约束 传统多模态提示往往直接向模型输入整组多模态上下文，极易被无关模态的大量冗余元素干扰。针对该痛点，EDMA 在推理前置阶段引入形式化解构：通过定制提示指导 LLM 将输入问题 $Q$ 转化为结构化查询帧，提取预期答案类型、目标实体以及一组原子且可独立验证的约束需求集合 $R=\{r_1, r_2, \dots, r_k\}$。同时，模型结合问题与各模态要素的元数据，预测最可能包含解题线索的起始模态子集 $M_s \subseteq M$ 并初始化已分析模态列表 $M_a$。这一设计在搜索初始阶段就限定了求解目标必须满足的充要条件，为后续构造集合划分奠定了形式化准则。

2. 单模态划分与逻辑熵评估：无需概率标定的不确定性量化 现有大模型不确定性估计方法大多依赖输出 token 的后验概率分布或词表 logit，在面对闭源商业模型或未标定开源模型时难以通用。EDMA 采用 Ellerman 的逻辑熵理论，从候选集合区分度的视角建立指标。对任意候选元素集合 $S$ 及二元划分 $P_S = \{S_r, S_{\neg r}\}$（其中 $S_r$ 为满足需求 $r$ 的元素子集），在均匀先验假设下，逻辑熵定义为两独立采样元素属于不同块的概率： $$H(P_S) = 1 - \left[ \left(\frac{|S_r|}{|S|}\right)^2 + \left(\frac{|S_{\neg r}|}{|S|}\right)^2 \right]$$ 对活跃模态 $m \in M_a$ 的所有元素 $\Omega_m$，LLM 逐一评估其与需求 $r$ 的语义重叠，将其切分为满足需求的 $\Omega_m^r$ 与不满足需求的 $\Omega_m^{\neg r}$，并计算 $H(P_m^r)$。逻辑熵在两子集等分时达到极大值 0.50，在一端高度集聚（如 $|S_r|=1, |S|=10$ 时为 0.18）或退化为全集/空集时降至最低。该设计完全基于集合基数计算，使得不同模型生成的中间划分均具备可比的无偏度量。

3. 跨模态序列条件过滤：非对称信息增益建模与候选空间级联收缩 在复杂的跨模态推理中，不同模态间的信息流动具有高度的非对称性（例如图像中的标志性建筑能大幅过滤表格行，但表格中的广泛目的地对筛选图片地标帮助有限）。EDMA 不假设预设的目标模态，而是将每个参与模态依次轮流作为候选目标模态 $m_t$，其余模态构成条件模态集合 $M_c = M_a \setminus \{m_t\}$。系统从条件模态满足需求 $r'$ 的子集中抽取细粒度跨模态证据集 $E_m$，进而作用于目标模态的候选集 $\Omega_{m_t}^r$： $$H\Big(P_{m_t|m}^{r,E_m}\Big) = 1 - \left[ \left(\frac{|\Omega_{m_t}^{r,E_m}|}{|\Omega_{m_t}|}\right)^2 + \left(\frac{|\Omega_{m_t}^{r,\neg E_m}|}{|\Omega_{m_t}|}\right)^2 \right]$$ 在每一轮条件过滤中，仅保留与外部证据严格一致的紧凑子集 $\Omega_{curr}$ 并累积证据 $E_{curr}$，剔除矛盾候选。这种单向级联过滤使得模态间的非对称信息增益被精确捕获为条件逻辑熵的收缩。

4. 基于逻辑熵最小化轨迹选择：以熵减作为正确推理路径的最优准则 系统将所有单模态独立状态与跨模态演进路径映射为推理轨迹集合 $\mathcal{T}$。为了定量刻画模态融合带来的信息价值，EDMA 定义相对熵减率 $\Delta H = \frac{H(P_{m_t}^r) - H(P_{m_t|m}^{r,E_m})}{H(P_{m_t}^r)}$。若 $\Delta H > 0$，说明模态融合有效削除了候选项之间的混淆；若 $\Delta H \le 0$，则表明该融合路径引入了冗余或非判别性噪音。最终，算法不依赖启发式评分，而是依据全局最终逻辑熵最小化原则选出最优轨迹 $t^* = (m^*, r^*, H^*, \Omega^*, E^*)$。LLM 仅基于过滤后的极简候选元素 $\Omega^*$ 与强相关证据 $E^*$ 推导最终答案 $a^*$，从根源上阻断了幻觉的累积传播。

一个完整示例¶

以问题“Contour 航空公司目的地所在的州中，哪一个的河流畔矗立着一座高大的金属拱门？”为例： 1. 需求解构：提取三项原子约束——$S$（实体为州）、$C$（为 Contour 航线目的地）、$A$（拥有金属拱门地标）；初始判定活跃模态为表格（包含目的地与航线）与图像（城市地标图）； 2. 单模态划分：在图像集合中检索满足“金属拱门”的图片，迅速收敛至圣路易斯拱门图片，图片单模态熵为 $H(P_I^A) = 0.38$；而在表格中满足 Contour 航线目的地的城市较多，表格单模态熵为 $H(P_T^C) = 0.44$； 3. 双向跨模态测试： - 路径 1（表格 $\to$ 图像）：用表格中的多处航线目的地去过滤图片，因图片集中缺少明确机场文本标签，条件熵维持在 $H = 0.38$（$\Delta H = 0\%$）； - 路径 2（图像 $\to$ 表格）：从金属拱门图像中提取实体线索“St. Louis, Gateway Arch”，将其作为条件证据注入表格检索，表格目的地集合瞬间由数十个候选精简为圣路易斯唯一匹配行，逻辑熵自 $0.44$ 锐降至 $0.20$（$\Delta H = 54\%$）； 4. 轨迹决策与生成：系统检测到路径 2 达到全局最小熵 $0.20$，果断选定图像 $\to$ 表格轨迹，提取命中行对应的州属性，准确输出“Missouri（密苏里州）”。

实验关键数据¶

主实验¶

在 MultiModalQA 与 ManyModalQA 两个极具挑战性的多模态基准上，EDMA 评测了包含闭源旗舰（Claude-4.6, GPT-5.2, Kimi-K2.5, Nova-2-Lite）与前沿开源模型（Qwen3, Nemotron）在内的 6 款代表性模型，全面对比了 Direct Prompting (DP)、Chain-of-Thought (CoT) 与 Planning Prompting (PP)。

数据集	模型	指标	EDMA (本文)	PP (最强提示基线)	CoT 基线	DP 基线	相对 PP 提升
MultiModalQA	Claude-4.6	EM / F1 / LLM-J	82.8 / 83.5 / 88.9	61.4 / 73.1 / 85.6	61.4 / 72.3 / 87.4	60.8 / 70.5 / 82.7	+21.4 / +10.4 / +3.3
MultiModalQA	GPT-5.2	EM / F1 / LLM-J	80.0 / 80.3 / 80.5	56.6 / 68.4 / 75.5	46.2 / 56.8 / 64.4	58.2 / 68.8 / 75.7	+23.4 / +11.9 / +5.0
MultiModalQA	Kimi-K2.5	EM / F1 / LLM-J	80.4 / 81.0 / 83.2	64.0 / 74.0 / 82.0	63.8 / 72.7 / 79.9	39.4 / 47.2 / 52.1	+16.4 / +7.0 / +1.2
MultiModalQA	Qwen3	EM / F1 / LLM-J	79.4 / 80.9 / 82.5	60.6 / 69.4 / 75.4	61.0 / 70.7 / 76.4	60.6 / 68.9 / 74.3	+18.8 / +11.5 / +7.1
MultiModalQA	Nemotron	EM / F1 / LLM-J	79.0 / 80.5 / 75.1	51.8 / 60.0 / 64.6	46.4 / 54.2 / 57.1	42.2 / 50.0 / 52.3	+27.2 / +20.5 / +10.5
MultiModalQA	Nova-2-Lite	EM / F1 / LLM-J	79.0 / 80.4 / 65.9	50.0 / 57.8 / 41.8	43.4 / 50.2 / 53.4	51.8 / 59.6 / 64.6	+29.0 / +22.6 / +24.1
MultiModalQA	6 模型均值	EM / F1 / LLM-J	80.1 / 81.1 / 79.3	57.4 / 67.1 / 70.8	53.7 / 62.8 / 69.8	52.2 / 60.8 / 66.9	+22.7 / +14.0 / +8.5
ManyModalQA	6 模型均值	EM / F1 / LLM-J	83.0 / 83.3 / 89.1	60.0 / 71.8 / 88.5	54.0 / 64.4 / 82.1	60.7 / 70.7 / 85.8	+23.0 / +11.5 / +0.6

在与计算预算对齐的自洽采样基准（CoT-SC 与 PP-SC, $N=6$）以及专用多智能体系统 MAMMQA 的横向对比中，EDMA 均值达到 80.3 EM、81.4 F1 与 78.2 LLM-J，相比 MAMMQA（均值 75.7 LLM-J）、CoT-SC（71.2 LLM-J）和 PP-SC（70.8 LLM-J）展现出显著优势。

消融实验¶

在 MultiModalQA 上针对核心组件（熵最小化路径选择、跨模态条件过滤）进行了系统消融，评测指标为 10 次独立运行的平均 LLM-Judge 得分。

配置	GPT-5.2	Nova-2-Lite	Kimi-K2.5	Nemotron	Qwen3	Claude-4.6	6 模型均值	说明与掉点原因
EDMA (完整模型)	80.5	65.9	83.2	75.1	82.5	88.9	79.3	完整熵最小化轨迹选择与跨模态精炼
w/o 熵最小化选择（随机选择轨迹）	45.8	47.3	37.1	51.6	48.2	53.0	47.2	暴跌 32.2 分；证实任务分解本身不够，熵指导的路径判别才是核心
w/o 跨模态条件过滤（仅单模态划分）	65.5	48.0	73.1	56.8	68.4	77.8	64.9	下降 14.4 分；无法桥接异构模态证据，对需多跳推理的复杂样本完全失效

关键发现¶

假阳性与高熵的强正相关性：在所有目标模态（文本、图像、表格）中，错误预测（假阳性 FP）的平均逻辑熵均显著高于正确预测（真阳性 TP），例如在表格模态中 $\overline{H}(FP)=0.27$ 显著高于 $\overline{H}(TP)=0.21$（$t=-8.66, p<0.05$）。这表明错误往往发生于候选答案空间未能被充分约束的高不确定性状态。
熵作为预测可靠性的单调指示器：在控制输入问题相同的干预实验中，按照低熵、中熵、高熵轨迹生成答案，其假发现率（FDR）呈现绝对单调递增规律（文本模态低/中/高 FDR 分别为 0.081 $\to$ 0.475 $\to$ 0.503；图像模态为 0.189 $\to$ 0.766 $\to$ 0.782）。无论候选集规模大小，低熵轨迹均具备最高的预测保真度。
错误瓶颈位于跨模态融合阶段：中间步骤诊断显示，各模型在模态选择（$\ge 90\%$）、需求提取（$\ge 94\%$）阶段准确率极高，而在最终产生错误答案的样本中，多模态融合准确率骤降至 $2\%\sim 8\%$。这表明当前 MLLM 最脆弱之处在于跨模态细粒度概念对齐，而非单个模态内的要素提取。

亮点与洞察¶

无需后验概率标定的逻辑熵度量：利用划分基数的形式化定义摆脱了大模型对内在 softmax 概率的依赖，提供了一种跨闭源 API 与开源轻量模型通用的不确定性标尺。
方向性信息增益捕捉：非对称建模跨模态条件过滤，揭示了“先看图后查表”与“先查表后看图”在熵减效率上的本质差异，实现了推理路径的因果溯源与动态优化。
即插即用的无训练即时推理增强：无需对底层模型进行微调或预训练，完全通过推理期提示与集合代数运算，使各类规模的 MLLM 产生显著优于传统多步提示的推理可靠性。

局限与展望¶

推理延迟与调用开销显著：EDMA 算法的最坏计算复杂度为 $O(M \cdot R \cdot K + M^2 \cdot R)$，在实际部署中单题产生的 LLM 调用次数达到百次级别，耗时是 CoT 的 20 至 46 倍，成本是单一提示的 5 至 6 倍，目前更适用于高准确率容忍度极低的离线高价值问答场景。
均匀先验假设忽略了先验权重：当前集合逻辑熵假设各候选要素具有相同的先验分布，未结合检索相似度或模态可信度给予加权，对于长尾高噪声输入可能导致熵估计偏倚。
缺乏显式的跨模态冲突解决机制：当来自不同模态的证据存在直接事实冲突时，顺序过滤可能导致符合真解的集合被误判为矛盾并丢弃，未来可通过并行动态假设分支独立评估冲突演进。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将逻辑熵与候选集合划分机制引入多模态 QA，理论构建优美且自洽。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 款跨层级前沿模型、单点方差评测、预算对齐基线以及严格的统计显著性与单调性干预检验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，数学形式化定义完备，附录提供了细致的每步中间操作正确率分析与提示模版。
价值: ⭐⭐⭐⭐☆ 为提升 MLLM 复合多模态推理的可信赖度与可追溯性提供了关键启发，待未来优化推理开销后更具落地潜力。