IDO: Incongruity-Aware Distribution Optimization for Multimodal Fake News Detection¶

会议: ICML 2026
arXiv: 2605.29116
代码: 待确认
领域: 社会计算 / 多模态学习 / 假新闻检测
关键词: 多模态假新闻, 模态间不一致, 分布优化, 跨模态对齐

一句话总结¶

IDO 通过显式建模模态间不一致性作为可学习的分布优化目标——同时拉近真新闻的多模态嵌入并扩大假新闻的不一致，在 Weibo / Twitter / Fakeddit 上 F1 较 SOTA 提升 3-7%、对未见过的假新闻泛化能力显著提升。

研究背景与动机¶

领域现状：多模态假新闻检测利用文本和图像的联合信号识别错误信息。现有方法多基于跨模态融合 + 二分类判别——通过对比学习或图神经网络捕捉模态信息。

现有痛点：（1）现有方法将真假新闻按二元类别区分，缺乏对"假新闻特征"的精确刻画；（2）真新闻和假新闻的模态间不一致性程度不同（真新闻：高度一致；假新闻：低一致/不一致），但被一致建模；（3）OOD 假新闻泛化差——训练分布外的新型假新闻易误判。

核心矛盾：假新闻的本质特征——模态间语义不一致性——未被显式建模，导致模型实际学习的是数据集特定模式而非通用假新闻特征。

本文目标：将模态间不一致性作为显式优化目标，提升对未知假新闻的泛化能力。

切入角度：观察到真新闻文本-图像高度一致（描述匹配），假新闻往往不一致（图像与文本无关或矛盾）；通过分布优化强化此差异即可获得通用判别信号。

核心 idea：将真新闻视为"高一致分布"、假新闻视为"低一致分布"——通过双向分布优化同时拉近真新闻一致度、推远假新闻不一致度。

方法详解¶

整体框架¶

（1）双流编码：文本 + 图像分别经预训练编码器；（2）不一致度量化：定义跨模态不一致度 \(d_{\text{incon}}(\mathbf{t}, \mathbf{v}) = 1 - \cos(\text{proj}_t(\mathbf{t}), \text{proj}_v(\mathbf{v}))\)；（3）分布优化：真新闻 \(d \to 0\)，假新闻 \(d \to 1\)；（4）联合训练：分类损失 + 分布优化损失。

关键设计¶

不一致度的可学习量化:
- 功能：定义可微的跨模态不一致度衡量。
- 核心思路：通过共享语义空间投影 \(\text{proj}_t, \text{proj}_v\) 将异质模态映射到对齐空间；不一致度 \(d_{\text{incon}}(\mathbf{t}, \mathbf{v}) = 1 - \cos(\text{proj}_t(\mathbf{t}), \text{proj}_v(\mathbf{v}))\)；为捕捉局部不一致，使用细粒度分块对齐 \(d_{\text{local}} = \frac{1}{N} \sum_{i=1}^N \min_j d(\mathbf{t}_i, \mathbf{v}_j)\)，最终 \(d = \alpha d_{\text{global}} + (1-\alpha) d_{\text{local}}\)。
- 设计动机：单一全局相似度遗漏局部不一致（图像角落与文本部分矛盾）；细粒度分块加权可全面捕捉不一致。
双向分布优化损失:
- 功能：同时优化真新闻一致性和假新闻不一致性的分布。
- 核心思路：真新闻样本 \((\mathbf{t}_r, \mathbf{v}_r)\) 损失 \(\mathcal{L}_{\text{real}} = \mathbb{E}_{\text{real}}[d_{\text{incon}}(\mathbf{t}_r, \mathbf{v}_r)]\)；假新闻样本 \((\mathbf{t}_f, \mathbf{v}_f)\) 损失 \(\mathcal{L}_{\text{fake}} = \max(0, m - \mathbb{E}_{\text{fake}}[d_{\text{incon}}(\mathbf{t}_f, \mathbf{v}_f)])\)，margin \(m = 0.7\)；总损失 \(\mathcal{L}_{\text{IDO}} = \mathcal{L}_{\text{real}} + \lambda \mathcal{L}_{\text{fake}}\)。
- 设计动机：单向损失（只优化一类）易导致分类边界偏斜；双向分布优化保持平衡。
不一致感知的分类头:
- 功能：将不一致度作为显式特征输入分类器，增强判别信号。
- 核心思路：分类器输入为 \([\mathbf{t}; \mathbf{v}; d_{\text{global}}; d_{\text{local}}; d_{\text{global}} - d_{\text{local}}]\)；MLP 输出二分类概率；联合训练交叉熵损失。
- 设计动机：分类头直接利用不一致信号；端到端联合优化保证分布优化目标与分类目标对齐。

实验关键数据¶

主实验¶

数据集	方法	Acc	F1	AUC
Weibo	EANN	78.2	76.5	84.3
Weibo	MVAE	81.7	80.4	87.6
Weibo	MCAN	84.5	83.7	90.2
Weibo	IDO	88.9	88.1	94.5
Twitter	MCAN	79.3	78.4	85.6
Twitter	CAFE	82.1	81.5	88.3
Twitter	IDO	87.6	86.8	92.7
Fakeddit	MCAN	76.5	75.2	83.4
Fakeddit	CAFE	79.7	78.9	86.5
Fakeddit	IDO	85.3	84.6	91.2

OOD 泛化测试¶

训练 → 测试	EANN F1	MCAN F1	IDO F1	提升
Weibo → Twitter	52.3	58.7	71.4	+12.7
Twitter → Fakeddit	49.7	55.4	68.9	+13.5
Fakeddit → Weibo	54.1	61.2	73.8	+12.6

消融实验¶

配置	Weibo F1	Twitter F1
基线（仅分类头）	81.2	78.5
+ 全局不一致度	85.7	83.4
+ 局部不一致度	86.4	84.2
+ 双向分布优化	87.6	85.9
完整 IDO	88.9	87.6

关键发现¶

不一致度的判别力强：真假新闻不一致度分布有清晰可视化区分。
OOD 泛化大幅提升：跨数据集 F1 提升 12-14 个百分点，验证不一致度是通用特征。
细粒度补充全局对齐：局部不一致捕捉细微图文矛盾。
margin 选择：\(m = 0.7\) 最优；过小区分不足，过大易过拟合。

亮点与洞察¶

本质特征建模：识别模态间不一致性这一假新闻本质特征并显式优化。
双向分布优化的优雅设计：同时拉近真、推远假，避免单向损失偏差。
跨数据集泛化显著：OOD 性能领先大幅，验证学到的是通用特征。

局限与展望¶

不一致 ≠ 假新闻：高一致并不保证真实（如精心伪造图文匹配的假新闻）。
多模态扩展：当前仅文本+图像。
不一致解释性：模型学到的不一致 vs 人类理解可能有 gap。
改进：引入第三模态（音频、视频）；与外部知识库结合验证事实；可解释不一致度可视化。

评分¶

新颖性: ⭐⭐⭐⭐ 不一致度建模 + 双向分布优化的结合新颖，但部分组件源自已有工作。
实验充分度: ⭐⭐⭐⭐⭐ 3 个数据集 + 4 个基线 + OOD 泛化 + 详细消融。
写作质量: ⭐⭐⭐⭐ 问题动机清晰，方法描述精确。
价值: ⭐⭐⭐⭐⭐ 假新闻检测有重大社会价值；OOD 泛化是实用部署的关键瓶颈。