SSPC: Semantic-Structural Propagation Calibration for Multimodal Fake News Detection¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 多模态 VLM
关键词: 多模态虚假新闻检测, 标签传播, 语义-结构冲突, 图校准, 大语言模型弱监督
一句话总结¶
针对多模态虚假新闻图谱中“帖子关联不等于真实性一致”导致的错误传播问题,SSPC利用高置信度LLM伪标签构建语义边缘重加权与交叉拟合效用门控,将无条件图平滑转变为端到端校准的置信度证据传递。
研究背景与动机¶
社交媒体上的多模态虚假新闻往往深度交织图文表征与跨帖传播上下文,传统内容中心型模型(如结合预训练文本编码器与视觉特征的早期判别架构)仅能捕捉单帖孤立表征,缺乏对跨帖佐证、反驳辟谣及传播脉络等宏观语境的感知能力。为突破这一局限,近年研究广泛引入跨模态图神经网络与标签传播算法(如FCN-LP与GLPN-LLM),通过共用图片、事件共现或语义相似度构建图连边,在连通子图上聚合邻域表征并平滑分类预测,显著增强了弱证据帖子的判决稳定性。
然而,图传播方法在虚假新闻场景下面临一个本质性结构瓶颈:多模态图中的拓扑边通常仅表征主题相关性或视觉实体共享,并不蕴含真实性一致性。例如在突发涉暴或灾难事件中,造谣贴与辟谣澄清帖往往共用相同现场图像、具有极高的跨模态相似度,但在真实性标签上却完全对立;经验统计显示此类跨模态图在同图或同事件邻域中存在大量异质连边。盲目依赖传统图卷积或全局标签传播,会在异质邻域内无差别传递互斥的标签置信度,形成严重的“语义-结构冲突(Semantic-Structural Conflict)”,导致噪声与误导性证据在拓扑扩散中被级联放大。
尽管近期部分前沿尝试引入大语言模型(LLM)生成辅助伪标签参与图传播,但虚假新闻研判高度依赖未完全暴露给LLM的实时平台传播证据与动态事实背景,直接将含噪甚至过拟合的LLM预测视作硬监督信号反而会引入严重的确认偏差与幻觉噪声。因此,核心挑战在于如何在不把LLM伪标签视作绝对真值的前提下,将其转化为弱校准信号,在“传播流向”与“节点依赖程度”双重维度上抑制误导性证据转移。核心 idea:将多模态虚假新闻图传播重塑为两阶段自适应校准问题,利用高置信度LLM伪标签的一致性与分歧动态重构传播路径权重,并通过交叉拟合的语义-结构效用门控在节点级自主权衡图传播与局部特征预测。
方法详解¶
整体框架¶
SSPC由真实性感知可学习图重构(LGR)、多模态图真实性预测器(MGVP)以及交叉拟合语义-结构传播效用门控(CPUG)三个协同模块构成。框架首先利用筛选出的高置信度LLM伪标签对原始多模态图边权重进行可微自适应重缩放,生成校准拓扑图;随后由MGVP在校准图上并行计算基于图编码的局部基线预测与链式显式图传播预测;最后利用5折交叉拟合学习出的CPUG门控网络融合双路预测,输出最终的真实性概率分布。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
IN["多模态帖子输入<br/>文本与视觉特征 + 跨模态图拓扑 + 噪声LLM伪标签"] --> LGR["真实性感知可学习图重构 LGR<br/>高置信度同标签增强与异标签削弱"]
LGR --> MGVP["多模态图真实性预测器 MGVP<br/>双路分支:GCN局部基线预测 pb + 链式标签传播 plp"]
MGVP --> CPUG["交叉拟合语义-结构效用门控 CPUG<br/>四维特征评估传播净收益与冲突正则,动态融合双路预测"]
CPUG --> OUT["最终多模态真实性分布 p_final"]
关键设计¶
1. 真实性感知可学习图重构(LGR):边级路由与语义-结构冲突解耦 传统图神经网络固定拓扑结构,导致包含相反立场的连边强制共享信息。LGR并不直接采纳伪标签监督损失,而是提取高置信度掩码 \(m_i = \mathbb{I}[\tilde{y}_i \neq -1, c_i \ge \tau]\),在相连边 \((v_j, v_i)\) 两端构建同标签指示符 \(u_{ji}^{\text{same}} = m_j m_i \mathbb{I}[\tilde{y}_j = \tilde{y}_i]\) 与异标签指示符 \(u_{ji}^{\text{diff}} = m_j m_i \mathbb{I}[\tilde{y}_j \neq \tilde{y}_i]\)。结合原始权重 \(a_{ji}\) 与置信度拼接成的边特征 \(e_{ji}\),LGR通过可微网络自适应学习连边重缩放系数: $\(\rho_{ji} = (1 - u_{ji}^{\text{same}} - u_{ji}^{\text{diff}}) + u_{ji}^{\text{same}} (1 + \text{softplus}(s_\phi(e_{ji}))) + u_{ji}^{\text{diff}} \text{sigmoid}(d_\phi(e_{ji}))\)$ 将重缩放后的权重加上自环后做入度归一化 \(a'_{ji} = \frac{\tilde{a}_{ji}}{\sum_k \tilde{a}_{ki}}\),使得高置信度一致边得到可控增强(系数 \(\ge 1\)),冲突边被严格压缩到 \((0, 1)\),而无高置信度信号的边保持基准权重,从图拓扑源头切断跨立场虚假证据扩散。
2. 多模态图真实性预测器(MGVP):双证据流显式分离 局部多模态表征具有较强的细粒度事实特征,而图传播则擅长长程上下文泛化,但两者并非在所有节点上都应具备相同裁决权。MGVP首先在校准图 \(G'\) 上执行3层图卷积抽取上下文隐变量 \(h_i\),并通过轻量分类头得到图编码基线预测 \(p_i^b = \text{softmax}(W_o h_i)\)。随后,以 \(p_i^b\) 为初始状态 \(p_i^{\text{lp},(0)}\),在校准图上执行 \(T\) 步可靠性感知显式标签传播迭代: $\(p_i^{\text{lp},(t+1)} = (1 - \lambda) p_i^b + \lambda \sum_{j \in \mathcal{N}(i) \cup \{i\}} \alpha_{ji} p_j^{\text{lp},(t)}\)$ 其中权重 \(\alpha_{ji}\) 结合了拓扑权重 \(a'_{ji}\) 与表征对打分 \(\psi_\theta(h_i, h_j) = \text{sigmoid}(\text{MLP}_\theta([h_i; h_j]))\)。通过将局部基线预测 \(p_i^b\) 与传播演化预测 \(p_i^{\text{lp}}\) 完全解耦并行输出,为下游效用门控提供了未经不可逆混合的对比输入。
3. 交叉拟合语义-结构效用门控(CPUG):无泄漏节点级传播依赖度评估 如果仅在训练集样本内训练门控,模型极易产生过拟合从而盲目信任传播结果。CPUG采用 \(K\) 折交叉拟合协议:将有标签节点划分为 \(K\) 折,在 \(V_L \setminus V_k\) 上训练LGR与MGVP,仅在样本外验证折 \(V_k\) 上生成预测并标记效用标签 \(z_i = \mathbb{I}[\text{CE}(y_i, p_i^{\text{lp}}) + m < \text{CE}(y_i, p_i^b)]\),其中留出边界 \(m=0.1\) 保证仅在传播明显优于局部基准时才鼓励传播。随后,CPUG抽取4维输入特征向量 \(r_i = [H(p_i^b), \text{JS}(p_i^b, p_i^{\text{lp}}), \frac{1}{|\mathcal{N}(i)|}\sum_j \text{JS}(p_i^{\text{lp}}, p_j^{\text{lp}}), s_i]\),综合表征基线不确定性、基线-传播分歧、邻域分歧度以及语义冲突程度 \(s_i = m_i c_i |\tilde{y}_i - \hat{y}_i^{\text{lp}}|\)。门控网络输出权重 \(g_i = q_\omega(r_i) \in [0, 1]\),将最终预测自适应融合为 \(p_i^{\text{final}} = (1 - g_i) p_i^b + g_i p_i^{\text{lp}}\)。
损失函数 / 训练策略¶
整个优化遵循严格的三阶段流水线。在阶段A(交叉拟合效用构造),模型在各留出折最小化预测总损失: $\(\mathcal{L}_{\text{pred}} = \mathcal{L}_{\text{base}} + \mathcal{L}_{\text{lp}} + \mu \mathcal{L}_{\text{align}}\)$ 其中 \(\mathcal{L}_{\text{base}}\) 与 \(\mathcal{L}_{\text{lp}}\) 分别对应 \(p^b\) 与 \(p^{\text{lp}}\) 在标注节点上的交叉熵,\(\mathcal{L}_{\text{align}}\) 为基于MMD的已见事件与未见事件表征分布对齐正则项。阶段B在收集完所有折的样本外对 \((r_i, z_i)\) 后,训练门控参数 \(\omega\) 并冻结: $\(\mathcal{L}_{\text{gate}} = \frac{1}{|V_L|} \sum_{v_i \in V_L} \left[ \text{BCE}(g_i, z_i) + \gamma s_i g_i \right]\)$ 该目标通过第一项拟合传播净收益,通过第二项对高语义冲突节点的传播权重施加直接线性惩罚。阶段C在全体标注数据上联合重训LGR与MGVP,在推理时冻结CPUG参数,实现低延迟(单样本 \(<0.054\) ms)自适应门控推断。
实验关键数据¶
主实验¶
在Twitter、PHEME及Weibo三大基准数据集上,分别对比无图传播多模态模型、经典标签传播方法(FCN-LP)及直接融入LLM伪标签的强基线(FCN-LP + LLM, GLPN-LLM),实验均采用5次随机种子取均值与标准差。
| 数据集 | 指标 | SSPC (CLIP) | GLPN-LLM (CLIP) | FCN-LP (CLIP) + LLM | 优势/提升 (vs 最佳基线) |
|---|---|---|---|---|---|
| Accuracy (%) | 86.43 ± 2.54 | 85.65 ± 2.11 | 85.93 ± 1.83 | +0.78 (p < 0.05) | |
| Precision (%) | 83.53 ± 2.98 | 82.04 ± 2.68 | 81.92 ± 2.64 | +1.49 (p < 0.05) | |
| Recall (%) | 98.23 ± 0.94 | 90.78 ± 2.47 | 90.44 ± 2.17 | +7.45 (p < 0.05) | |
| Macro F1 (%) | 88.50 ± 1.56 | 86.13 ± 2.36 | 85.97 ± 2.72 | +2.37 (p < 0.05) | |
| PHEME | Accuracy (%) | 87.46 ± 0.39 | 85.82 ± 2.14 | 84.89 ± 2.81 | +1.64 (p < 0.05) |
| Precision (%) | 91.40 ± 0.31 | 87.39 ± 2.51 | 87.80 ± 2.36 | +3.60 (p < 0.05) | |
| Recall (%) | 90.97 ± 0.70 | 90.15 ± 2.83 | 90.55 ± 2.28 | +0.42 (p < 0.05) | |
| Macro F1 (%) | 91.18 ± 0.31 | 86.68 ± 2.09 | 89.21 ± 2.59 | +1.97 (p < 0.05) | |
| Accuracy (%) | 86.83 ± 0.57 | 85.29 ± 1.57 | 84.88 ± 2.78 | +1.54 (p < 0.05) | |
| Precision (%) | 89.32 ± 1.37 | 88.82 ± 0.73 | 88.55 ± 2.43 | +0.50 (p < 0.05) | |
| Recall (%) | 94.08 ± 1.31 | 91.88 ± 0.79 | 91.68 ± 1.95 | +2.20 (p < 0.05) | |
| Macro F1 (%) | 91.64 ± 0.30 | 90.55 ± 0.58 | 89.85 ± 2.67 | +0.94 (p < 0.05) |
消融实验¶
基于CLIP主干在三大数据集上检验各核心校准组件的独立贡献:
| 配置 | Twitter Macro F1 (%) | PHEME Macro F1 (%) | Weibo Macro F1 (%) | 说明 |
|---|---|---|---|---|
| SSPC (Full Model) | 88.50 ± 1.56 | 91.18 ± 0.31 | 91.64 ± 0.30 | 包含边级LGR校准与节点级CPUG门控 |
| w/o CPUG | 86.54 ± 1.85 | 89.50 ± 0.19 | 90.77 ± 0.38 | 移除效用门控,退化为无差别全局传播 |
| w/o LGR | 85.57 ± 1.51 | 88.59 ± 0.25 | 89.30 ± 1.77 | 移除边级重缩放,在原始噪声图上传播 |
| w/o SCGC | 87.38 ± 2.22 | 88.91 ± 0.25 | 90.71 ± 1.88 | 移除CPUG中的语义冲突特征 \(s_i\) 与正则项 |
关键发现¶
- 拓扑校准是抑制错误扩散的第一防线:在所有消融变体中,
w/o LGR导致的F1跌幅最为严重(Twitter下降2.93个百分点,PHEME下降2.59个百分点),UMAP降维分析证实未校准图的聚类轮廓系数仅为0.389,而经LGR校准后飙升至0.560,表明阻断冲突边的置信度连通性是避免全局平滑崩塌的关键。 - 交叉拟合严格防止门控标签泄露:门控训练消融显示,若采用样本内预测训练门控(In-sample gate),Twitter上的F1从88.50%骤降至85.76%(甚至低于无门控的86.54%),这是因为局部记忆导致门控盲目高估在自身训练集上的传播收益,唯有交叉拟合协议能提供无偏的留出泛化指导。
- 高置信度成对一致性远比单点伪标签精确:统计发现高置信度边两端伪标签的相对一致/相异准确率(如Weibo达到100%,PHEME达到97.43%)显著超越单节点伪标签准确率(79.40%~85.00%)。理论与实验共同证明,即便双端节点被同向翻转错误预测,成对一致性关系依然保持正确,从而赋予了LGR极强的弱监督容噪能力。
亮点与洞察¶
- 将LLM从“真值仲裁者”降级为“拓扑校准仪”:不盲目依赖LLM预测做模型蒸馏或硬标签监督,而是将噪声LLM置信度映射为边权重修正因子与冲突惩罚项,从根本上免疫了幻觉传播。
- 解耦“证据该往哪流”与“节点该不该信”的双层控制论:LGR解决边层面的流向拓扑修正,CPUG解决节点层面的证据吸收配比,形成了空间滤波与决策融合的闭环系统。
- 可复用的通用图弱监督范式:将成对伪标签一致性重排图权重的思路,可直接推广到高异质性图分类、跨模态多标签纠偏等普遍存在“关联不等于属性相同”的图学习任务中。
局限与展望¶
- 转导式评估设定的现实约束:当前模型沿用学术界标准的转导式图推断(Transductive),在社交网络流式数据落地时,需引入增量建图算法或图拓扑动态局部更新。
- 对单一大模型伪标签的鲁棒边界:实验显示当伪标签噪声率 \(\rho=1.0\) 时微博数据集F1大幅受损(降至79.04%),未来可探索集成多异构LLM或结合外部检索验证事实来进一步加固校准可靠性。
- 交叉拟合训练开销:5折交叉拟合使探测器端总训练时间相对单次拟合略有提升,后续可研究轻量化的无偏效用估计代理机制。
相关工作与启发¶
- vs FCN-LP / GLPN-LLM: FCN-LP在未校准的跨模态图上强制做全局标签平滑,遭遇语义-结构冲突时极易出现错误泛化;GLPN-LLM虽引入LLM伪标签但仍作为全局刚性输入。本文SSPC首次提出两级校准策略,把伪标签作为弱校准信号,在三大基准上均取得显著F1提升。
- vs 纯内容多模态分类器(HMCAN / SAFE / SpotFake): 内容中心型方法完全忽略帖子间的互证与辟谣线索,在弱特征长尾帖上表现乏力。SSPC保留了多模态表征表达力的同时,通过可信图传播补全了跨帖推理链。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙跳出“拿LLM当标注员”的同质化思维,提出语义-结构传播校准的全新理论与架构设计。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖三大主流基准、详尽的跨模态消融、超参鲁棒性分析、高低置信度同质性统计以及归纳式诊断。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密自洽,理论推导与经验证据紧密咬合,问题定义极为精准。
- 价值: ⭐⭐⭐⭐⭐ 为异质图多模态辨识与含噪弱监督图学习提供了极具启发性的工程范本。