All Changes May Have Invariant Principles: Improving Ever-Shifting Harmful Meme Detection via Design Concept Reproduction¶

会议: ACL 2026
arXiv: 2601.04567
代码: GitHub
领域: Multimodal Safety / Meme Detection
关键词: 有害梗图检测, 设计概念图, 攻击树, MLLM推理引导, 类型漂移

一句话总结¶

提出RepMD方法，通过构建设计概念图（DCG）——借鉴攻击树思想描述恶意用户设计有害梗图的步骤和逻辑——来引导MLLM检测不断变化的有害梗图，在GOAT-Bench上达81.1%准确率。

领域现状：互联网上有害梗图（harmful memes）持续演变，呈现类型漂移（新形式、新攻击对象）和时间演化（与时事紧密相关）两大特征，使得检测极其困难。

现有痛点：(1) 现有检测方法仅学习有害元素的组合，缺乏对隐含表达的理解——如通过突出人的配饰来暗示种族歧视；(2) 新出现的网络俚语（如GOAT, Stan）增加了检测难度；(3) MLLM虽有多模态理解能力但对这些隐含有害信息同样束手无策。

核心矛盾：有害梗图的视觉元素和表达方式不断变化，但其背后恶意用户的设计逻辑可能存在"不变原理"。如何从历史梗图中提取这些不变原理来指导新梗图的检测？

本文目标：定义一种可解释的结构来描述有害梗图的设计概念，并利用它引导MLLM进行检测。

切入角度：借鉴安全领域的攻击树（attack tree）思想，将梗图的设计意图建模为包含方法、目标和逻辑门的结构化图。

核心 idea：不同类型的有害梗图虽然表面不同，但可能共享相同的设计概念（如"将事实特化到特定群体以实现攻击"），这些概念可以跨类型迁移。

RepMD分三步：(1) 构建失败原因树——分析MLLM检测失败的历史梗图，归纳失败原因；(2) 从失败原因推导设计概念图（DCG）——描述恶意用户可能采取的设计步骤；(3) 对目标梗图检索DCG中相似的设计步骤，形成逐步引导帮助MLLM检测。

失败原因树（Fail Reason Tree）构建:
- 功能：系统分析MLLM在哪些梗图上失败以及为什么失败
- 核心思路：对历史梗图用5个MLLM投票检测，取≥3个失败的作为难例。用Qwen3VL-235B分析失败原因并分类到7大类（文化、政治等），形成层级树结构。还包含prompt迭代优化环节
- 设计动机：只关注MLLM真正无法检测的梗图，使设计概念专注于最具挑战性的案例
设计概念图（DCG）:
- 功能：以结构化方式描述恶意用户的设计逻辑
- 核心思路：参考攻击树定义三级结构——Reproduction Method（恶意用户的设计步骤）、Logic Gate（AND/OR/NOT组合逻辑）、Reproduction Goal（设计目标，如"人群特化"）。每个节点标记是否有害。从失败原因节点推导得到
- 设计动机：攻击树在网络安全中成功建模了攻击者的逻辑链，同样适用于建模梗图设计者的思维模式
SVD图剪枝和检索引导:
- 功能：精简DCG并为目标梗图检索相关设计步骤
- 核心思路：用SVD降维剪除DCG中冗余节点，保留核心设计模式。对目标梗图通过相似度检索DCG中最相关的设计步骤，形成逐步引导提示让MLLM沿设计逻辑推理
- 设计动机：直接使用全部DCG信息会引入噪声，SVD剪枝在GNN中已证明有效

RepMD是无需训练的方法，完全基于MLLM的in-context learning能力。DCG的构建和检索都在推理时完成。

方法	GOAT-Bench准确率	域外泛化	时序泛化
基线MLLM	低	大幅下降	下降
RepMD	81.1%	仅降2.1%	提升0.3%