SALART-VQA: Diagnosing Whether VLMs Understand Salient Artifacts in Generated Images¶

会议: NeurIPS 2026
arXiv: 2606.12671
OpenReview: https://openreview.net/forum?id=iVvXeIwD1f
代码: https://zhangruotian.github.io/SalArt-VQA/
领域: 多模态大模型
关键词: 视觉语言模型, 生成图像伪影诊断, 细粒度视觉问答, 空间视觉定位, 模型校准与拒答

一句话总结¶

SalArt-VQA 构建了一个包含 950 张图像与 3,681 道人工标注选择题的细粒度诊断性 VQA 基准，将生成图像伪影分析拆解为存在检测、语义区域识别、边界框空间定位与视觉证据描述四阶链条，结合真实照片与成对未编辑生成图的拒答对照，揭示了前沿多模态大模型普遍存在的“高检测召回率掩盖定位与证据缺陷”以及在伪影敏感度与校准拒答之间的显著权衡。

研究背景与动机¶

随着现代扩散模型与自回归生成架构的快速演进，AI 生成图像在整体视觉真实感上取得了突破性进展，但局部显著伪影——如肢体拓扑畸变、手指牙齿计数异常、破损倒影与违背物理规律的几何结构——依然频繁出现。为了在内容生成管线中实现自动化质检、生成样本排序、强化学习反馈引导以及局部精准修复，学术界与工业界日益依赖多模态视觉语言模型（VLMs）作为自动化评估器与质检代理。然而，当前社区对 VLM 是否真正具备感知、定位并解释这些细微物理缺陷的能力缺乏深入理解；如果模型仅凭图像级直觉做出真假判断而缺乏细粒度证据支撑，极易导致错误剔除正常图像、误导下游修复指令或产生严重的认知幻觉。

现有针对生成图像检测的评测方案大多局限于粗粒度的二分类准确率（即判断图像是否包含伪影或是否由 AI 生成），这种评估范式掩盖了极其严重的系统性缺陷。在实际测试中，许多 VLM 即使在整图层级正确给出了“存在伪影”的肯定回答，其后续指示的异常部位却完全南辕北辙，不仅圈出毫无缺陷的正常区域，还编造出图像中根本不存在的畸变证据。下游生成与编辑任务不仅需要一个二元开关，更依赖于缺陷的精准空间坐标与语义归因。更为严峻的是，当面对纯净的生成图像或真实摄影照片时，模型能否在没有显著伪影的情况下保持克制并主动拒答，是检验其是否具备真实视觉感知而非概率臆测的试金石。

这一现象背后的核心矛盾在于：粗粒度图像分类指标将“正确视觉线索支持下的真实感知”与“依赖虚假关联、全局风格偏见或概率瞎猜的巧合命中”混为一谈，缺乏一种能够将检测、定位、推理与反事实拒答正交解耦的因果诊断链条。本文的切入角度是：将生成图像显著伪影认知解耦为「存在检测 \(\to\) 语义区域 \(\to\) 空间边界框 \(\to\) 证据描述」四阶递进对齐诊断链，并引入检索匹配的真实照片与像素级成对生成的无缺陷参考图。核心 idea：构建闭集多项选择题链式诊断基准 SalArt-VQA，通过同一显著伪影在存在性、语义区域、边界框与证据描述四阶维度的严格语义对齐，配合真实图像与成对无缺陷生成参考图的“无上述缺陷”拒答对照，全面暴露 VLM 在生成图像伪影理解中的定位失误、伪造证据与过敏校准缺陷。

方法详解¶

整体框架¶

SalArt-VQA 的核心思想是通过结构化、闭集的链式问答协议，对多模态大模型的显著伪影理解能力进行逐级解耦与因果探针审计。评测体系由四大图像子集（直接生成伪影图 Art-DG、局部重绘引入伪影图 Art-PG、匹配真实参考图 Ref-Real、成对未编辑生成参考图 Ref-PG）和四道具有明确逻辑递进关系的闭集多项选择题（Q1 存在性、Q2 语义区域、Q3 空间边界框、Q4 视觉证据描述）构成。

方法的整体执行流程包含图像候选采集与受控编辑、基于人体关键点与分割掩码的局部伪影注入、真实图与生成图配对检索、四阶对齐问答构建以及确定性闭集评分。整个诊断流程的设计逻辑如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入评估样本<br/>Art-DG / Art-PG / Ref-Real / Ref-PG"] --> B["多源伪影采集与对照参考构建<br/>扩散生成+SAM2重绘局部注入+COCO检索"]
    B --> C["四阶闭环对齐问答链<br/>Q1存在→Q2语义→Q3边界框→Q4证据描述"]
    C --> D["双重反事实参考与拒答设计<br/>A-D选项语义绑定 + 选项E确定性拒答"]
    D --> E["五维分类学与分级失误归因<br/>Count/Topology/Render/Anatomy/Plausibility"]
    E --> F["输出细粒度诊断指标<br/>AllQ1-4全部命中 / 敏感度-校准权衡分析"]

关键设计¶

1. 多源伪影采集与精准对照参考集构建：隔离图像全局风格对局部缺陷判定的干扰

为了避免评测集受限于单一生成器架构或单一提示词风格，基准将伪影图像划分为两类互补的构建路径。第一类是直接生成伪影图像（Art-DG，共 356 张），源自 Imagen 4、Midjourney 和 FLUX.2 [klein]，提示词由 COCO 图像描述扩展而来，添加自然光照和细节描述，专门过采样遮挡（Occlusion）、物理支撑（Support）、镜面反射（Reflection）、身体交叉（Crossing）以及物体接触（Contact）等 5 类易发生结构崩溃的场景。第二类为受控局部重绘伪影图像（Art-PG，共 119 张），旨在构建严格受控的成对因果对照。该流程使用 MediaPipe 定位人体手、足、面部关键点并建立几何外壳，输入 SAM 2 提取精细像素掩码，随后在保持背景像素完全冻结的前提下，利用 FLUX.1-Fill-dev 对局部掩码区域以 0.6–0.9 重绘强度多次采样，经 InternVL2-2B 初筛及多名专家人工仲裁，仅保留只在重绘区域存在单一显著缺陷的图像。

与伪影图像严格匹配的是两类阴性参考集：Ref-Real（356 张）通过相同文本提示或 CLIP 图像嵌入相似度在 COCO 真实照片集中检索视觉主体、姿态与构图高度一致的照片；Ref-PG（119 张）则是 Art-PG 图像在被局部破坏前的未编辑原始生成图像。这两组对照集构成了基准审视模型是“真正感知缺陷”还是“因生成画风产生刻板偏见”的基石。

2. 四阶闭环对齐多项选择题诊断链：解耦存在检测、语义识别、空间定位与证据溯源

传统的生成伪影评估通常要求模型输出自由文本解释，由于缺乏统一标准，极易陷入评分模糊或依赖裁判大模型主观打分的困境。SalArt-VQA 创新性地采用标准化、单轮闭集选择题（MCQ）链条，强制模型在同一个图像实例上回答 4 道独立提示的问题： - Q1（PresenceQA）：询问图像是否包含至少一个显著伪影（答案为严格的 yes 或 no），考察基础辨识与检测敏感度； - Q2（SemanticLocQA）：询问出现显著伪影的具体目标、解剖部位或局部区域（选项 A–D，选项 E 为 none of these regions）； - Q3（BoxGroundingQA）：向模型展示叠加了彩色标注框（红、蓝、青、橙）的图像，要求选择准确圈出显著伪影的框（选项 A–D，选项 E 为 none of these boxes）； - Q4（EvidenceQA）：询问哪一段自然语言陈述最精准地描述了图像中的缺陷机理（选项 A–D，选项 E 为 none of these descriptions）。

为了消除选项文字偏置并确保可比性，Q2、Q3 和 Q4 的 A–D 选项在候选区域上保持强行对齐：选项字母 A、B、C、D 在三道题中分别对应完全相同的 4 个物理候选区域，其中 1 项为正解，其余 3 项为经过精心挑选的高迷惑度负样本（如将正确缺陷赋予错误主体、错误部位，或指向视觉上可疑但结构完全正确的区域）。在 97.3% 的样本中，Q2、Q3、Q4 的标准答案字母完全相同，形成严格对应的语义闭环。

3. 双重反事实参考与确定性拒答设计：阻断选项先验并暴露无依据虚假伪影声明

在 VLM 评测中，多项选择题极易受到模型内部语言先验或“逢问必答”偏置的污染。SalArt-VQA 在阴性参考集的设计中贯彻了反事实拒答（Abstention）机制： - 对于 Ref-Real（真实照片），全套输入 Q1–Q4，真实标签严格设定为 Q1=no，Q2–Q4=E； - 对于 Ref-PG（成对生成的未修改原图），由于整图可能存在细微的非显著生成瑕疵，为了避免歧义，基准跳过全局性的 Q1 判断，仅输入与 Art-PG 完全相同候选选项的 Q2–Q4。因为目标显著伪影在 Ref-PG 中尚未被注入，因此所有描述该缺陷的 A–D 选项均为事实错误，标准答案严格为 E。

如果一个模型在 Ref-PG 上选择了 A–D 中的任意一项，即证明其在面对不存在的虚构线索时产生了严重的妄想式伪影声明（Unsupported Artifact Claims）。这种设计直接隔离了模型的“虚假陈述率”，使得基准能够在同一组选项候选下，直接度量模型在正负样本间的因果辨别力。

4. 五维伪影分类学与分级错误归因：揭示大模型感知能力的细粒度瓶颈与异构失效模式

为了对模型的缺陷理解盲区建立系统性认知，论文将所有收集到的显著伪影归纳为五大分类学维度： 1. 计数异常（Count Anomaly）：重复性解剖部件或附件数量错误，如多指、缺指、多生牙齿、多出车轮或后视镜； 2. 拓扑异常（Topology Anomaly）：部件之间的物理连通或空间遮挡关系违背逻辑，如肢体穿模、断裂悬浮、错误粘连或深度顺序倒置； 3. 局部渲染/结构异常（Local Render/Structure Anomaly）：局部器官或物体本身形变塌陷，如手指融化成团、肢体末端虚化或表面质感溃散； 4. 整体解剖异常（Anatomy Anomaly）：宏观生理结构的重大错误，如多长出整条手臂、反向关节或动物骨骼异位； 5. 常识真实性异常（Plausibility Anomaly）：场景级物理与逻辑冲突，包括镜面反射不一致、阴影断裂、违背重力以及不可读乱码文本。

通过定义全指标联合命中率 \(AllQ_{1-4}\)（同一图像上 4 题全对）与下游联合命中率 \(AllQ_{2-4}\)（Q2–Q4 全对），评测框架将模型的预测失误划分为层级式错误形态：\(0000\)（全盘崩溃）、\(1000\)（仅见表象，缺乏一切下游定位与证据理解）、\(1101\)（定位框漂移但语义理解正确）等，从而清晰定位大模型的认知断裂点。

评测协议与决策空间映射¶

评测在严格的零样本（Zero-shot）、单轮对话（Single-turn）无历史上下文条件下进行。所有闭源商业模型与开源模型均采用温度参数 \(T=0\) 进行贪婪解码。对于 Q3 边界框选择，预先在原图上统一叠加高对比度候选框与标签字母，消除不同模型解析原始像素坐标的能力差异。

评分采用绝对精确匹配（Exact Match），Q1 接受不区分大小写的 yes/no，Q2–Q4 接受大写字母 A–E，彻底杜绝模糊匹配与主观打分引入的方差。

实验关键数据¶

主实验¶

评测涵盖 9 个模型家族的 20 款主流 VLM，包括商业闭源模型（Gemini 3.1 Pro/Flash Lite, Claude 4.6 Opus/4.5 Haiku, GPT-5.4/nano）以及开源权重模型（Gemma-4, Qwen3.5, Qwen3-VL, GLM-4.6V, Kimi K2.5, Llama-4）。主实验对比结果如下表所示：

模型	访问类型	伪影图 Q1 召回率 (%)	伪影图 AllQ1-4 准确率 (%)	伪影图 AllQ2-4 准确率 (%)	真实图 Ref-Real Q1 特异度 (%)	真实图 AllQ1-4 准确率 (%)	成对生成 Ref-PG AllQ2-4 (%)	全集 AllQ1-4 综合准确率 (%)
人类基准 (Human)	人工评测	100.00	100.00	100.00	99.53	99.53	99.16	99.80
随机猜测 (Random)	理论基线	50.00	0.40	0.80	50.00	0.40	0.80	0.40
Gemini 3.1 Pro	闭源商业	99.37	53.26	53.89	50.28	7.87	0.00	33.81
Gemini 3.1 Flash Lite	闭源商业	83.37	32.63	37.47	93.26	16.01	0.00	25.51
Claude 4.6 Opus	闭源商业	47.58	11.79	17.47	100.00	96.35	0.84	48.01
GPT-5.4	闭源商业	4.63	1.89	6.32	100.00	95.79	20.17	42.12
Gemma-4-31B-it (T)	开源思考	86.32	33.26	37.68	68.26	3.93	0.00	20.70
Qwen3.5-397B-A17B	开源思考	33.26	12.63	27.79	96.63	39.33	0.00	24.07
GLM-4.6V (T)	开源思考	0.42	0.21	0.21	100.00	97.47	84.87	41.88
Qwen3-VL-235B-A22B-I	开源指令	1.47	0.42	1.47	100.00	92.70	84.03	39.95
Llama-4-Scout-17B-I	开源指令	0.63	0.00	0.00	100.00	82.30	74.79	35.26

消融与分级失误归因实验¶

为剖析多模态模型在伪影图像上的断裂环节，论文在 475 张伪影图像上进行了层级归因统计（Q1 检出失败、证据判断失败、空间定位失败与完全成功），并分析了跨题目的不对称失配现象：

模型	Q1 漏检率 (%)	证据判定失败 (Q1✓ Q4✗) (%)	空间定位失败 (Q1✓ Q4✓ Q2/3✗) (%)	四题全对 (AllQ1-4) (%)	Q4对Q3错 (证据对/框选错) (%)	Q3对Q4错 (框选对/证据错) (%)
Gemini 3.1 Pro	0.6	18.9	27.2	53.3	18.7	9.5
Gemini 3.1 Flash Lite	16.6	32.4	18.3	32.6	14.7	20.4
Gemma-4-31B-it	13.7	25.9	27.2	33.3	28.0	13.5
Claude 4.6 Opus	52.4	23.8	12.0	11.8	19.2	23.4
Qwen3.5-397B-A17B	66.7	10.5	10.1	12.6	23.2	17.5
GPT-5.4	95.4	1.3	1.5	1.9	7.6	25.3
GLM-4.6V	99.6	0.2	0.0	0.2	-	-

关键发现¶

表面高检出率与深层理解的巨大落差：在所有 20 款 VLM 中，仅有 4 款在二元 Q1 召回率上超越了 50% 随机基线。即便表现最强的 Gemini 3.1 Pro 达到了 99.37% 的高召回率，其在四题全对的 \(AllQ_{1-4}\) 指标上骤降至 53.26%；排名第二的 Gemma-4-31B-it 从 86.32% 骤降至 33.26%。这表明图像级的“直觉判断”极度脱离了细粒度的物理与解剖事实支撑。
敏感度与校准拒答之间的剧烈权衡（Sensitivity-Calibration Tradeoff）：主流模型分裂为两个极端。一类是“过度敏感型”（如 Gemini 3.1 Pro 和 Gemma-4-31B），虽然在伪影图上召回极高，但在真实照片 Ref-Real 上的特异度仅为 50.28% 和 68.26%，在成对生成的正常图 Ref-PG 上的拒答正确率更是彻底归零（0.00%），即面对正常 AI 生成图像时 100% 出现伪影妄想；另一类是“保守拒答型”（如 GPT-5.4、GLM-4.6V 和 Qwen3-VL 指令微调版），在参考图上几乎 100% 拒答，但这是以完全丢失伪影感知能力为代价换取的（伪影图召回率不足 5%）。目前尚无任何模型能够兼顾高敏感度与高校准度。
真实照片与成对生成图像的认知脱钩：Claude 4.6 Opus 呈现出极具启发的割裂行为：在真实照片 Ref-Real 上实现了 100% 的 Q1 特异度与 96.35% 的全四题准确率，但在像素对齐的无缺陷生成图 Ref-PG 上，全答对率骤降至 0.84%。这证明当前大模型对真实物理照片具备极强的无伪影先验，但一旦面对具备 AI 生成风格的平滑图像，其原有的校准机制彻底失效，极易在诱导选项下捏造伪影。
无图像控制实验验证题目无文本泄露：针对 Q4 进行无图像控制测试（仅输入文本题目并新增选项 F“未提供图像”），GPT-5.4 100% 正确选择 F 拒答，而 Claude 4.6 Opus 虽然盲答了 67.9% 的题目，但其真实答案命中率仅 19.6%（接近四选一随机概率），且与有图时的选项重复率仅 18.5%，有力证明评测结果严格取决于视觉信号而非语言先验。

亮点与洞察¶

闭环对齐的多维度诊断链设计：将单纯的二分类检测拓展为存在性、语义区域、空间边界框和证据解释四重对齐闭环，每个选项字母在下游三题中精准映射到同一候选空间，成功将“粗粒度巧合命中”与“细粒度视觉感知”剥离开来。
像素级成对生成对照（Art-PG ↔ Ref-PG）构建：利用 SAM 2 掩码与局部重绘模型在固定背景下实施局部单点异常注入，确保了正常图与缺陷图除单一伪影外视觉内容完全同构，为评测 VLM 的反事实因果推理与选项拒答提供了近乎无瑕疵的基准环境。
大模型在生成评估领域的安全预警：实验证实当前将前沿 VLM 直接用作文生图质检、样本过滤（Filtering）或强化学习奖励模型（RLHF Reward Model）存在重大隐患——高检出率的模型会对正常生成图像造成海量误杀，而低误杀模型则对严重畸变彻底失明。

局限与展望¶

单图像单一显著伪影的假设约束：基准为了确保闭集多选题拥有确定性唯一正解，主动过滤了包含多处混合微小瑕疵的复杂场景；然而现实中工业级生成图像往往同时交织着风格缺陷、质感模糊与多处次要畸变，未来需向多缺陷共存的联合诊断拓展。
评测形式局限于离散多项选择：采用 A–E 闭集选择虽然实现了零方差客观打分，但无法完全覆盖实际业务中自由多轮对话、密集像素级分割掩码生成与交互式重绘修复指令交互的开放式需求。
生成图像模态拓展：当前评测集主要针对 2D 自然静态图像，未来亟需将诊断逻辑推广至高保真视频生成（如时间连续性与物理动力学崩溃）以及 3D 具身资产生成中的几何与拓扑一致性评估。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次将生成伪影评估构建为四阶对齐的闭环 VQA 链条，并引入严密的像素级成对反事实拒答对照]
实验充分度: ⭐⭐⭐⭐⭐ [全面评测 20 款主流商用与开源大模型，设计无图像控制组、专用检测模型迁移测试与分级失误归因]
写作质量: ⭐⭐⭐⭐⭐ [问题提出切中要害，评测体系严密自洽，图表信息量极其丰富且论述深刻客观]
价值: ⭐⭐⭐⭐⭐ [揭露了大模型在生成质检中的虚假敏感度与校准失衡，为多模态模型评测与可靠图生图管线提供了不可或缺的基准]