Do Not Leave a Gap: Hallucination-Free Object Concealment in Vision-Language Models¶
会议: ECCV 2026
论文: ECCV 2026 Poster
领域: 多模态VLM
关键词: 视觉语言模型, 物体隐藏, 幻觉抑制, 对抗攻击, 特征连续性
一句话总结¶
针对传统物体隐藏攻击通过暴力抑制视觉特征而诱发 VLM 脑补幻觉的缺陷，本文提出保持背景连续性重编码（BCR），通过在视觉编码器深层对目标区域实施统计对齐与背景字典流形投影，在抹除目标物体语义的同时消除表征空洞，实现近乎无幻觉的高保真物体隐藏。
研究背景与动机¶
随着多模态大模型（VLM）在图像描述、视觉问答及具身推理中的广泛部署，面向隐私保护、敏感内容过滤及受控信息披露的“物体隐藏”（Object Concealment）技术受到了学术界与工业界的密切关注。传统物体隐藏方案（如 VIP 或掩码遮挡）主要依赖于在图像输入侧或早期特征层强行抑制目标兴趣区域（ROI）的注意力权重与特征激活。这类方法虽然能够阻止模型直接识别目标物体，却在多模态对齐表征空间中撕裂出了一块显著的“语义断层”或“表征空洞”。
这种粗暴擦除的核心矛盾在于：现代 VLM 的语言解码器预先习得并内化了极强的先验关联规则，当输入特征在局部出现不可解释的空白或分布异常时，解码器倾向于利用上下文先验进行补偿性推理（compensatory inference）。这种补偿机制直接导致了灾难性的“落地幻觉”（grounded hallucination）与全局语义漂移——模型不仅无法保持对非目标物体的稳定描述，反而会无中生有地虚构出消防栓、猫狗或烟花等与画面毫无物理依据的虚假实体。
本文的切入角度是重新审视幻觉的根源：VLM 隐藏物体时诱发的幻觉并非源于物体本身的缺席，而是源自特征空间中粗暴抑制所造成的表征不连续性。若能将目标区域的表征无缝“融入”周围背景特征流形，使语言解码器感知到的是一块和谐连贯的背景而非信息真空，就能从根源上遏制补偿性推理。核心 idea：提出背景一致性重编码（BCR）框架，在像素级扰动约束下，通过深层视觉 Token 的一阶与二阶统计量对齐、基于注意力的背景字典流形投影及非目标背景特征显式保真约束，在不留下表征空洞的前提下消除目标语义。
方法详解¶
整体框架¶
BCR 框架针对给定输入图像 \(\mathbf{x} \in \mathbb{R}^{3 \times H \times W}\) 及指定的待隐藏目标边界框 ROI，在 \(\ell_\infty\) 范数扰动约束 \(\|\mathbf{x}^{\mathrm{adv}} - \mathbf{x}\|_\infty \le \epsilon\) 下优化生成对抗图像 \(\mathbf{x}^{\mathrm{adv}}\)。整个流程冻结视觉编码器 \(f_\theta\) 与下游语言解码器 \(g_\phi\)，无需修改任何模型权重，完全通过像素级梯度反向传播完成优化。
在模型前向计算中，视觉编码器将图像切分为序列化 Token，并经由各 Transformer 层提取隐藏状态。算法定位出与 ROI 空间相交的目标 Token 集合 \(\mathcal{I}_r\) 以及其余的背景 Token 集合 \(\mathcal{I}_b\)。BCR 在深层 Transformer 模块中施加多层协同约束：首先在特征统计层面拉齐 ROI 与背景的均值与方差；其次将每个 ROI Token 软投影到背景 Token 张成的凸包特征字典上；同时显式惩罚背景区域特征的偏移，辅以全变差（Total Variation）正则平滑像素扰动。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入图像与待隐藏 ROI 边界框"] --> B["Token 划分与深层特征提取<br/>划分 ROI 集合 与 背景集合"]
B --> C["统计对齐约束<br/>匹配一阶均值与二阶方差"]
B --> D["字典流形投影约束<br/>软注意力凸组合重构"]
B --> E["背景表征保真约束<br/>冻结并锚定非 ROI 语义"]
C --> F["像素级联合反向传播优化<br/>多损失协同 + 全变差正则"]
D --> F
E --> F
F --> G["对抗图像输出<br/>语义平滑且无表征断层"]关键设计¶
1. 统计对齐约束：消除局部特征异常分布
抑制类攻击常在特征层造成激活骤降或极值聚集，语言模型可轻而易举探测到这些离群信号。为了让 ROI 区域在最基本的数值分布上隐形，BCR 在视觉编码器的选定高层集合 \(\mathcal{L}\) 中，强制对齐 ROI Token 特征 \(\mathbf{Z}_r^{(l)} = \{\mathbf{z}_{r,i}^{(l)} \mid i \in \mathcal{I}_r\}\) 与背景 Token 特征 \(\mathbf{Z}_b^{(l)} = \{\mathbf{z}_{b,j}^{(l)} \mid j \in \mathcal{I}_b\}\) 的一阶与二阶统计量。其损失定义为逐维度均值 \(\mu(\cdot)\) 与标准差 \(\sigma(\cdot)\) 的距离总和：
该设计消除了低阶矩层面的分布漂移，从底层杜绝了因数值异常引发的注意力突变。
2. 字典流形投影约束：将目标语义无缝映射至背景流形
单纯的统计对齐仅约束了边际分布，并不能确保 ROI 特征具备语义自洽性。若 ROI 特征漂浮在正常图像流形之外，下游自注意力与跨模态投影仍会失真。BCR 将背景 Token 集合视作局部上下文的基底字典，利用缩放点积注意力将每个 ROI Token \(\mathbf{z}_{r,i}^{(l)}\) 软投影到背景流形上。注意力权重与重构特征计算如下：
字典投影损失惩罚 ROI 特征与其在背景字典凸组合投影之间的均方误差：
通过使 ROI 特征成为真实背景特征的线性凸组合，目标区域被无缝重编码为周围背景的自然延伸，既剥离了物体特有类别信息，又保持了高维特征的连续平滑。
3. 背景表征保真约束：锁死全局视觉语义基底
对抗扰动极易在迭代优化中发生全局溢出，破坏画面中其他无关物体的语义，进而造成图像整体理解崩塌。为了确保“只隐目标、不伤全局”，BCR 对背景 Token 施加了严格的欧氏距离保真惩罚：
该约束迫使扰动完全内化在目标区域内，确保背景像素的深层嵌入与干净样本严格一致，杜绝附带的全局语义漂移。
损失函数 / 训练策略¶
整体优化目标在选定的深层 Transformer 集合 \(\mathcal{L}\) 上联合求和，并引入全变差正则项 \(\mathcal{L}_{\mathrm{tv}}\) 保证像素空间的平滑性：
其中超参数设置为 \(\lambda_{\mathrm{stat}} = 1.0\)、\(\lambda_{\mathrm{dict}} = 1.0\)、\(\lambda_{\mathrm{pres}} = 1.0\)、\(\lambda_{\mathrm{tv}} = 10^{-3}\)，温度系数 \(\tau = 0.07\)，扰动阈值 \(\epsilon = 0.2\)。优化目标重点作用于视觉编码器的最后四层（例如 Instruct-BLIP 和 BLIP2-T5 的第 22-25 层，LLaVA 的第 21-24 层），直接在语义形成的最高层级剔除物体概念。
实验关键数据¶
主实验¶
论文在 ImageNet（1,000 张验证集样本）与复杂多目标场景 COCO 上全面评估了 BCR 与 Masking、PRM、VIP 等方法的表现。主要评估指标包括：目标隐藏成功率（Concealment Success, C ↑）、非目标物体全局保留率（Global Preservation, GP ↑）、基于 GLIP 目标检测验证的落地幻觉率（Grounded Hallucination, GH ↓）以及整句语义漂移（Semantic Drift, SD ↓）。
| 数据集 | 方法 | Instruct-BLIP (C↑ / GP↑ / GH↓ / SD↓) | BLIP2-T5 (C↑ / GP↑ / GH↓ / SD↓) | LLaVA (C↑ / GP↑ / GH↓ / SD↓) |
|---|---|---|---|---|
| ImageNet | Clean (No Attack) | 0.00 / 1.00 / 0.00 / 0.00 | 0.00 / 1.00 / 0.00 / 0.00 | 0.00 / 1.00 / 0.00 / 0.00 |
| ImageNet | Masking | 1.00 / 0.41 / 0.59 / 0.54 | 1.00 / 0.52 / 0.48 / 0.40 | 1.00 / 0.55 / 0.45 / 0.41 |
| ImageNet | PRM | 0.66 / 0.38 / 0.62 / 0.44 | 0.70 / 0.31 / 0.69 / 0.41 | 0.73 / 0.34 / 0.66 / 0.39 |
| ImageNet | VIP | 0.93 / 0.57 / 0.43 / 0.35 | 0.96 / 0.59 / 0.41 / 0.32 | 0.98 / 0.62 / 0.48 / 0.29 |
| ImageNet | BCR (本文) | 0.92 / 0.81 / 0.19 / 0.13 | 0.95 / 0.83 / 0.17 / 0.10 | 0.98 / 0.86 / 0.14 / 0.08 |
| COCO | Clean (No Attack) | 0.00 / 1.00 / 0.00 / 0.00 | 0.00 / 1.00 / 0.00 / 0.00 | 0.00 / 1.00 / 0.00 / 0.00 |
| COCO | Masking | 1.00 / 0.37 / 0.63 / 0.46 | 1.00 / 0.39 / 0.61 / 0.44 | 1.00 / 0.41 / 0.59 / 0.41 |
| COCO | PRM | 0.63 / 0.54 / 0.46 / 0.37 | 0.77 / 0.58 / 0.42 / 0.34 | 0.80 / 0.60 / 0.40 / 0.33 |
| COCO | VIP | 0.80 / 0.42 / 0.58 / 0.48 | 0.83 / 0.45 / 0.55 / 0.45 | 0.88 / 0.48 / 0.52 / 0.43 |
| COCO | BCR (本文) | 0.89 / 0.77 / 0.23 / 0.16 | 0.92 / 0.79 / 0.21 / 0.13 | 0.95 / 0.82 / 0.18 / 0.11 |
消融实验¶
在 Instruct-BLIP 模型上逐一剥离核心组件的消融结果表明，统计对齐、字典投影与背景保真各司其职，缺一不可。
| 配置 | \(\mathcal{L}_{\mathrm{stat}}\) | \(\mathcal{L}_{\mathrm{dict}}\) | \(\mathcal{L}_{\mathrm{pres}}\) | \(\mathcal{L}_{\mathrm{tv}}\) | 隐藏成功率 (CS ↑) | 幻觉率 (HR ↓) | 全局保留率 (GP ↑) |
|---|---|---|---|---|---|---|---|
| 完整模型 (BCR Full) | ✓ | ✓ | ✓ | ✓ | 0.91 | 0.08 | 0.83 |
| 去掉全变差正则 | ✓ | ✓ | ✓ | ✗ | 0.90 | 0.09 | 0.81 |
| 去掉背景保真约束 | ✓ | ✓ | ✗ | ✓ | 0.86 | 0.17 | 0.69 |
| 去掉字典流形投影 | ✓ | ✗ | ✓ | ✓ | 0.79 | 0.21 | 0.74 |
| 去掉统计对齐约束 | ✗ | ✓ | ✓ | ✓ | 0.72 | 0.28 | 0.66 |
| VIP 基线对比 | - | - | - | - | 0.88 | 0.42 | 0.51 |
关键发现¶
- 特征连续性直接决定幻觉程度：实验显示，VIP 虽略微降低了统计差异，但其字典投影误差高达 1.0500（甚至高于 Clean 的 1.0113），导致其落地幻觉率飙升至 0.440；而 BCR 将字典投影误差大幅压缩至 0.0777（降低超 90%），统计差异降至 0.0297，落地幻觉率直降至 0.167。这有力证实了表征断层是引发幻觉的根本机制。
- 深层优化具有决定性优势：层敏感性分析表明，在 ViT 浅层优化仅取得 0.22 的隐藏成功率，而优化深层 Transformer 块隐藏成功率跃升至 0.91，且幻觉率控制在 0.18，表明多模态高层抽象语义才是阻断 VLM 概念生成的关键着力点。
- 图像感知保真度更佳：BCR 在 LLaVA 上取得了 0.94 的 SSIM 和仅 0.04 的 LPIPS（显著优于 VIP 的 0.65 SSIM 与 0.32 LPIPS），保证了对抗修改在人眼视觉感知上的自然度。
亮点与洞察¶
- 将物体隐藏重新阐释为特征流形融合：巧妙打破了“隐藏=特征抹零/抑制”的传统思维定势，利用凸组合投影将前景柔和推入背景空间，首次揭示并解决了“隐藏诱发补偿性幻觉”的理论死结。
- GLIP 落地幻觉评估范式：针对传统文本度量难以区分真实物体与同义词变体的缺陷，引入开集目标检测器 GLIP 校验文本名词短语在物理图像中的实体对应，树立了多模态对抗幻觉评测的新标准。
- 高度通用的即插即用迁移性：方法无需修改模型架构，亦不依赖模型特有的跨模态注意力设计，可直接平替部署至 CLIP-ViT、ViT-g 等多种主流视觉编码器。
局限与展望¶
- 部分语义替代倾向（Partial Semantic Substitution）：作者承认，当目标物体较小或背景语义复杂时，BCR 有时会将物体表征重编码为其相邻的相近概念（例如将领带转化为西装衬衫纹理、餐具重编码为周围餐盘），导致严格审视下仍有语境线索残留。
- 细粒度多轮交互提示的鲁棒性：面对攻击者针对 ROI 区域的高频针对性 Yes/No 探针提问（如“图中是否有物体X？”），受限于局部细微残差，模型可能仍会以较低概率泄露存在性信息。
- 可改进方向：探索结合文本提示感知的自适应重编码权重，以及针对高分辨率动态切片（如 AnyRes 架构）的非均匀 Token 对齐优化。
相关工作与启发¶
- vs VIP (Visual Information Protection)：VIP 采用注意力与特征激活截断（Attention Suppression），在特征层留出明显“空洞”，迫使语言解码器利用先验脑补出无关物体（如无中生有产生消防栓）；BCR 则采用背景平滑补全思路，在保持高隐藏率的同时将幻觉率降低了近 3 倍。
- vs PRM (Patch Representation Misalignment)：PRM 追求打碎局部 Patch 表征以摧毁模型认知，导致整体图像全局语义崩塌（全局保留率仅 30-40% 左右）；BCR 通过精准的背景保真损失将全局非目标保留率维持在 80% 以上。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 颠覆了通过抑制特征进行隐私隐藏的传统视角，首次确立并验证了表征断层诱发幻觉的机理。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖多模型、主流数据集、GLIP 物体级落地落地校验及完备的特征连续性量化度量。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密连贯，数学公式规范紧凑，消融实验与机理解释层层递进。
- 价值: ⭐⭐⭐⭐⭐ 为多模态大模型的隐私保护、合规内容消除以及幻觉机理研究提供了极具启发性的全新范式。