I2V-DETACH: Source Grounding Detachment for Unauthorized Image-to-Video Generation¶
会议: NeurIPS 2026
arXiv: 2610.23287
OpenReview: https://openreview.net/forum?id=2jiZgfYwnk
领域: 视频生成
关键词: 图像到视频生成, 图像免疫, 对抗扰动, 源图像解耦, 视频扩散模型
一句话总结¶
针对未经授权的图像生成视频(I2V)滥用风险,I2V-Detach 提出源提示解耦免疫框架,通过抑制源-视频跨注意力并增强视频内部动态自交互,促使生成视频自然脱离源图像视觉身份束缚。
研究背景与动机¶
随着扩散模型与 Diffusion Transformer(DiT)架构的飞速发展,图像生成视频(Image-to-Video, I2V)技术取得了突破性进展,用户仅需单张参考图像和文本提示词即可合成出高度逼真、时序连贯的动态视频。然而,该技术的易用性也带来了极高的人像滥用、隐私泄露与深度伪造等版权与安全风险。图像免疫(Image Immunization)作为一种主动防御策略,旨在发布前向受保护图像注入人类视觉不可察觉的微小对抗扰动,使得恶意模型在使用该图像进行生成时发生失效。
然而,现有的 I2V 免疫方法大多直接承袭图像编辑对抗攻击的思路,将防御目标设定为诱发生成视频的严重质量退化、帧间时序撕裂或运动冻结(例如 I2VGuard 与 VidFreeze)。这种以输出崩塌为核心的设计忽略了 I2V 扩散模型的一个本质属性:在去噪的全生命周期中,源图像特征会被持续作为强条件引导注入潜变量。实验与可视化分析表明,即使现有防御成功让生成视频出现严重的闪烁和结构破损,生成帧中依然保留了极易辨识的源图像人脸特征、主体身份与视觉结构,无法实现真正的隐私与内容保护。
针对这一根本矛盾,本文重新审视了 I2V 免疫的防御本质,提出防御的核心目标不应是单纯降低画质,而应是切断源条件在去噪过程中的连续传递,即降低源内容保持度。核心 idea:通过源引导解耦损失抑制视频查询对源图像键的注意力检索,并配合视频内部耦合损失放大视频潜变量间的自主交互,驱使视频生成在保持自然画质的同时彻底摆脱源图像的视觉锚定。
方法详解¶
整体框架¶
I2V-Detach 面向基于扩散模型的各类 I2V 架构(涵盖 MMDiT 全注意力、交叉注意力以及时空解耦注意力),在给定的 \(\ell_\infty\) 扰动预算 \(\eta\) 内,为源图像 \(x\) 求解不可见的主动防御扰动 \(\delta\)。方法的核心在于直接干预去噪前期的注意力机制,阻断源图像键与视频查询之间的信息流动。
整体运行流程包含三大步骤:首先利用小步长梯度上升动态构造出源导向但逐步偏离源副本的源发散视频隐变量(Source-Divergent Video Latents),作为优化的辅助视频流;随后将受保护图像隐变量与该辅助视频序列拼接送入预训练冻结的 I2V 去噪器中;最后在前 10% 的初始去噪时间步内联合计算源-视频解耦损失与视频内部耦合损失,反向传播更新源图像的像素级微小扰动。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入保护源图像 x 与扰动 δ"] --> B["源发散视频构造<br/>单步PGD生成偏离源隐变量并时序平铺"]
B --> C["扩散前向加噪与特征投影<br/>拼接输入前10%关键去噪层"]
C --> D["源-视频解耦目标<br/>抑制视频查询对源条件键注意力响应"]
C --> E["视频内部耦合目标<br/>最大化视频潜变量之间自交互注意响应"]
D --> F["联合对抗优化<br/>符号梯度反传并投影至扰动约束球"]
E --> F
F --> G["输出最终免疫图像 x_adv"]
关键设计¶
1. 源发散视频隐变量构造:解决对抗信号与去噪流流形失配痛点 直接对全视频序列计算对抗扰动在计算上极度昂贵,而若直接采用全零黑帧或纯随机噪声作为辅助视频流,其在去噪初期与源图像条件缺乏真实的注意力关联,会导致解耦梯度极其微弱甚至脱离流形;若仅简单重复源图像帧,又会强化固定的静态复制捷径,限制视频侧交互的多样性。为此,本文设计了单隐变量步进偏移并时序平铺的构造机制:在外部扰动迭代第 \(n\) 步,对辅助扰动 \(\Delta\) 沿离开干净源隐变量的方向执行一步符号梯度上升更新,再由 3D-VAE 编码并沿着时间维度重复 \(F-1\) 次: $\(\Delta^n = \Delta^{n-1} + \beta \cdot \mathrm{sign}\left(\nabla_{\Delta^{n-1}} \|\mathcal{E}(x+\Delta^{n-1}) - \mathcal{E}(x)\|_2^2\right), \quad \bar{Z}^n = \mathcal{R}_{F-1}(\mathrm{sg}[\mathcal{E}(x+\Delta^n)])\)$ 该设计不仅将辅助视频构造的时间开销缩减一半以上,而且保证了辅助潜变量既深植于源图像的语义邻域,又主动偏移了平庸的自复制轨迹,为后续注意力干预提供了高信噪比的对抗梯度。
2. 源-视频解耦目标:从注意力 Logit 根源切断参考锚定 I2V 模型的视频潜变量在生成过程中高度依赖视频查询 \(Q_\mathcal{V}\) 对源图像特征键 \(K_\mathcal{C}\) 的检索对齐。常规的输出端 MSE 攻击容易被扩散模型本身的自纠错先验吸收,且 Softmax 归一化后的注意力图会受到无关 Token 概率竞争的平滑稀释。因此,本设计选择在特定层级 \(L\)(覆盖中间 25%~75% 深度)直接压制未经过 Softmax 的原始点积注意力 Logit: $\(\mathcal{L}_{\mathrm{svd}} = \frac{1}{|L|} \sum_{\ell \in L} \frac{1}{|\mathcal{V}||\mathcal{C}|} \sum_{i \in \mathcal{V}} \sum_{c \in \mathcal{C}} \left[ S\left(Q^\ell, K^\ell\right) \right]_{ic}, \quad \text{其中 } S(Q, K) = \frac{QK^\top}{\sqrt{d_k}}\)$ 通过显式最小化视频 Token 对源图像 Token 的平均相关打分,强制剥离视频生成路径对输入人脸及背景实体的空间拓扑检索,迫使网络无法从参考图像获取高保真细节。
3. 视频内部耦合目标:以视频自主时序动力学重塑生成走向 如果仅单向压制源-视频关联,去噪网络往往会因缺乏明确驱动力而产生杂乱的低质量崩溃或纯白噪声画面,导致防御极易被低通滤波等净化手段滤除。为了在实现去耦的同时诱导真实连贯的“替代性生成”,本文引入反向优化的视频内部自交互目标,最大化视频侧查询与视频侧键之间的匹配强度: $\(\mathcal{L}_{\mathrm{ivc}} = -\frac{1}{|L|} \sum_{\ell \in L} \frac{1}{|\mathcal{V}|^2} \sum_{i \in \mathcal{V}} \sum_{j \in \mathcal{V}} \left[ S\left(Q^\ell, K^\ell\right) \right]_{ij}\)$ 该设计主动放大了视频帧内部以及跨帧之间的注意力自组织过程,将去噪动力学的重心由“外源条件驱动”强力牵引为“内生动态演变”,使得模型在摆脱源图像控制后,依然能够沿着自然流形生成与保护图像主体截然不同的替代视频。
损失函数 / 训练策略¶
防御图像的最终生成通过极小化复合源引导解耦目标 \(\mathcal{L}_{\mathrm{sgd}}\) 完成: $\(\mathcal{L}_{\mathrm{sgd}} = \mathcal{L}_{\mathrm{svd}} + \lambda \mathcal{L}_{\mathrm{ivc}}\)$ 其中权重超参数 \(\lambda\) 默认固定设为 \(1.0\)。优化过程中,采样范围限制在去噪轨迹的前 \(10\%\) 时间步(\(\tau \sim \mathcal{T}\)),利用单步投影梯度下降(PGD)更新像素扰动: $\(\delta \leftarrow \mathrm{Clip}\left(\delta - \alpha \cdot \mathrm{sign}\left(\nabla_\delta \mathcal{L}_{\mathrm{sgd}}\right), -\eta, \eta\right)\)$ 实验中设定扰动上界 \(\eta = 8/255\),步长 \(\alpha = 1/255\),辅助扰动步长 \(\beta = 2/255\),迭代轮数 \(N=50\)。该算法在单张 A100 GPU 上单图免疫耗时约 10 分钟。此外,针对常见图像预处理防御,论文还提出了频域增强变体 Ours*(RGB+DCT),在更新中引入离散余弦变换域投影以抵御高频净化。
实验关键数据¶
主实验¶
在由 VBench 精选的 100 组多样化提示词与图像测试集上(含 80 个高敏感人像与 20 个常规物体),针对 CogVideoX-5B、LTX-Video-2B 和 OpenSora 1.2 三种主流开源 DiT 视频模型进行防御性能评估。评测指标包含源一致性度量(I2V Subject IS、Subject Consistency SC、DINO Similarity DS,数值越低代表防御效果越好、源内容脱离越彻底)以及生成感知质量指标(Aesthetic Quality AQ、Imaging Quality IQ)。
| 目标模型 | 防御方法 | 优化空间 | 外置视频/文本 | IS ↓ | SC ↓ | DS ↓ | AQ | IQ |
|---|---|---|---|---|---|---|---|---|
| CogVideoX | Clean | - | - | 97.28 | 94.83 | 89.17 | 60.46 | 70.03 |
| EditShield (ECCV'24) | RGB | ✗ / ✗ | 95.97 | 93.77 | 86.09 | 60.72 | 65.41 | |
| AdvPaint (ICLR'25) | RGB | ✗ / ✓ | 93.27 | 89.90 | 78.42 | 57.11 | 63.64 | |
| I2VGuard (CVPR'25) | RGB | ✓ / ✓ | 94.39 | 92.52 | 82.99 | 58.65 | 63.39 | |
| Anti-I2V* (CVPR'26) | Lab+DCT | ✓ / ✓ | 93.13 | 92.42 | 82.34 | 60.97 | 65.38 | |
| Ours | RGB | ✗ / ✗ | 86.39 | 80.63 | 65.54 | 57.87 | 66.76 | |
| Ours* | RGB+DCT | ✗ / ✗ | 83.52 | 78.30 | 63.33 | 59.52 | 67.55 | |
| LTX-Video | Clean | - | - | 97.12 | 94.22 | 81.04 | 57.85 | 67.60 |
| EditShield | RGB | ✗ / ✗ | 92.63 | 86.85 | 69.62 | 51.04 | 57.04 | |
| AdvPaint | RGB | ✗ / ✓ | 93.87 | 90.33 | 73.24 | 54.43 | 59.18 | |
| I2VGuard | RGB | ✓ / ✓ | 94.10 | 89.67 | 73.37 | 54.47 | 61.08 | |
| Anti-I2V* | Lab+DCT | ✓ / ✓ | 93.80 | 89.50 | 75.12 | 53.40 | 63.77 | |
| Ours | RGB | ✗ / ✗ | 89.85 | 81.98 | 60.88 | 50.35 | 58.51 | |
| Ours* | RGB+DCT | ✗ / ✗ | 88.70 | 81.08 | 58.94 | 49.73 | 58.52 | |
| OpenSora 1.2 | Clean | - | - | 95.73 | 95.17 | 87.30 | 56.95 | 66.10 |
| EditShield | RGB | ✗ / ✗ | 86.39 | 88.98 | 70.08 | 53.52 | 62.64 | |
| AdvPaint | RGB | ✗ / ✓ | 84.47 | 83.39 | 58.80 | 48.92 | 56.10 | |
| I2VGuard | RGB | ✓ / ✓ | 92.20 | 92.68 | 77.68 | 56.10 | 62.19 | |
| Anti-I2V* | Lab+DCT | ✓ / ✓ | 91.64 | 91.97 | 77.33 | 55.30 | 62.03 | |
| Ours | RGB | ✗ / ✗ | 79.62 | 73.92 | 52.10 | 48.95 | 52.38 | |
| Ours* | RGB+DCT | ✗ / ✗ | 78.95 | 73.70 | 51.40 | 48.98 | 52.55 |
消融实验¶
在 CogVideoX-5B 架构上深入考察损失函数组合与辅助视频构造策略的协同作用:
| 损失配置 | 视频隐变量来源 | IS ↓ | SC ↓ | DS ↓ | 机制分析 |
|---|---|---|---|---|---|
| \(\mathcal{L}_{\mathrm{svd}}\) 仅解耦 | 随机噪声 (Rand) | 95.29 | 91.59 | 83.16 | 无源语义锚定,解耦梯度微弱 |
| \(\mathcal{L}_{\mathrm{svd}}\) 仅解耦 | 纯黑帧 (Black) | 95.06 | 90.98 | 82.55 | 脱离去噪分布,优化信噪比低 |
| \(\mathcal{L}_{\mathrm{svd}}\) 仅解耦 | 源帧重复 (Source) | 92.83 | 90.49 | 80.93 | 具备源语义,但缺乏时序多样性 |
| \(\mathcal{L}_{\mathrm{svd}}\) 仅解耦 | 本文源发散视频 (SDV) | 91.83 | 87.49 | 78.24 | 渐进偏移提供丰富解耦梯度 |
| \(\mathcal{L}_{\mathrm{ivc}}\) 仅耦合 | 本文源发散视频 (SDV) | 89.31 | 85.37 | 72.37 | 强化视频动态,但无法主动脱钩源内容 |
| \(\mathcal{L}_{\mathrm{svd}} + \mathcal{L}_{\mathrm{ivc}}\) (完整) | 纯黑帧 (Black) | 89.14 | 84.23 | 72.60 | 缺乏源引导抑制,双损失增益受限 |
| \(\mathcal{L}_{\mathrm{svd}} + \mathcal{L}_{\mathrm{ivc}}\) (完整) | 源帧重复 (Source) | 88.45 | 83.54 | 70.78 | 重复帧导致内部耦合退化为简单静态复制 |
| \(\mathcal{L}_{\mathrm{svd}} + \mathcal{L}_{\mathrm{ivc}}\) (完整) | 本文源发散视频 (SDV) | 86.39 | 80.63 | 65.54 | 双向互补,源内容脱离程度最高 |
关键发现¶
- 去耦与内耦的高度互补性:单用 \(\mathcal{L}_{\mathrm{svd}}\) 虽能降低相似度,但生成结果常因缺乏动态自组织而产生画面崩塌或残余特征锁死;单用 \(\mathcal{L}_{\mathrm{ivc}}\) 仅增加了视频内部运动幅度而未切断源控制。两者结合使 DINO 相似度从基线的 89.17 骤降至 65.54,展现出协同防御效应。
- 优异的黑盒可迁移性:以 CogVideoX 为白盒受害模型生成的扰动,直接迁移至黑盒交叉注意力架构 LTX-Video 时,DS 依然达到 72.30(远优于所有基线 76.02~77.72);甚至在闭源商业模型 Luma Ray 3.2 和十亿级模型 Wan2.1-14B 上,也展现出了最佳的源脱钩防御能力。
- 鲁棒抗净化能力:在面对 JPEG 压缩、高斯噪声、Adverse Cleaner 滤波以及基于扩散模型的 GridPure 净化攻击时,具备频域增强的 Ours* 始终保持全面领先(例如在 GridPure 下 DS 仅 64.83,而 Anti-I2V 为 83.25),有效抵抗了高频平滑对扰动的抹除。
亮点与洞察¶
- 范式颠覆(以“脱钩”取代“破坏”):以往的视频防御执念于制造剧烈伪影和帧跳跃,本文敏锐指出模型依然会“保真地渲染破损人脸”;通过转向“抑制源检索、释放视频动力学”,首次实现了让生成模型在保持视频自然美感的同时主动放弃保护源主体。
- 轻量而精准的 Logit 级干预:绕过非线性 Softmax 的注意力稀释与反向传播负担,在未归一化的 Logit 空间精准惩罚交叉对齐并奖励自相关,使单张 A100 即可完成对 50 亿参数 DiT 视频模型的端到端免疫。
- 构造解耦优化的“靶机”隐变量:通过一步梯度上升自适应构造出“源导向且渐进发散”的辅助视频潜变量,成功弥合了“单图输入”与“多帧去噪流”之间的维度与语义鸿沟。
局限与展望¶
- 迭代对抗攻击计算开销显著:由于需要反向传播穿透庞大的 DiT 扩散主干,单张图像免疫仍需耗时约 10 分钟,难以满足用户实时上传场景。
- 部分样本呈现不完全脱钩:在极端复杂场景或强人脸特写中,模型偶尔仅改变发型或背景色调,五官轮廓仍有部分残留(需进一步自适应提升 \(\mathcal{L}_{\mathrm{svd}}\) 权重)。
- 未来方向:探索类似通用对抗扰动(UAP)的一劳永逸方案,或训练前馈式神经网络免疫编码器,实现毫秒级即时源脱钩加固。
相关工作与启发¶
- vs I2VGuard / Anti-I2V: 以往方法必须预先准备参考视频或提示词,且强行迫使潜变量对齐纯黑视频或坍缩特征,极易导致严重噪点且难防主体残留;I2V-Detach 无需任何外置视频或提示词,纯通过注意力流向重定向实现高质量“换人换景”。
- vs EditShield / AdvPaint: 后者为 2D 图像编辑与修复防御设计,只针对单图编码器或交叉注意力,无法建模视频扩散模型特有的时空交互与时序注意力依赖;本文提出的两路注意力解耦可直接迁移至更多基于参考图像的长视频与 3D 生成安全任务。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 颠覆了以画质崩塌为目标的传统免疫思路,首创关注于注意力源解耦与内生动力学重建。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖三大主流开源架构、闭源商业模型、通用对抗扩展、人类主观盲测及四种净化防御。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻透彻,图表设计精美,数学定义清晰且与理论直觉高度一致。
- 价值: ⭐⭐⭐⭐⭐ 为解决 AIGC 人像肖像权与版权素材的被动视频伪造滥用提供了切实有效的主动防护范例。