No Caption, No Problem: Caption-Free Membership Inference via Model-Fitted Embeddings¶
会议: ICLR 2026
arXiv: 2602.22689
代码: GitHub
领域: AI 安全 / 隐私攻击
关键词: 成员推断攻击, 扩散模型, 无标题设定, 模型拟合嵌入, 隐私审计
一句话总结¶
提出 MoFit，首个面向无标题场景的扩散模型成员推断攻击框架，通过构建过拟合于目标模型的代理图像和条件嵌入，利用成员样本对条件错配的不对称敏感性实现有效推断。
研究背景与动机¶
- 扩散模型在高保真生成中的记忆化倾向引发隐私和知识产权担忧
- 成员推断攻击（MIA）是审计记忆化的标准方法
- 现有 MIA 的关键假设缺陷：假设攻击者拥有 ground-truth 标题，但实际中：
- 艺术家怀疑作品被复制时通常无法获得训练标题
- 公开生成 AI 平台不披露训练集来源
- 用 VLM 生成的替代标题替换 ground-truth 标题后，SOTA 方法性能显著下降
方法详解¶
整体框架¶
MoFit 把"拿不到真实标题"这个困境，转化成一个为目标模型量身定制条件的优化问题：先在像素空间造一张过拟合于目标模型无条件先验的代理图像，再从这张代理图像反向提取出一个被目标模型"认可"的条件嵌入 \(\phi^*\)，最后用 \(\phi^*\) 去条件化原始查询图像，看它的去噪损失相对无条件损失下降多少来判断成员身份。整个流程不需要训练标题，也不需要额外模型，只调用目标模型自身的去噪网络。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
Q["查询图像 x₀<br/>（无训练标题）"] --> S1
NULL["空条件 φ_null"] --> S1
S1["模型拟合代理优化<br/>优化扰动 δ 得 x₀*=x₀+δ*<br/>贴合无条件先验"] --> S2
VLM["VLM 替代标题嵌入<br/>（仅作初始化）"] --> S2
S2["代理驱动嵌入提取<br/>在 x₀* 上优化 φ<br/>得模型拟合嵌入 φ*"] --> S3
Q --> S3
S3["成员推断打分<br/>用 φ* 条件化 x₀<br/>L_MoFit = L_cond − L_uncond"] --> DEC
DEC{"不对称敏感性<br/>L_cond 是否显著升高"}
DEC -->|"显著升高"| MEM["判为成员"]
DEC -->|"变化轻微"| HOLD["判为非成员"]关键设计¶
1. 不对称敏感性观察：找到无标题场景下仍可用的信号
MoFit 的出发点是一个经验观察——成员样本和非成员样本对"条件错配"的敏感程度系统性地不同。当用替代标题（而非真实标题）去条件化时，成员样本的条件去噪损失 \(\mathcal{L}_{\text{cond}}\) 会显著上升，而非成员样本的变化要小得多；与此同时，无条件损失 \(\mathcal{L}_{\text{uncond}}\) 对两组都保持稳定。直觉上，目标模型对见过的样本拟合了一个尖锐的条件分布，一旦条件偏离这个"对的"方向就会被惩罚得更重，未见过的样本本就没有这种尖锐峰值因而更不敏感。这条不对称性意味着：即便没有真实标题，只要能构造出足够贴合目标模型的条件，就能把成员与非成员的损失差异放大成可分的判别信号。
2. 模型拟合代理优化：先造一张目标模型"过拟合"的图像
直接在原始图像 \(x_0\) 上提取嵌入会受图像自身内容干扰，难以逼近目标模型的真实条件几何。MoFit 转而先优化一个像素扰动 \(\delta\)，得到代理图像 \(x_0^* = x_0 + \delta^*\)，让它在无条件先验下被目标模型尽可能"接纳"：
这里用空条件 \(\phi_{\text{null}}\) 而非任何标题，是为了让代理只携带目标模型的无条件偏好、不掺入标题先验。实现上固定单次采样得到的 \(\hat{\epsilon}\) 和时间步 \(t\)（全程取 \(t=140\)）来稳定扰动方向，再沿梯度迭代更新 \(\delta\)，使代理图像逐步落入目标模型无条件分布的高密度区。消融显示这一步是性能关键：换成原始图像或随机噪声扰动，ASR 会大幅回落。
3. 代理驱动嵌入提取：从代理图像反推目标模型"认可"的条件
有了过拟合代理 \(x_0^*\)，第二步在它上面优化条件嵌入 \(\phi\)，让条件去噪损失最小：
优化以 VLM 生成的替代标题嵌入为初始化，再被代理图像"拉"向目标模型偏好的条件方向，得到的 \(\phi^*\) 不再是一个语义标题，而是一个专门拟合目标模型条件几何的向量。代理图像与嵌入由此构成一对紧密耦合的"模型拟合对"——代理负责锚定无条件先验，嵌入负责对齐条件方向。
4. 成员推断打分：用 \(\phi^*\) 放大不对称损失差
最后回到真正要判别的原始查询 \(x_0\)，用拟合好的 \(\phi^*\) 条件化它，并以无条件损失作基线相减，得到 MoFit 分数：
减去 \(\mathcal{L}_{\text{uncond}}\) 是为了消去图像本身难易带来的偏置，只留下条件错配引起的那部分差异——正是设计 1 中成员样本被放大的信号。最终决策再把 MoFit 分数与一个辅助损失（\(\mathcal{L}_{\text{uncond}}\) 或 VLM 标题损失 \(\mathcal{L}_{\text{VLM}}\)）融合，提高判别稳健性。实验中时间步固定为 \(t=140\)。
实验关键数据¶
无标题设定下的 MIA 性能对比¶
| 方法 | 条件 | Pokemon ASR | Pokemon TPR@1%FPR | MS-COCO ASR | MS-COCO TPR@1%FPR |
|---|---|---|---|---|---|
| CLiD | GT | 96.52 | 90.14 | 86.50 | 68.80 |
| CLiD | VLM | 77.55 | 19.23 | 80.90 | 50.80 |
| PFAMI | VLM | 74.43 | 6.01 | 80.40 | 29.40 |
| SecMI | VLM | 78.51 | 6.97 | 57.30 | 4.20 |
| MoFit | \(\phi^*\) | 94.48 | 50.48 | 88.00 | 47.00 |
消融实验：代理图像变体¶
| 输入 | 条件 | Pokemon ASR | MS-COCO ASR | MS-COCO TPR@1%FPR |
|---|---|---|---|---|
| \(x_0\)（原始） | \(\phi\) | 75.63 | 78.00 | 31.00 |
| \(x_0 + \delta\)（随机噪声） | \(\phi\) | 93.99 | 81.70 | 29.20 |
| \(x_0 + \delta_{\text{MAX}}\)（反向优化） | \(\phi\) | 75.87 | 78.00 | 34.00 |
| MoFit (\(x_0 + \delta^*\)) | \(\phi^*\) | 94.48 | 88.00 | 47.00 |
关键发现¶
- MoFit 在无标题设定下大幅超越 VLM 条件化基线（ASR 提升最高 +25%，TPR@1%FPR 提升 +30-47%）
- 在 MS-COCO 上甚至超越使用 ground-truth 标题的 CLiD（ASR: 88.00 vs 86.50）
- 代理优化是关键：仅使用原始图像或随机噪声优化嵌入效果显著较差
- 在 SD v1.5 预训练模型上同样有效（ASR: 77.61），说明方法具有通用性
亮点与洞察¶
- 问题定义的实际意义：无标题 MIA 场景更贴近现实审计需求
- 理论洞察深刻：成员样本对条件错配的不对称敏感性提供了可利用的新信号
- 巧妙的两阶段设计：先构建过拟合代理再提取嵌入，形成紧密耦合的模型拟合对
- 无需额外数据或模型：仅需访问目标模型的推理接口
局限性¶
- 需要访问目标模型的去噪网络参数（灰盒假设）
- 代理优化和嵌入提取增加了计算开销
- 固定时间步 \(t=140\) 为超参数，可能需要针对不同模型调整
- 对 LAION 规模的预训练模型效果相对减弱（该场景所有方法都表现不佳）
相关工作¶
- 扩散模型 MIA：SecMI, PIA, PFAMI, CLiD
- LLM MIA：Shokri et al. (2017)
- 无标题生成：Classifier-free guidance (Ho & Salimans, 2022)
评分¶
- 新颖性：⭐⭐⭐⭐⭐ — 首个针对无标题场景的扩散模型 MIA 框架
- 技术深度：⭐⭐⭐⭐ — 核心观察深刻，两阶段优化设计合理
- 实验完整性：⭐⭐⭐⭐ — 多数据集、多模型、充分消融
- 实用价值：⭐⭐⭐⭐ — 为数据隐私审计提供了实用工具