Discrete Noise Inversion for Next-scale Autoregressive Text-based Image Editing¶

会议: ECCV2026
论文: ECCV 原文
领域: 图像生成
关键词: 文本引导图像编辑、视觉自回归模型、离散噪声反演、Gumbel 采样、背景保留

一句话总结¶

VARIN 为 next-scale 视觉自回归模型构造带可控保留偏置的逆噪声，无需训练或测试时优化即可编辑图像，在 PIE-Bench 上将 HART 再生成基线的结构距离从 25.56 降至 11.54，同时提高背景保留和文本一致性。

研究背景与动机¶

文本引导图像编辑不仅要生成符合新提示词的内容，还要保留原图中没有要求修改的区域。扩散编辑通常先反演图像，再沿修改后的文本条件生成；但多步去噪和部分方法的测试时优化会增加延迟。视觉自回归模型提供了另一种生成路径：不按光栅顺序逐个生成 token，而是从粗到细预测整张 token 图。 HART 这类 next-scale 模型用较少的尺度预测即可生成图像，因而具有低延迟编辑的潜力。问题在于，生成速度快不等于天然知道应该保留原图的哪些细节。

最直观的 Regeneration 基线保留原图的早期尺度，再用目标文本重新生成后续尺度。早期尺度承载总体布局，所以编辑结果往往还能保持大体构图；但后期尺度中的背景纹理也被重新采样了。因此，把猫换成狗时，椅子的纹理、地面细节等无关内容也可能改变。如果希望通过噪声保留这些信息，就必须解决离散采样的反演问题：argmax 只留下胜出类别，丢弃了其余分数。即使找到能重建原 token 的噪声，也不能保证它在换提示词后既允许对象变化，又稳定保留背景。

论文将难点定位到这种“可重建但未必可编辑”的离散噪声表示。简单的 one-hot 反演会让原类别拥有过强优势，重新混入随机噪声也很难平滑控制编辑程度。 VARIN 因而利用模型自身预测的 logits 来构造扰动分数，并通过类别间的保留间隔调节原图偏置。这里的目标不是找回唯一的历史随机种子，而是构造一组满足重建约束、又适合编辑的逆噪声。核心 idea：在模型 logits 周围采样可控间隔的伪逆 argmax 分数，提取逐尺度逆噪声，再随尺度把它与新噪声混合，使目标文本改变内容而原图信息约束背景。

方法详解¶

整体框架¶

输入包括源图像、描述源图的文本，以及描述期望结果的目标文本；输出是编辑后的图像。源文本用于反演条件，可以由人编写或由图像描述模型提供，不应与目标文本混用。编码器先把源图变成从低分辨率到高分辨率的多尺度离散 token 图，每个位置取一个词表类别。反演阶段使用真实源图 token 前缀和源文本，预测每个尺度的 logits，再执行位置感知 argmax 反演和逐尺度逆噪声提取。编辑阶段切换到目标文本，保留早期 token，并执行逐尺度噪声调度编辑；最终由解码器还原图像。模型权重始终固定，反演不是额外训练，也不需要输入用户手绘的编辑掩码。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["源图像 + 源文本"] --> Encode["多尺度 token<br/>与源条件 logits"]
        Encode --> LAI["位置感知 argmax 反演"]
        LAI --> Noise["逐尺度逆噪声提取"]
        Noise --> Edit["逐尺度噪声调度编辑"]
        Target["目标文本 + 新噪声"] --> Edit
        Edit --> Output["解码得到编辑图像"]

关键设计¶

1. 位置感知 argmax 反演：让原类别获胜，但不把其他类别压到不可竞争

离散生成可用 Gumbel-max 采样理解：在各类别的 logits 上加噪声，再取最大分数对应的类别。反演时，源图给定了应该胜出的类别，却没有给定加噪后的整个分数向量。因此 argmax 没有唯一逆函数，论文寻找的是一个满足胜出约束的伪逆。 Onehot Argmax Inversion（OAI）将目标类别的分数设为 0，其他类别设为极大的负值，再减去预测 logits。它能保证重建，却把原图类别的优势写得过死，得到的噪声尺度也很难与普通 Gumbel 噪声协调。 Location-aware Argmax Inversion（LAI）中的 location 指 Gumbel 分布的位置参数，即模型的预测 logit，并不是额外的空间位置检测器。

LAI 先以源类别的预测 logit 为位置参数，采样该类别的扰动分数 \(q_{\max}\)。接着，对所有竞争类别分别以其预测 logit 为位置参数，从上截断 Gumbel 分布采样。截断上界为 \(q_{\max}-\tau\)，其中非负的 \(\tau\) 是保留间隔；最后把源类别位置覆盖为 \(q_{\max}\)。这样，源类别仍然获胜，但竞争类别的分数保留了模型对不同候选内容的相对偏好。算法 3 给出的截断采样表达式如下，\(\phi\) 是位置参数，\(T\) 是上界，\(u\) 是均匀随机变量。

\[ q=\phi-\log\left(\exp(\phi-T)-\log u\right),\qquad u\sim\operatorname{Uniform}(0,1),\quad T=q_{\max}-\tau. \]

当 \(\tau=0\) 时，竞争类别可以非常接近胜出类别，小幅噪声扰动就可能改变背景 token。正的保留间隔让这些未请求修改的位置更稳定，同时仍允许目标条件产生足够大的 logit 变化来推动编辑。论文将这种构造描述为更接近标准 Gumbel 的逆噪声；不能把它理解为独立标准 Gumbel 分布的严格恢复证明。因为噪声已经受到源类别和截断条件约束，重建约束与分布匹配是不同的问题。

2. 逐尺度逆噪声提取：把源图信息写入可复用的采样残差

在尺度 \(t\)，模型根据源文本和所有更早的源 token 图预测 \(p_t^{\mathrm{src}}\)。 LAI 得到的 \(q_t\) 与这些 logits 具有相同形状，都是“该尺度位置数乘词表大小”的分数张量。算法 2 将两者相减，得到逐位置、逐类别的逆噪声，并保存所有尺度的结果。其核心约束可按算法 1 和算法 2 写为：

\[ n_t=q_t-p_t^{\mathrm{src}},\qquad \operatorname{argmax}\left(p_t^{\mathrm{src}}+n_t\right)=r_t^{\mathrm{src}}. \]

如果保持源文本、相同的源前缀并复用逆噪声，模型就会恢复原来的离散 token 图。这一过程使用已知源 token，和编辑时依据已生成前缀预测后续尺度的状态不同。保存的是一组可加回采样 logits 的残差，而不是仅保存一个全局随机种子，也不是重新学习图像嵌入。它使后续尺度不再完全依赖新随机数，因而能把源图的细节信息带入再生成过程。

这里必须区分 token 层和像素层：准确找回 token，不会消除编码器量化和解码器造成的损失。原文表 1 中 HART 的重建 PSNR 为 26.00，正说明“完美重建”只能在离散表示层理解。因此，逆噪声提取解决的是采样路径的可重建性，而不是让有损图像压缩突然变成无损。背景保留的上限仍受到基础模型表示能力约束，不能仅由反演算法决定。

3. 逐尺度噪声调度编辑：先保持布局，再逐步释放细节生成

编辑时先固定源图的早期尺度，再从起始尺度 \(s\) 开始使用目标文本预测后续 token。按算法 4 的索引，保留的是 \(s\) 之前的尺度；默认 \(s=5\)，即先固定尺度 1 至 4。每一步都根据当前前缀计算目标条件 logits，并把新 Gumbel 噪声与对应的源逆噪声混合。后续前缀包含已编辑 token，而不是每一步都重新强制使用完整的源图前缀。算法 4 的采样关系如下，其中 \(g_t\) 表示新噪声，\(\lambda_t\) 是逆噪声权重。

\[ \widetilde r_t=\operatorname{argmax}\left(p_t^{\mathrm{tgt}}+(1-\lambda_t)g_t+\lambda_t n_t\right). \]

论文在 HART 实验中采用对数调度，使 \(\lambda_t\) 从起始尺度的 1 逐步降到最后尺度 14 的 0。前期保留更多源逆噪声，帮助稳定结构；后期允许新噪声参与细节生成，避免把编辑锁死。即使 \(\lambda_t=1\)，目标条件 logits 也可能不同于源条件 logits，所以并不保证继续生成源 token。相反，当 \(\lambda_t=0\) 时，当前尺度不再直接使用逆噪声，但仍受前面已生成尺度的条件约束。这解释了为何噪声权重不是一个简单的“复制原图比例”，而是作用于条件采样过程的控制量。论文没有在提供的正文中写出对数调度的完整解析式，不能据此臆造精确实现。

一个完整示例¶

以原文图 4 中“木椅上的猫改为狗”为例，源文本描述猫，目标文本将主体改为狗。首先编码原图，再在源文本条件下提取各尺度的逆噪声，保存猫、椅子和背景共同形成的表示信息。在默认 \(s=5\) 的设置下，尺度 1 至 4 留下原构图，之后模型使用目标文本开始重新采样。主体区域的目标条件倾向于狗相关的 token，而椅子等未编辑区域仍受到逆噪声和保留间隔的约束。随着 \(\lambda_t\) 下降，后期尺度获得更大的随机细节生成自由度；最后将保留和新生成的 token 一起解码。这里没有一个显式步骤把猫区域裁剪出来，图像区域选择主要来自文本条件、模型预测和源逆噪声的共同作用。这也是为什么编辑掩码出现在评测指标中，并不意味着算法输入依赖同一个掩码。

损失函数 / 训练策略¶

VARIN 不增加训练损失、不微调基础模型，也不通过梯度下降优化每张图的 latent 或 null-text embedding。可调量是反演的保留间隔、编辑起始尺度和逆噪声权重调度，均属于推理时控制。主实验使用 HART，默认 \(s=5\)、\(\tau=18\)，最终尺度为 14。论文另给出 Switti 上的细粒度定性编辑，但不能据此将 HART 的定量结果直接推广到 Switti。

实验关键数据¶

主实验¶

PIE-Bench 包含 700 张图像和 9 类编辑场景，提供源文本、目标文本及评测所用区域标注。以下摘录原文表 2（第 14 页）；结构距离和背景 LPIPS 越低越好，背景 PSNR 与 CLIP 相似度越高越好。背景指标只在编辑掩码之外计算；Whole CLIP 面向整图，Edited CLIP 面向掩码内区域。

方法	基础生成模型	结构距离 ×10³ ↓	背景 PSNR ↑	背景 LPIPS ×10³ ↓	Whole CLIP ↑	Edited CLIP ↑
Regeneration	HART	25.56	20.45	106.50	24.65	21.13
VARIN	HART	11.54	26.47	54.62	25.59	22.35
DICE	Paella / MaskGiT	11.34	27.29	52.90	23.79	21.23
AREdit	Infinity	30.5	24.19	87.00	25.42	22.77
Null-text Inversion	diffusion	13.44	27.03	60.67	24.75	21.86
DDPM-Inversion	diffusion	22.12	22.66	67.66	26.22	23.02

同为 HART 的比较最能隔离方法变化：VARIN 的背景 PSNR 提高 6.02，Edited CLIP 提高 1.22，同时结构距离降低 14.02。跨基础模型的结论应更克制：DICE 的结构距离和部分背景指标更优，AREdit 的 Edited CLIP 也高于 VARIN。 DDPM-Inversion 的两个 CLIP 分数均更高，因而本文并非在所有文本一致性指标上占优。原文第 13 页报告单张 NVIDIA A100 上每张图像编辑耗时 0.65 秒；这是作者报告值，不是本笔记复测结果。

消融实验¶

提供的正文没有列出 \(\tau\)、OAI/LAI 或噪声调度的定量消融表，因此这里使用重建分析而非编造组件消融。下表来自原文表 1（第 11 页），对应 PIE-Bench 源图反演后重建的整图指标，不是上一表的背景区域指标。

反演方法	基础模型	PSNR ↑	LPIPS ×10³ ↓	MSE ×10⁴ ↓	SSIM ×10² ↑
DICE	Paella	30.91	39.81	11.07	90.22
VARIN	HART	26.00	70.26	33.20	79.83

两种离散反演都能恢复源 token，但 Paella 与 HART 的有损表示不同，像素层指标仍有差距。因此，这张表不能用来证明 DICE 的 argmax 反演比 LAI 更准确；它比较的是完整表示与重建管线。表 2 中 Regeneration 与 VARIN 的对比支持逆噪声方法的整体价值，但不能单独分离 LAI、\(\tau\) 和调度各自的贡献。

关键发现¶

同基础模型下，背景保留和编辑一致性同时改善，说明结果不是单纯通过少编辑换取更高重建相似度。
与 DICE 相比，VARIN 的 Edited CLIP 为 22.35 对 21.23，但并未全面胜过其背景保留指标。
原文图 5 展示 Switti 上闭眼、转头、物体替换等局部编辑；作者仍指出大幅姿态或结构改变较困难。

亮点与洞察¶

反演对象从“唯一的原始噪声”变为“满足约束的可编辑噪声集合”。这让非可逆的 argmax 也能拥有实用的反演接口。
LAI 保留模型 logits 的信息，而不是只看源类别标签。其价值在于让竞争类别仍有机会响应新文本。
保留间隔与尺度调度控制不同维度：前者决定类别胜出稳定性，后者决定各尺度源噪声的使用程度。
方法无需修改交叉注意力或训练权重，具有作为现有 next-scale 采样器附加步骤的潜力；组合其他控制方法仍是未来方向。

局限与展望¶

作者明确指出，大幅姿态或结构改变仍有困难；早期尺度固定也意味着不能无限改变整体布局。
HART 的有损编码限制像素保真度，token 精确反演不能修复编码前已丢失的细节。
正文缺少保留间隔和噪声调度的数值敏感性分析，默认超参数对不同编辑类型的适用范围尚不清楚。
补充材料中的用户研究仅被正文提及，本次提供的 19 页缓存不含其样本量和结果，不能据此报告偏好胜率。
缓存的式 (1)、式 (2) 和部分 Gumbel 说明存在排版损坏；本笔记只采用清晰可读的算法 1 至 4，不复写损坏公式。
读者可进一步研究按编辑难度自适应选择起始尺度或保留间隔，但这不是论文已经验证的结果。

评分¶

新颖性: 4/5。将带位置参数和保留间隔的伪逆采样用于 next-scale 编辑，机制明确且针对性强。
实验充分度: 3/5。包含 PIE-Bench 主结果、重建分析及另一骨干的定性示例，但正文缺少组件级定量消融。
写作质量: 3/5。算法路径清晰，不过“完美重建”的层次与 Gumbel 噪声论述需要谨慎区分，缓存公式也有损坏。
价值: 4/5。为低延迟、免训练的自回归图像编辑提供实用接口，仍受基础表示和结构编辑范围限制。