Continuous Adversarial Flow Models¶

会议: ECCV 2026
论文: ECCV 官方页面
领域: 图像生成
关键词: 连续时间流、对抗后训练、方向导数、流匹配、无引导生成

一句话总结¶

CAFM 在判别器的方向导数空间中比较真实与预测速度，以连续时间对抗目标后训练现有流匹配模型，在 ImageNet 256px 上将无引导 SiT / JiT 的 FID 从 8.26 / 7.17 降至 3.63 / 3.57，同时保留原有多步采样方式。

研究背景与动机¶

流匹配用均方误差监督从噪声到数据的速度场，训练简单且便于扩展，但有限容量模型并不一定生成贴近真实图像分布的样本。实践中常用 classifier-free guidance（CFG）提升画质，代价是改变采样分布。本文关心的不是如何把原来的采样过程压缩到几步，而是能否先把不依赖 guidance 的基础模型训练得更好。

作者把问题归因于训练准则的归纳偏置：不同准则可能在理想条件下指向相同的真实速度场，却在有限容量下产生不同的泛化结果。逐点欧氏误差不会主动区分纹理、轮廓等感知差异，固定感知网络又可能被生成器利用。可学习判别器提供了另一条路径，但已有 Adversarial Flow Models（AFM）比较的是离散时间状态转移，时间间隔趋近零时目标退化，不能直接得到稳定的连续时间训练。

核心 idea：保留流匹配的状态插值与速度预测接口，把判别对象从位置移到判别器沿速度方向的导数，用共同学习的感知准则改变有限容量模型的泛化，而不把任务改成少步蒸馏。

方法详解¶

整体框架¶

训练时，真实图像与高斯噪声先在随机时刻插值得到带噪状态；生成器预测该状态的速度。判别器仍接收状态和时间、输出标量，但真假评分来自其 Jacobian-vector product（JVP）：在同一状态分别沿真实条件速度和生成器预测速度求方向导数，再交替优化两网络。

整个训练目标不需要先积分生成完整图像，因此仍是 simulation-free。采样时只需要训练后的生成器，判别器不参与；连续流可通过 ODE 积分生成，实验则沿用各基线的 ODE 或 SDE 采样配置，不能把“连续时间”理解为“一次前向即可出图”。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    INPUT["真实图像、噪声<br/>时间与条件"] --> FLOW["同状态速度比较"]
    FLOW --> JVP["导数空间判别"]
    JVP --> TRAIN["稳定对抗后训练"]
    TRAIN -.->|训练更新| FLOW
    TRAIN -->|保留生成器| SAMPLE["原有多步采样<br/>输出图像"]

关键设计¶

1. 同状态速度比较：保持原来的概率路径，不再预测离散目标位置

沿用线性插值时，数据位于 \(t=0\)，噪声位于 \(t=1\)。对同一对图像和噪声，条件速度就是两者之差，生成器则只看到插值状态、时间和类别或文本条件。这里的真实条件速度是单个训练样本对提供的监督，不等于模型最终要学到的边缘速度；标准流匹配学习的是给定状态后这些条件速度的期望。

\[ x_t=(1-t)x+tz,\qquad \bar v_t=z-x,\qquad u_t=G(x_t,t). \]

CAFM 保留这个输入输出接口，所以无需把预训练生成器改成带起止两个时间参数的离散转移网络。SiT 直接输出速度；JiT 原本预测干净图像，作者在送给判别器之前把预测转换为速度。这一步保持了后训练与原始生成模型的兼容性，目标是换监督准则，而不是换数据空间或手工指定新流形。

2. 导数空间判别：让可学习标量势函数评价流动方向

若直接让判别器识别两个几乎相同的位置，时间间隔越小，真假区别越难形成有效信号。CAFM 不构造一个极小的离散步长，而是直接用自动微分计算连续导数：在同一个 \((x_t,t)\) 上，把真实条件速度或预测速度作为空间切向量，把 \(T=1\) 作为时间切向量，得到两个标量分数。判别器学的是状态空间上的标量势函数，分数反映沿各自时空方向移动时势函数怎样变化，而不是把速度向量直接当作普通分类器的输入。

JVP 的主变量始终是带噪状态和时间，真实与预测速度只是切向量，因此判别器必须通过自己的局部几何表达区别方向。生成器则通过预测速度影响 JVP，并接收穿过 JVP 的梯度。采样从 \(t=1\) 反向走到 \(t=0\)，所以图 2 为便于直观解释展示的是负判别势值，不能脱离时间方向简单解释势能升降。

3. 稳定对抗后训练：固定标量漂移，并让判别器充分适应生成器

只约束导数无法确定判别器输出的绝对偏置，因此作者增加输出平方的居中惩罚。另一种歧义来自高维速度映射到单个标量：不同方向可能给出相同的 JVP 分数，生成器可能利用当前判别器的零空间。训练初期可用速度平方范数正则偏向最小范数解，减少这种游走；这是最优传输正则的连续时间形式，不是把预测速度重新拉回真实条件速度的 MSE。

从零训练时作者逐步降低该正则权重；已有 FM 模型后训练时则直接设为零，避免重新引入欧氏范数偏置。判别器每次生成器更新前更新多次，实验不使用离散 AFM 的梯度惩罚。工程上用前向模式自动微分计算 JVP、用 vmap 批处理同一状态上的不同切向量，并将判别器中的 LayerNorm 换成 RMSNorm 改善稳定性；生成器结构保持不变。

一个完整示例¶

以一次 SiT 的 ImageNet 后训练为例：取带类别标签的真实图像编码及等形状高斯噪声，随机抽取时间并插值得到一个带噪 latent。预训练 SiT 预测其速度，同一状态的真实条件速度则由噪声减去真实 latent 得到。

更新判别器时，两个速度分别作为 JVP 切向量，目标是把真实方向分数推向 +1、预测方向分数推向 -1；此时不更新生成器。更新生成器时，冻结判别器参数，但保留经预测切向量回传的梯度，让预测方向分数趋向 +1。实际训练按 \(N=16\) 的比例安排判别器和生成器更新，并非每个 minibatch 都立即各更新一次。

完成后，从高斯噪声出发用原 SiT 采样代码生成图像，既不调用判别器，也不需要训练样本提供真实速度。论文的 SiT 结果仍使用 250 步 Euler-Maruyama SDE 采样，这说明画质收益来自后训练，而非减少步数。

损失函数 / 训练策略¶

缓存中的若干排版公式损坏，以下采用算法 1 中完整可读的计算逻辑，不猜补损坏的对比函数。令 \(d_v\) 与 \(d_u\) 分别代表真实与预测速度对应的 JVP 分数，则实际优化项为：

\[ \mathcal L_D=\mathbb E[(d_v-1)^2+(d_u+1)^2]+\lambda_{\mathrm{cp}}\mathbb E[D(x_t,t)^2]. \]

\[ \mathcal L_G=\mathbb E[(d_u-1)^2]+\lambda_{\mathrm{ot}}\mathbb E[\|u_t\|_2^2/n]. \]

其中 \(n\) 是速度向量维数，\(\lambda_{\mathrm{cp}}=0.001\)；后训练使用 \(\lambda_{\mathrm{ot}}=0\)。判别器更新时冻结生成器，生成器更新时冻结判别器参数，但仍需对生成器输出求梯度。算法中的 mean 对应样本及相应张量维度的平均，不能把范数正则误写成条件速度匹配。

ImageNet 后训练中，两网络学习率均为 \(10^{-5}\)，Adam 参数为 \(\beta=(0,0.95)\)，生成器 EMA 衰减为 0.99，\(N=16\)。SiT batch size 为 256，前 2 个 epoch 只预热判别器；JiT batch size 为 1024，预热 4 个 epoch。每种模型总计增加 10 个 epoch，论文按生成器与判别器合计见到的图像数计 epoch，不是额外 10 个完整的生成器训练轮次。

文本到图像实验基于 Z-Image，先在作者数据上用 FM 训练 10K 次迭代，再切换 CAFM 训练 20K 次，同时让 FM 对照继续训练以匹配迭代数。CAFM 使用生成器 / 判别器学习率 \(5\times10^{-5}\) / \(3\times10^{-5}\)，\(N=16\)，EMA 为 0.99；这些迭代对齐不等于墙钟时间或总 FLOPs 对齐。

实验关键数据¶

主实验¶

ImageNet 结果来自原文表 1、2，分辨率为 256px；FID 越低越好，IS 越高越好。SiT 为 latent-space SiT-XL/2，JiT 为 pixel-space JiT-H/16。带引导行列出各方法扫描到的最佳 FID，因此最佳 CFG 不同，不能说是相同 CFG 下的配对结果。

模型	训练 epoch	CFG	FID	IS
SiT	1400	无	8.26	131.65
SiT + CAFM	1400 + 10	无	3.63	178.08
SiT	1400	1.5	2.06	277.50
SiT + CAFM	1400 + 10	1.3	1.53	263.52
JiT	600	无	7.17	151.54
JiT + CAFM	600 + 10	无	3.57	198.08
JiT	600	2.2	1.86	303.40
JiT + CAFM	600 + 10	1.8	1.80	290.71

文本到图像结果来自原文表 5、6，分辨率为 512px，表中均为 Overall，越高越好。PE 指 prompt expansion；GenEval 的 PE 与 CFG 设置不可混合比较，DPG 的原表未单列 PE 条件。

基准	条件	FM	CAFM
GenEval	无 PE、无 CFG	0.33	0.44
GenEval	有 PE、无 CFG	0.60	0.71
GenEval	有 PE、有 CFG	0.81	0.85
DPG-Bench	无 CFG	72.25	77.21
DPG-Bench	有 CFG	83.67	85.21

消融实验¶

下表整理表 1、2 中的继续训练对照和 CFG 敏感性分析，不冒充附录中的组件移除消融。各行内部使用同一模型及同一 CFG 条件；FM 继续训练同样增加 10 个 epoch。

配置	原始 FID	对照或后训练 FID	说明
SiT，无 CFG，继续 FM	8.26	8.64	单纯延长训练未改善
JiT，无 CFG，继续 FM	7.17	9.30	作者说明未能复现官方 checkpoint 水平
SiT，CFG 1.6，CAFM	2.25	2.37	高 guidance 下出现退化
JiT，CFG 2.2，CAFM	1.86	1.88	并非每个 CFG 都改善

关键发现¶

最明确的收益在无引导生成：SiT 的 FID 降低 4.63，JiT 降低 3.60。带引导最佳 FID 也改善，但 JiT 从 1.86 到 1.80 的幅度较小。
CAFM 的最佳 CFG 变低，与基础模型更少依赖 guidance 的解释一致；高 CFG 下仍有退化，说明后训练后需要重新调节 guidance。
DPG 的总分提升不代表所有子项上升：有 CFG 时 Global 从 90.34 降至 89.55，Entity 从 90.56 降至 89.83，而 Relation 从 88.17 升至 91.20。
从零训练实验使用 SiT-B/2，在相同 epoch 预算下收敛慢于 FM。第 4.3 节支持初期使用 \(N=4\)、\(\lambda_{\mathrm{ot}}=4\)，在 160 epoch 将正则降为 1，并在 700 epoch 将 \(N\) 提高到 8；这不是后训练的固定配置。

亮点与洞察¶

判别器不用直接判断速度“长得像不像”，而是通过状态空间中的方向导数评价速度。这样将连续时间的导数结构纳入了对抗训练，绕开离散间隔趋零的目标退化。
同一个理想速度场不意味着同一个有限容量解。本文把可学习损失看作泛化偏置的来源，因此不必同时改网络、数据空间和采样器。
后训练中的零范数正则与从零训练中的非零正则承担不同角色。前者保留已有模型的基础能力并调整生成偏好，后者先压制高维方向歧义，说明两阶段不应照搬同一超参数。

局限与展望¶

作者明确承认，更好的无引导指标不保证恢复真实数据分布，尤其不能保证低密度区域与离群样本的泛化。FID 和文本对齐分数不是分布恢复的证明。
额外判别器、JVP 的前后向计算与多次判别器更新增加训练成本；相同 epoch 或迭代数不等于计算量公平，主文没有给出可直接量化部署训练代价的完整墙钟对照。
JiT 的 FM 对照明显差于官方模型，使“只换目标”的归因不如理想配对实验干净。更完整的重复种子、置信区间和算力匹配实验能增强结论。
不能宣称无条件全面优于其他方法：原文表 4 中 SiD 的无引导 FID 为 2.77，优于 JiT + CAFM 的 3.57，但模型规模与设置不同；表 3 中使用 DINOv2 的方法也必须单独看待。
所提供缓存只有主文和参考文献，没有附录 A、D、E、F。主文引用的补充消融、证明及实现细节未在本笔记中独立核验；损坏公式未按推测恢复。

评分¶

新颖性: 4/5。将对抗目标放到判别器 JVP 中，是从离散流到连续流的具体机制创新。
实验充分度: 4/5。覆盖 latent / pixel 空间和文本到图像，但计算公平性与统计不确定性仍需补强。
写作质量: 4/5。主线与算法清楚；本地文本的公式抽取损坏和附录缺失限制了细节核验。
价值: 4/5。为已有 FM 模型提供不改生成器结构的画质后训练路径，但不直接降低采样步数。