SimFlow: Simplified and End-to-End Training of Latent Normalizing Flows¶

会议: ECCV2026
论文: ECCV 原文
领域: 图像生成
关键词: 潜空间归一化流、固定后验方差、端到端训练、表示对齐、无分类器引导

一句话总结¶

SimFlow 将 VAE 后验方差固定为非零常数，让编码器、解码器和潜空间归一化流共同学习适合生成的表示，在 ImageNet 256×256 类别条件生成中以 160 个训练轮次取得 2.15 gFID，加入 REPA-E 后达到 1.91。

研究背景与动机¶

归一化流（normalizing flow，NF）通过可逆变换把复杂数据分布映射成高斯分布，再沿逆方向从高斯噪声生成数据。直接建模高分辨率像素代价较高，因此 STARFlow 等方法先用变分自编码器（VAE）压缩图像，再学习潜变量的分布。问题在于，预训练 VAE 为了让重建更容易，往往把预测方差压得很小，图像对应的潜变量几乎成为确定的点。 NF 在这种潜空间上训练时容易泛化不足，于是需要额外加噪来平滑训练分布。但模型学到带噪分布后，生成端也必须处理噪声，通常还要调整解码器或引入额外去噪过程。

固定编码器又使这个问题无法从源头解决：噪声已经破坏了编码表示，单独微调解码器未必能恢复丢失的信息。即使一个 VAE 的干净重建很好，其潜空间也不一定容易被生成模型拟合。直接解冻全部网络看似合理，却会出现另一条优化捷径：不同图像的潜变量相互靠近，生成损失变小，表示却逐渐坍塌。常规联合目标还需要协调重建、生成先验和后验熵三项，而它们对方差与潜变量尺度的推动方向不同。因此，本文关注的不是更复杂的可逆网络，而是如何让联合训练本身稳定、并让潜空间与 NF 相互适应。

作者把 VAE 自带的随机采样重新理解成训练分布的平滑机制，不再允许编码器把这一随机性自动消除。固定足够大的后验方差后，编码器必须在噪声下保留图像之间的区别，解码器也从训练开始就学习从受扰动表示恢复图像。同时，后验熵不再随模型参数变化，联合优化少了一个需要配平的项。 核心 idea：把固定非零方差作为潜空间的信息约束，使重建需求阻止表示收缩，再让 NF 的生成目标直接参与塑造编码器。

方法详解¶

整体框架¶

训练输入是真实图像及其类别，VAE 编码器只预测潜变量均值，围绕均值按固定方差采样。同一组潜变量一方面送入解码器重建原图，另一方面送入 NF，沿数据到高斯的方向计算生成模型训练目标。编码器、解码器和 NF 都参与联合训练，不在 NF 与编码器之间设置停止梯度。可选的 REPA-E 使用外部表示模型提供监督，但不是基本 SimFlow 所必需的部分。推理时不再需要真实图像编码器，而是从高斯噪声出发，经 NF 逆变换、引导修正和 VAE 解码得到图像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        A["训练图像与类别"] --> B["固定方差采样"]
        B --> C["重建与流联合优化<br/>解码重建 + NF 似然"]
        C --> D["可选表示对齐"]
        T["DINOv2-B 图像特征"] --> D
        D -.->|训练梯度| C
        C -.->|训练后复用 NF| E["高斯噪声 + 类别<br/>NF 逆变换与原始 CFG"]
        E --> F["全模型分数引导"]
        F --> G["VAE 解码生成图像"]

实线中的上半部分表示训练数据和监督关系，下半部分表示采样过程；虚线明确区分训练反馈与训练后模型复用。图中的重建并不是下游图像恢复任务，而是训练生成表示的约束。这一点也解释了为什么本文应按图像生成理解，而不是仅根据重建指标归入图像恢复。

关键设计¶

1. 固定方差采样：把潜空间扰动放回 VAE 后验

对图像 \(i\)，编码器预测均值 \(\mu_\psi(i)\)，不再预测可以自由缩小的方差。本文采样机制可写为下面这个原文明确描述的关系，其中 \(\bar\sigma^2\) 是固定方差：

\[ x=\mu_\psi(i)+\epsilon,\qquad \epsilon\sim\mathcal N(0,\bar\sigma^2 I). \]

标准预训练 VAE 的 KL 正则通常权重很小，而降低方差又能直接减轻重建难度，因此采样噪声容易接近消失。固定方差相当于保留一个无法被编码器自行关闭的噪声下限，让每张图像对应一片潜变量区域，而不是几乎单独一个点。解码器持续看到这种分布中的样本，从一开始就学习对潜变量扰动保持鲁棒。因此，基本训练流程不需要在 VAE 之外再设计独立的加噪日程和配套去噪模型。

这个机制并非不使用噪声，而是把噪声纳入后验采样与重建的共同训练。若两个图像的均值太接近，固定噪声会淹没它们的差别，解码器就无法分别重建两个目标。重建误差因而迫使编码器保留可辨识信息，抵消生成目标推动均值收缩的趋势。这只是关于优化机制的解释，不应夸大成任意方差、任意网络都必然不坍塌的保证。方差过大会使潜空间过度平滑，信息容量和最终生成质量也可能受损。

2. 重建与流联合优化：让潜变量既可解码，也容易建模

NF 在训练方向上将潜变量 \(x\) 映射为高斯变量 \(z=f_\theta(x)\)，通过变量替换计算潜变量密度。可逆变换的雅可比行列式负责校正体积变化，因此它不是单纯把所有潜变量向原点做均方误差回归。 VAE 联合目标则以 NF 学到的潜变量密度充当先验，而非坚持使用固定的简单高斯先验。这样，编码器可以改变表示分布，NF 也同时适应该分布，两者不再被分成互不反馈的阶段。

一般 ELBO 包含重建对数似然、潜变量先验对数密度和后验熵。固定协方差高斯的熵与均值无关，所以此处后验熵对可训练参数是常数，可从优化目标中去掉。剩下的核心目标是同时提高重建对数似然和 NF 潜变量对数密度，作者将二者权重都设为 1.0。实际训练还沿用 VAE 的感知损失与对抗损失，因此“只剩两项”指 ELBO 的核心分解，不是完整实现只有两个损失。缓存中的原始 ELBO 公式排版损坏，这里用正文明确给出的组成关系解释，不将猜补的完整公式当作作者原式。

联合训练还能改变潜变量的空间结构，而不仅是提高解码器容错能力。第 7 页图 4 报告更低的频谱熵、更少的高频分量、更低的总变差以及更高的自相关。这些统计分别对应频域结构更简单、相邻 token 更平滑、序列具有更强空间一致性。本文使用自回归流：每个 token 的可逆变换依赖此前 token，因此这类变化有利于条件建模。这些是作者观察到的统计关联，不能据此断言某一个统计量单独决定 gFID。

3. 可选表示对齐：让语义监督进入编码器

作者用 DINOv2-B 提取图像特征，再通过投影器将 NF 的中间隐藏表示与这些特征对齐。由于 NF 与 VAE 已经连通，对齐损失的梯度会经过 NF 回传至 VAE 编码器，因而形成 REPA-E 式训练。这与只在冻结 VAE 上训练生成器的 REPA 用法不同：监督同时影响生成网络和其输入表示。它也不同于原 REPA-E 为避免坍塌而阻断生成损失流向 VAE 的安排，SimFlow 不需要这一停止梯度。

这里的外部模型提供训练监督，并不替代可逆流，也不负责采样时逐步生成图像。基本 SimFlow 与加入 REPA-E 的版本必须分开报告，因为后者使用了额外预训练表示。表 1 中，对齐同时改善生成 gFID 和重建 rFID，说明收益并不局限于生成器输出端。不过本文没有在所提供正文中证明所有表示教师都有相同效果，也未给出可复核的投影器全部细节。

4. 全模型分数引导：在最终潜变量上利用所有 NF 块

采样先沿用 STARFlow 的无分类器引导（CFG）生成潜变量，再对这个生成结果做一次分数引导修正。作者指出，STARFlow 原有 CFG 的设计只能作用于最后一个块，因此前面各块的信息没有被同样利用。新增修正使用类别条件 NF 与无条件 NF 的对数密度关于潜变量的梯度之差，并由步长 \(\gamma\) 控制幅度。这些梯度来自完整 NF 所表示的密度，因而能利用所有可逆块，而不是只修改最后一个块的输出规则。

这里的“分数”是密度梯度，不是分类器置信度，也不是另训一个打分模型。修正后的潜变量才交给 VAE 解码器，编码器和表示教师均不是采样链条的必需输入。第 12 页图 7 显示 \(\gamma=0.25\) 能改善原始 CFG 扫描得到的最优生成质量。它仍引入额外梯度计算；“流程简化”不应被理解为采样过程绝对没有额外步骤或计算成本。由于缓存中式 6 的运算符提取不完整，这里不复写其精确代数形式；补充材料中的耗时数值也未提供。

一个完整示例¶

以 ImageNet 256×256 类别条件生成为例，训练时把一张带类别标签的图像交给编码器，得到各位置的潜变量均值。默认分析设置采用 64 维潜变量和 \(\bar\sigma^2=0.5^2\)，不是把标准差与方差都写成 0.5。从固定协方差高斯后验采样后，解码器学习还原这张图，NF 则学习该潜变量在对应类别下的分布。若 NF 倾向于把不同图像压到相似均值，噪声下的重建误差会对编码器施加相反压力。若启用 REPA-E，同一图像的教师特征进一步约束 NF 中间表示，并沿联合网络影响编码器。测试时这张训练图像不再出现，只指定类别、抽取高斯噪声，经过 NF 逆变换和两层引导安排生成新的潜变量，再解码为新图像。

损失函数 / 训练策略¶

基本 VAE 采用 MAR 的架构，NF 以 TARFlow 为基础，并沿用 STARFlow 的深浅块配置。 NF 共 6 个块，隐藏维度为 1152；前 5 个块各含 2 层，最后的深块含 46 层。正文说明 VAE 和 NF 都从头训练；使用 MAR 架构不等于冻结并复用 MAR 的预训练权重。除特别说明外，训练为 80 个轮次，全局批大小 256，固定学习率 \(1.0\times10^{-4}\)。表 1 进一步训练 80 个轮次，总计 160 个轮次；后半程学习率按余弦策略降至 \(1.0\times10^{-6}\)。因此，后面的消融表不能被当作表 1 最终模型的同预算结果。

实验关键数据¶

主实验¶

下表节选原文第 9 页表 1，任务为 ImageNet 256×256 类别条件生成。 gFID 衡量生成分布与真实分布的差异，rFID 衡量重建图像分布的差异，均越低越好；IS 越高越好。无引导与有引导分开列出，“未报告”不表示零。

方法	训练轮次	参数量	rFID	gFID 无引导	gFID 有引导	IS 有引导
STARFlow	320	1.4B	2.73	未报告	2.40	未报告
DiT	1400	675M	0.61	9.62	2.27	278.2
REPA-E	800	675M	0.28	1.69	1.12	302.9
SimFlow	160	1.4B	1.21	13.72	2.15	276.8
SimFlow + REPA-E	160	1.4B	1.08	10.13	1.91	284.4

SimFlow 的有引导 gFID 比 STARFlow 低 0.25，加入 REPA-E 后低 0.49；二者训练轮次均只有 STARFlow 的一半。但 SimFlow 参数量高于 DiT，轮次数优势不等于已证明相同比例的墙钟时间或算力节省。 “NF 最佳”也不等于所有生成范式最佳：表中独立 REPA-E 的有引导 gFID 仍为更低的 1.12。原文第 10 页表 2 还报告 ImageNet 512×512 上 SimFlow + REPA-E 为 2.74 gFID，STARFlow 为 3.00。

消融实验¶

下表来自第 12 页表 3，采用 ImageNet 256×256 的默认分析设置，固定方差为 \(\bar\sigma^2=0.5^2\)。 PSNR 越高表示像素重建保真度越好；这些结果属于默认 80 轮次设置，而非表 1 的 160 轮次最终结果。

潜变量维度	rFID	PSNR	gFID 无 CFG	gFID 有 CFG
16	4.98	19.94	11.00	3.55
32	2.60	21.42	12.77	2.61
64	1.49	23.01	21.44	2.53
128	0.86	24.61	33.43	3.62

增加维度持续改善重建，但生成并不单调改善：128 维的 rFID 最低，有引导 gFID 却比 64 维差。无 CFG 时反而是 16 维最好，这说明“最佳潜变量维度”依赖采样配置，不能脱离引导讨论。

下表来自第 13 页表 4，比较默认分析设置下的固定方差；原文上标在缓存中被压平，按其方差记法保留平方形式。

固定方差	rFID	PSNR	gFID 无 CFG	gFID 有 CFG
\(0.1^2\)	1.90	22.61	25.54	3.01
\(0.25^2\)	1.55	22.94	21.35	2.57
\(0.5^2\)	1.49	23.01	21.44	2.53
\(0.75^2\)	1.54	22.88	17.76	2.39
\(1.0\)	1.76	22.60	19.36	2.66

作者将 \(0.5^2\) 作为综合重建与生成的默认设置，但表中最低的有引导 gFID 是 \(0.75^2\) 对应的 2.39。因此，正文“适中方差最好”应理解为折中选择，不能改写为默认方差在所有指标上都最优。

关键发现¶

第 11 页正文与第 12 页图 6 给出固定方差下冻结 VAE 与端到端训练的无 CFG gFID：67.41 与 16.97。固定方差本身不能替代联合适配。
相同图中，端到端噪声增强为 20.01，固定方差为 16.97。作者明确不声称本质上优于所有噪声增强方案，因为强度调参或更长训练可能缩小差距。
第 13 页表 6 的 100K 次迭代实验中，无噪声发生坍塌，几种扰动都能稳定训练。这支持“保留扰动很重要”，而不是证明只有一种扰动可行。

亮点与洞察¶

固定方差同时改变采样、解码鲁棒性和 ELBO 优化结构，不只是省掉一个预测头。它让原本需要额外维护的潜变量噪声成为模型内部的一致训练假设。
联合训练把重建与生成之间的矛盾变成可学习的相互约束。第 13 页表 5 中扩大 NF 同时改善重建与生成，也说明潜空间容量会随生成器能力共同调整。
全模型分数引导利用 NF 能计算密度的结构特性。它说明改进采样也可以从模型已有的概率信息出发，而不一定新增一个生成网络。

局限与展望¶

作者将大规模文本到图像训练列为未来方向。已有 COCO 实验只是初步验证，不足以支撑开放域复杂提示词生成能力的结论。
主结果对 CFG 的依赖明显：SimFlow 从无引导 13.72 变为有引导 2.15。较好的最优引导结果不能掩盖无引导分布仍有改进空间。
固定方差与潜变量维度存在耦合，既不能任意增大噪声，也不能简单追求更好的重建指标。跨数据集复用默认值仍需验证。
基本模型的从头训练与 REPA-E 版本的外部预训练监督必须区别对待。后者的收益不是完全不借助外部表示学习获得的。
所提供缓存包含完整正文方法和实验，但没有补充材料；原始公式若干运算符损坏。理论证明细节、投影器完整实现及引导额外耗时未在此独立核验。
读者可进一步研究联合训练后冻结 VAE 的第二阶段，以及在匹配训练算力和引导搜索预算下的比较。这是后续验证方向，不是本文已完成的结果。

评分¶

新颖性: 4/5。固定方差不是全新构件，但与潜空间 NF 联合训练及防坍塌机制的结合清晰有效。
实验充分度: 4/5。包含分辨率、维度、方差、模型规模和扰动方式分析，但补充材料与严格算力匹配比较仍需进一步核验。
写作质量: 4/5。核心逻辑简洁，需仔细区分默认方差的综合折中与表格单项最优。
价值: 4/5。为潜空间生成模型提供易理解的联合训练方案，实际收益仍取决于表示容量、噪声与采样引导。