Exposure Bias Can Alleviate Itself via Directional and Frequency Rectification in Flow Matching

会议: ECCV 2026
论文: ECCV 原文
领域: 图像生成
关键词: 流匹配、暴露偏差、方向校正、频率补偿、自反馈训练

一句话总结

DEFAR 在流匹配训练中模拟单步推理，把模型自身的偏移转化为方向校正和频率补偿信号，在 ImageNet-256 的相近训练耗时比较中，将 SiT-B/4 的有 CFG FID 从 31.64 降至 29.81，而不改变推理模型结构。

研究背景与动机

流匹配训练通常把真实图像和高斯噪声按时间插值，要求网络预测沿这条路径运动的速度。模型每次看到的都是由真实数据构造的中间状态；生成时却只能把上一步自己的预测作为下一步输入。一次速度误差既会改变当前位置，也会让下一次预测发生在训练时较少接触的状态上，这种训练与推理输入不一致就是本文讨论的暴露偏差。它不等同于某一步对监督速度的预测误差，而是误差改变后续输入后引发的额外失配。

已有输入扰动方法 IP 用额外噪声模拟偏移，SDSS/MDSS 则在训练中模拟单步或多步推理，让网络接触有偏状态。不过，若状态已经偏离原路径，仍把原路径上的速度作为固定目标，只能要求网络对扰动保持稳定，并不直接告诉它从当前位置应往哪里纠偏。另一方面，作者观察到高噪声阶段的速度预测缺少低频结构，而有偏输入与理想输入的预测差异恰好富含这部分信息；偏差因此不仅描述“错了多少”，还可能指出“哪里没学好”。

本文据此把几何方向和空间损失权重联系起来：已知真实终点，就可以从偏移后的状态重新确定回归方向；已知偏移引起的预测差异，就可以加强原始学习目标中被忽略的区域。核心 idea：把模型自己的单步偏移同时用作纠偏方向的来源和损失重加权的反馈，让暴露偏差提供缓解自身的训练信号。

方法详解

整体框架

DEFAR 即 DirEctional-Frequency Adaptive Rectification，是一个训练框架，不是额外的推理网络。每轮从同一张真实图像、同一份噪声构造两个时刻的理想状态，并从较早时刻模拟一步推理，得到一个有偏状态。后续以抗漂移校正 ADR 约束这个状态上的预测方向，以频率补偿 FC 重加权较早时刻的标准流匹配损失。

这里时间从噪声端的 0 走向数据端的 1。默认线性插值下，标准监督速度为真实图像减去初始噪声。理想状态只负责提供训练参照；实际生成时既没有真实终点，也不需要重新构造这些监督分支。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    INPUT["训练图像、噪声<br/>两个有序时刻"] --> SIM["单步偏差构造"]
    SIM --> ADR["抗漂移校正 ADR"]
    SIM --> FC["频率补偿 FC"]
    ADR --> LOSS["联合损失更新网络"]
    FC --> LOSS
    LOSS --> MODEL["训练后的速度网络"]
    NOISE["推理噪声与条件"] --> MODEL
    MODEL --> SAMPLE["常规采样得到图像"]

图中 ADR 与 FC 是共享模拟状态的两条训练分支，而不是生成时依次执行的两个模块。两者分别改变方向监督和原始损失的空间分配，训练结束后仍使用常规 ODE/SDE 采样。

关键设计

1. 单步偏差构造：区分速度预测误差与输入偏移造成的误差

对满足 \(t_1>t_0\) 的两个时刻，先构造理想状态，再利用网络在 \(t_0\) 的预测走一步，得到有偏的 \(t_1\) 状态。随后在同一时刻 \(t_1\) 分别查询有偏状态与理想状态，两次速度预测之差被定义为暴露偏差的代理。由于时刻和网络相同，这个差异针对的是输入被历史预测改变后的响应，而不是直接把预测与真实速度相减。

下面只转写 Algorithm 1 中可辨认的单步更新与差分关系：

\[ \hat{\mathbf{x}}_{t_0,t_1}=\mathbf{x}_{t_0}+(t_1-t_0)\mathbf{v}_{\theta}(\mathbf{x}_{t_0},t_0),\qquad \boldsymbol{\delta}_{t_0,t_1}=\mathbf{v}_{\theta}(\hat{\mathbf{x}}_{t_0,t_1},t_1)-\operatorname{StopGradient}\!\left(\mathbf{v}_{\theta}(\mathbf{x}_{t_1},t_1)\right). \]

理想分支在算法中显式停止梯度，作为有偏分支的参照。这个参照不是教师模型，而是同一网络在理想输入上的输出；也不能据此认为它完全正确。一次训练涉及较早理想状态、较晚理想状态和较晚有偏状态的三次网络查询，因此单次迭代比标准 FM 更贵。它避免了长轨迹展开，但并不等于完整复现真实多步累积误差。

2. 抗漂移校正 ADR：从偏移后的当前位置重新指向真实终点

假设网络本应沿一条直线路径到达真实图像，现在却在某一步向旁边偏了一点。继续要求它沿原来的平行方向前进，并不能消除这段横向偏移。ADR 的变化是重新以当前有偏状态为起点、真实数据为终点确定校正方向，使监督随偏移变化。默认线性路径下，这个方向就是 \(\mathbf{x}_*-\hat{\mathbf{x}}_{t_0,t_1}\)；它不是把原始常量监督速度原封不动搬到新状态上。

ADR 比较归一化预测速度与归一化目标方向，因而主要约束“往哪里走”，不要求二者具有相同模长。在线性路径且没有偏移时，终点减去当前理想状态是原始监督速度的正比例缩放，因此方向监督与标准 FM 一致。这个解释针对非终点的有效状态；零范数和端点的数值处理不能从缓存中完整确认。

以 \(\hat{\mathbf{v}}=\mathbf{v}_{\theta}(\hat{\mathbf{x}}_{t_0,t_1},t_1)\) 简记有偏状态的预测，Algorithm 1 的方向损失可写为：

\[ \mathcal{L}_{\mathrm{ADR}}=\mathbb{E}\left[\left\|\frac{\hat{\mathbf{v}}}{\|\hat{\mathbf{v}}\|_2}-\frac{\mathbf{v}_{\mathrm{ADR}}}{\|\mathbf{v}_{\mathrm{ADR}}\|_2}\right\|_2^2\right],\qquad \mathbf{v}_{\mathrm{ADR}}=\mathbf{x}_*-\hat{\mathbf{x}}_{t_0,t_1}\quad(a_t=t,\ b_t=1-t). \]

归一化使目标的绝对尺度不再主导这个正则项，但也意味着它本身不负责校准采样速度。标准 FM 损失仍不可缺少。作者将这种随当前状态改变的方向监督称为主动纠偏；这是一种训练机制，不应理解为推理时能够访问真实图像进行纠错。

3. 频率补偿 FC：用有偏预测差异定位原始损失应加强的区域

方向正确还不足以保证早期生成的全局结构可靠。作者把预测速度做二维 FFT，用截止半径划分低频和高频，并定义 PFR 为低频频谱能量之和除以高频频谱能量之和。ImageNet-256 的分析显示，高噪声时模型预测的 PFR 偏低，但暴露偏差的 PFR 偏高，提示偏差恰好突出预测中不足的低频结构。低噪声阶段这种互补性减弱，因此没有必要全程施加固定低通偏好。

FC 利用这一观察，把偏差的逐位置幅度信息归一化为非负权重，放大较早时刻原始 FM 误差在相应空间位置上的贡献。Algorithm 1 的权重包含基底 1、缩放系数 \(\alpha\) 和分母稳定项 \(\xi\)，使没有被突出的位置仍保留基础训练信号。FFT 用于分析频率规律，而不是算法中每轮训练必须执行的滤波步骤；FC 实际上是在空间域进行损失重加权，并没有直接替换生成图像的频谱。

作者还定义 FEL 来检验损失是否确实关注这些结构：先把目标速度的低频和高频分量分别逆变换回空间域，再按各自分位数阈值构造显著区域掩码；FEL 是归一化损失在低频显著区域的总量与高频显著区域总量之比。它衡量的是损失的区域分配，不是对损失图做 FFT 后的能量比。频率分析采用截止频率 \(\min(H,W)//8\)，低频与高频区域分别使用 20% 和 25% 阈值。

缓存的式 (15) 与 Algorithm 1 对权重的排版并不完全一致，部分加号和范数上标无法可靠辨认；因此这里不声称给出了可直接复现的精确权重公式。可以确定的机制是“偏差生成空间权重，再加权原始 FM 学习目标”，不能把它误写成用偏差替代监督速度，或对 ADR 损失做频域过滤。

一个完整示例

以一张训练图像为例，设 \(t_0=0.2\)、\(t_1=0.6\)，这些数值仅用于说明流程。用同一图像和噪声构造两个理想状态后，网络在 0.2 处预测速度，并沿该速度前进 0.4 个时间单位。得到的状态通常不等于由真实图像直接构造的 0.6 状态。

ADR 从这个有偏状态指向已知真实终点，约束后续预测的方向；FC 则比较两个 0.6 状态的预测，找出偏差较突出的空间位置，用它们重新分配 0.2 时刻的 FM 损失。也就是说，较晚时刻暴露出来的问题会反馈给较早时刻的学习。这里没有把预测图像强行替换为真实图像，也没有在测试时额外调用校正器。

损失函数 / 训练策略

联合目标是 ADR 与 FC 的加权和：

\[ \mathcal{L}=\beta_1\mathcal{L}_{\mathrm{ADR}}+\beta_2\mathcal{L}_{\mathrm{FC}},\qquad \beta_1=10,\quad\beta_2=1,\quad\alpha=1. \]

其中 FC 项已经包含重加权的标准 FM 监督，不能把它当作独立于 FM 的第三个附加项。每轮随机选取有序时刻对，标准线性路径取 \(a_t=t\)、\(b_t=1-t\)。默认消融骨干为 SiT-B/4；小分辨率数据在像素空间处理，ImageNet-256 使用预训练 VAE-ft-EMA 的潜空间。

主要实验在 Ascend 910B 上从头训练；REPA、DDT 和 OT-CFM 相关实验使用 A100，REPA/DDT 的 ImageNet-512 结果来自官方 ImageNet-256 检查点的微调。正文给出了统一超参数，但详细网格搜索在未随本缓存提供的附录中，不能据此宣称已核验参数敏感性。

实验关键数据

主实验

下表摘自原文 Table 1，均为类别条件生成、SiT-B/4、50 NFE，评估生成 50K 样本。斜杠两侧分别是不使用/使用 classifier-free guidance（CFG）的结果；FID 与 sFID 越低越好。Hour 是对应硬件训练耗时，不是采样耗时。

数据集	方法	迭代数	Hour	FID，无/有 CFG	sFID，无/有 CFG
ImageNet-256	SiT	500k	166	61.64 / 31.64	12.20 / 8.44
ImageNet-256	IP	500k	166	60.45 / 29.84	12.49 / 8.80
ImageNet-256	SDSS	500k	228	61.25 / 30.29	13.23 / 8.95
ImageNet-256	MDSS，4 步	500k	228	63.66 / 31.90	14.38 / 10.05
ImageNet-256	DEFAR，相近耗时	250k	144	60.40 / 29.81	9.05 / 7.35
ImageNet-256	DEFAR，相同迭代数	500k	289	56.39 / 28.34	9.50 / 7.84
CIFAR-10	SiT	250k	11	14.09 / 9.36	6.28 / 5.73
CIFAR-10	DEFAR，相近耗时	120k	10	12.01 / 7.73	5.46 / 5.13

ImageNet-256 的相近耗时设置使有 CFG FID 降低 1.83；CIFAR-10 对应降低 1.63。更长训练的 ImageNet DEFAR 还能达到 28.34，但其 289 小时不能与 SiT 的 166 小时混称为等成本结果，也不能把迭代减半直接说成训练时间减半。

消融实验

下表同样来自 Table 1，只比较 ImageNet-256、500k 迭代、SiT-B/4、50 NFE，避免混用 CIFAR-10 不同训练长度的消融项。“只有 ADR”保留标准 FM 损失，“只有 FC”使用重加权 FM 损失。

配置	Hour	FID，无/有 CFG	sFID，无/有 CFG	说明
SiT	166	61.64 / 31.64	12.20 / 8.44	标准 FM
DEFAR w/o FC	228	59.77 / 29.69	12.77 / 9.00	只有 ADR
DEFAR w/o ADR	289	57.17 / 28.71	10.65 / 8.25	只有 FC
DEFAR	289	56.39 / 28.34	9.50 / 7.84	ADR 与 FC 联合

完整模型相对只有 ADR 的有 CFG FID 降低 1.35，相对只有 FC 降低 0.37。这支持二者互补；但前一个比较训练耗时不同，不能据此把收益全归因于 FC 的机制。只有 ADR 时 sFID 比基线更差，也说明方向正则不是对所有生成指标都单调有利。

关键发现

• Table 3 的 SiT-XL/2 在相近耗时下有 CFG FID 从 5.88 降至 5.74（2260 对 2300 小时）；延长到 4640 小时可达 4.14，后者不属于等成本提升。
• Table 4 的 ImageNet-512 微调使用 250 NFE 和 CFG：REPA 的 FID 从 3.99 降至 3.46，DDT 从 1.90 降至 1.82，不能与 Table 1 的 50 NFE 结果直接排名。
• 频率图的统计覆盖 ImageNet-256 的 50,000 个样本和 50 个均匀离散时刻，为早期低频不足提供经验支持；本文没有证明这种现象必然存在于所有流匹配模型。

亮点与洞察

• 最有用的变化是重新定义“扰动训练”的目标。让模型见过偏移输入不等于教会它纠偏，ADR 利用已知终点补上了这个区别。
• FC 不需要外部教师提供低频结构标签。相同网络对理想输入和有偏输入的响应差异就能产生反馈，但反馈质量仍受网络本身能力约束。
• 频率分析与训练实现被分开。FFT 帮助解释为何空间重加权可能改善结构，实际权重来自模型偏差，避免把“频率补偿”误解为固定频带增强。

局限与展望

• 训练开销不可忽略：ImageNet-256 相同 500k 迭代时，166 小时增加到 289 小时。部署不增加校正网络，不意味着学习成本没有增加。
• 单步差分只是暴露偏差的代理；论文没有给出它与长轨迹真实偏移之间的普遍等价证明。更长轨迹或自适应时间间隔是否更有利仍需单独检验。
• FID 改善不等于质量与覆盖率全面改善。例如相近耗时的 ImageNet-256 有 CFG Precision 从 0.542 降至 0.531，而 Recall 从 0.524 升至 0.532。
• 低频不足的机制证据主要来自图像任务；推广至视频、音频或文本条件大模型需要重新检验频率结构和偏差代理，不能直接沿用本文结论。
• 当前缓存有公式提取损坏且缺少所引用的附录；精确权重实现、归一化稳定处理和网格搜索细节仍需以原始排版或正式代码为准。以上是复现边界，不把猜补公式当成已核实实现。

相关工作与启发

• vs IP：IP 用额外输入噪声提升容错，DEFAR 用当前网络自己的预测生成偏移，使训练信号与模型实际行为相关，而非仅由固定扰动规则决定。
• vs SDSS/MDSS：共同点是在训练中接触推理状态；差别是 DEFAR 增加从有偏状态指向终点的方向目标，而不只沿用原始固定速度监督。本文基线是从 DDPM 思路适配到 FM 的版本。
• vs DG 与 OT-CFM：DG 在推理时引入外部判别引导，OT-CFM 改变噪声与数据的耦合；DEFAR 改的是训练中的纠偏监督。Table 2 的五种子 mini-batch OT 实验中，OT-CFM 的 Avg. FID 为 4.095±0.022，叠加 DEFAR 后为 3.960±0.034，支持互补但不是任意采样器上的保证。

评分

• 新颖性: 4/5。把状态相关方向监督与偏差驱动的空间权重结合，超出了单纯扰动输入。
• 实验充分度: 4/5。覆盖数据集、模型尺度、采样步数及兼容性，但多数主表没有多种子区间，成本也需分开解读。
• 写作质量: 4/5。主线和算法对应明确；缓存公式损坏限制了实现细节核验，不将提取质量等同于论文排版质量。
• 价值: 4/5。适合有训练预算、希望保持部署结构不变的图像生成场景，不是训练免费的采样补丁。

相关论文

• [CVPR 2026] MixFlow Training: Alleviating Exposure Bias with Slowed Interpolation Mixture
• [CVPR 2026] Frequency-Aware Flow Matching for High-Quality Image Generation
• [ECCV 2026] FlowInOne: Unifying Multimodal Generation as Image-in, Image-out Flow Matching
• [ECCV 2026] Entropy-Controlled Flow Matching
• [ECCV 2026] Curvature-Adaptive Consistency Flow Matching: Autonomous Trajectory Optimization via Reinforcement Learning