CSFlow: Aligning Flow Matching with Human Contrast Sensitivity¶

会议: NeurIPS 2026
arXiv: 2606.08833
领域: 图像生成
关键词: 流匹配, 对比敏感度函数, 频域分析, 时间步加权, 像素空间图像生成

一句话总结¶

本文首次建立流匹配逆向去噪频谱演化与人类对比敏感度函数（CSF）之间的数学联系，通过估计各时间区间新生成的空间频率并按人眼感知敏感度赋权，在无需重训的推理步长调整与短程微调中分别或联合提升像素空间生成模型的视觉真实感与定量指标（FID 降低 4.7%、IS 提升 2.2%、GenEval 提升 2.5%）。

研究背景与动机¶

自然图像的功率谱普遍遵循幂律分布，低频分量的信号能量远高于高频分量。因此，在扩散模型或流匹配（Flow Matching）的前向加噪与逆向生成过程中，不同空间频率的信噪比（SNR）随时间非均匀演化：极弱的噪声即可彻底掩盖高频纹理细节，而需要很强的噪声才能破坏低频轮廓。这使逆向去噪在傅里叶空间呈现出由粗到细的“软自回归”特性——在任意时间步 \(t\)，更低频的分量早已高信噪比稳定，更高频的分量仍被噪声淹没，只有特定的窄带频率正在该时间步被实际重构。与此同时，人类视觉系统对不同空间频率的敏感度也高度不均匀：根据视觉心理物理学的对比敏感度函数（Contrast Sensitivity Function, CSF），人眼对中频段最为敏感，而对极低频的平缓渐变与极高频的细微纹理几乎难以察觉。

然而，现有的流匹配与扩散模型时间步加权及采样调度方案（如 Cosine 调度、EDM、Min-SNR-\(\gamma\)、SD3 的 Logit-Normal 采样以及分辨率平移策略）主要从改善优化收敛性或跨分辨率信噪比一致性的角度出发，完全忽略了人眼视觉感知的频率选择性。虽有早期工作（如 P2）基于“去噪后期仅做不可见的噪声清理”这一粗略观察启发式地压低后期权重，但缺乏从频率重构规律到人眼生理感知模型的严格数学推导。在计算预算（推理步数）和模型容量有限的前提下，如果对所有频率生成阶段一视同仁，模型就会在人眼极不敏感的频段上浪费大量表达能力与采样步数，而在人眼最挑剔的中频结构与质感频段分配不足，导致生成图像出现表面过度平滑或“卡通化”失真。

针对这一矛盾，本文提出从频域信息增益出发将流匹配的去噪轨迹与人眼对比敏感度对齐。核心 idea：推导每个逆向流匹配时间区间内新恢复的空间频率分布闭式解，并将其与人类对比敏感度函数（CSF）加权积分，据此构造平滑逆累积分布函数，在训练时引导时间步采样倾向、在推理时自适应加密关键感知区间的积分步长。

方法详解¶

整体框架¶

CSFlow（Contrast Sensitive Flow）是一套面向像素空间流匹配模型的感知驱动时间步加权框架。给定训练数据集与噪声调度，方法首先统计干净图像的径向平均功率谱密度，进而在频域推导任意去噪时刻各空间频率的保留信号比及步间信息增益；随后将图像空间频率换算为人眼视角频率，结合 Barten 对比敏感度函数（CSF）积分算出每个时间步的感知重要性权重；最后通过与原始基础分布插值并构造平滑逆累积分布函数（Inverse CDF），分别转化为训练阶段的偏置时间步采样与推理阶段的非均匀步长网格。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["训练图像集与噪声调度<br/>径向功率谱统计 S_f"] --> B["频域保留信号比与步间信息增益建模<br/>闭式计算 r_signal 与 Δr_signal"]
    B --> C["基于人类对比敏感度函数的感知时间步加权<br/>视角频率转换与 CSF 加权积分归一化"]
    C --> D["基础权重插值与逆CDF重采样机制<br/>按 α 混合基线权重并拟合平滑逆 CDF"]
    D -->|训练阶段采样| E["偏置时间步采样<br/>增强关键感知区间容量"]
    D -->|推理阶段离散化| F["非均匀采样步长网格<br/>加密高敏感度去噪步"]

关键设计¶

1. 频域保留信号比与步间信息增益建模：闭式量化各去噪区间新生成的空间频率成分

为了弄清流匹配逆向过程中每个时刻 \(t \in [0, 1]\) 究竟在生成哪些频率，首先需要度量加噪图像 \(\mathbf{x}_t = a_t \mathbf{x}_{\mathrm{clean}} + b_t \boldsymbol{\epsilon}\)（其中 \(\boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})\)，\(t=0\) 为纯噪声，\(t=1\) 为干净图像）在空间频率 \(f\) 上的能量有多少来自真实图像信号而非高斯白噪声。本文首先在训练集上通过径向平均功率谱密度（RAPSD）估计干净图像在各径向频率分桶 \(f\) 上的期望功率 \(S_f = \mathbb{E}[|F_f(\mathbf{x}_{\mathrm{clean}})|^2]\)。利用二维离散傅里叶变换（2D DFT）的线性性质以及零均值独立高斯噪声在各频率上期望功率恒为 \(1\) 的性质，定理 1 给出了时间步 \(t\) 下频率 \(f\) 的保留信号比（Retained Signal Ratio）闭式解：

\[r_{\mathrm{signal}}(f, t) = \frac{\mathbb{E}[P_f(a_t \mathbf{x}_{\mathrm{clean}})]}{\mathbb{E}[P_f(\mathbf{x}_t)]} = \frac{a_t^2 S_f}{a_t^2 S_f + b_t^2} = \frac{\mathrm{SNR}_f(t)}{1 + \mathrm{SNR}_f(t)}\]

该比值严格落在 \([0, 1]\) 之间：接近 \(0\) 说明该频率仍被噪声主导、尚未开始生成；接近 \(1\) 说明该频率已基本恢复为干净图像信号、后续去噪步不会再产生显著改变。在此基础上，单步区间 \([t, t+\Delta t]\) 内新恢复的频率信息量即可由步间差分 \(\Delta r_{\mathrm{signal}}(f, t, \Delta t) = r_{\mathrm{signal}}(f, t+\Delta t) - r_{\mathrm{signal}}(f, t)\)（连续形式为时间偏导 \(\partial_t r_{\mathrm{signal}}(f, t)\)）精确刻画，直观反映出低频在去噪早期率先攀升、高频在去噪晚期才集中恢复的频谱演化规律。

2. 基于人类对比敏感度函数的感知时间步加权：将人眼视角频率敏感度映射为去噪时刻权重

拿到每个时刻正在恢复的频率分布 \(\partial_t r_{\mathrm{signal}}(f, t)\) 后，下一步是评估这些新恢复频率对人眼视觉感知的重要程度。由于图像傅里叶频率的单位是“周/像素”（cycles/pixel），而视觉心理物理学的 Barten 对比敏感度函数 \(\mathrm{CSF}(f)\) 定义在视角频率“周/度”（cycles/degree）上，本文先结合典型屏幕像素物理尺寸 \(p = 0.0114\text{ cm}\) 与观看距离 \(d = 50\text{ cm}\)，计算单像素张角 \(\theta_{\mathrm{pix}} = 2\arctan(p / 2d) \cdot 180 / \pi\)，将图像频率换算为视角频率 \(f_{\mathrm{cpd}} = f / \theta_{\mathrm{pix}}\)。随后，将该时刻新生成的各频率信息增益作为权重，对 \(\mathrm{CSF}(f)\) 求加权平均，并在整个去噪时间轴 \([0, 1]\) 上做均值归一化：

\[\widetilde{w}_{\mathrm{CSFlow}}(t) = \frac{\int_{\Omega} \partial_t r_{\mathrm{signal}}(f, t) \cdot \mathrm{CSF}(f)\, df}{\int_{\Omega} \partial_t r_{\mathrm{signal}}(f, t)\, df}, \qquad w_{\mathrm{CSFlow}}(t) = \frac{\widetilde{w}_{\mathrm{CSFlow}}(t)}{\int_0^1 \widetilde{w}_{\mathrm{CSFlow}}(\tau)\, d\tau}\]

分母的归一化设计至关重要：它使得 \(\widetilde{w}_{\mathrm{CSFlow}}(t)\) 度量的是“时刻 \(t\) 新恢复频率的平均人眼敏感度”，而不是该时刻恢复的总频谱能量绝对值（否则低频绝对能量极大，会完全主导权重）。由此算出的 \(w_{\mathrm{CSFlow}}(t)\) 在去噪中早期达到峰值，而在恢复极高频细微噪声的去噪末期显著回落，精准锁定了决定人眼主观真实感的核心时间窗口。

3. 基础权重插值与逆CDF重采样机制：统一支持微调采样偏置与免训练推理步长加密

完全按照纯感知权重 \(w_{\mathrm{CSFlow}}(t)\) 分配资源虽然最契合人眼敏感度，但过度压低高频阶段也会损失测试集中客观存在的高频细节。为此，本文引入插值系数 \(\alpha \in [0, 1]\)，将感知权重与基线模型原有的时间权重分布 \(w_{\mathrm{base}}(t)\)（如均匀分布、Time-shift 分布或 Logit-Normal 分布）进行线性混合：

\[w_{\mathrm{final}}(t) = \alpha \cdot w_{\mathrm{CSFlow}}(t) + (1 - \alpha) \cdot w_{\mathrm{base}}(t)\]

由于归一化后的 \(w_{\mathrm{final}}(t)\) 在 \([0, 1]\) 上积分为 \(1\)，可视为去噪时间上的概率密度函数。通过在离散时间网格上数值积分并拟合单调光滑的逆累积分布函数 \(\mathrm{CDF}_{\mathrm{smooth}}^{-1}\)，该权重可无缝作用于两个阶段：在微调训练阶段（参数记为 \(\alpha_1\)），先采样均匀分布 \(u \sim \mathcal{U}(0, 1)\) 再令 \(t = \mathrm{CDF}_{\mathrm{smooth}}^{-1}(u)\)，使模型将更多训练容量分配给人眼敏感的去噪区间；在推理阶段（参数记为 \(\alpha_2\)），取 \(N\) 个均匀分位点 \(q_k = k/N\) 并映射为非均匀时间网格 \(\tilde{t}_k = \mathrm{CDF}_{\mathrm{smooth}}^{-1}(q_k)\)，在 \(w_{\mathrm{final}}(t)\) 较大的高敏感度区间自动收缩步长 \(\Delta \tilde{t}_k\) 以减小 ODE 数值积分误差，而在低敏感度的去噪末期放大步长以节省计算预算。

损失函数 / 训练策略¶

本文方法的数学推导依赖于加噪与去噪直接在像素空间（Pixel Space）进行，因为隐空间（Latent Space）VAE 特征图的坐标与像素空间傅里叶频率之间缺乏明确的线性对应关系。因此，实验均在像素空间流匹配模型（PixelGen 与 JiT）上开展。在噪声调度为线性流匹配 \(a_t = t, b_t = 1 - t\) 的设定下，先用 500 个线性时间步离散网格预计算数据集的 RAPSD 与 \(w_{\mathrm{CSFlow}}\)；训练微调时不改变模型原有的流匹配损失形式（如 JiT 的干净图像 \(\mathbf{x}_{\mathrm{clean}}\) 预测损失，或 PixelGen 结合 LPIPS 与 DINOv2 特征的感知损失），仅通过 \(\mathrm{CDF}_{\mathrm{smooth}}^{-1}\) 改变训练时间步 \(t\) 的采样分布，在 BLIP3o-60k 数据集上微调 7,500 步即可收敛。

实验关键数据¶

主实验¶

表 1 展示了在 \(512 \times 512\) 分辨率文本到图像生成任务（基于 PixelGen-XXL/16，使用 25 步 Adams-2nd 求解器，在 BLIP3o-60k 上测试）上的 GenEval 评测结果。其中 \(\alpha_1\) 为微调阶段插值系数，\(\alpha_2\) 为推理阶段插值系数：

模型配置	\(\alpha_1\)	\(\alpha_2\)	Sin.Obj.	Two.Obj	Counting	Colors	Pos	Color.Attr.	Overall \(\uparrow\)
Baseline (timeshift 3.0)	–	–	0.993	0.868	0.593	0.917	0.712	0.667	0.792
Baseline (uniform)	–	–	0.990	0.873	0.584	0.906	0.737	0.670	0.794
Baseline finetuning	–	–	0.987	0.873	0.593	0.914	0.697	0.690	0.791
+ P2 finetuning + inference	1.0	1.0	0.987	0.886	0.640	0.906	0.735	0.682	0.806
+ MinSNR finetuning + inference	1.0	0.7	0.993	0.873	0.596	0.920	0.707	0.647	0.789
+ CSFlow inference (Ours)	–	1.0	0.996	0.888	0.609	0.914	0.735	0.657	0.800
+ CSFlow finetuning (Ours)	1.0	–	0.996	0.893	0.618	0.925	0.735	0.692	0.810
+ CSFlow finetuning + inference (Ours)	0.8	0.7	0.990	0.896	0.618	0.941	0.740	0.685	0.812

消融实验¶

表 2 对比了在 ImageNet \(256 \times 256\) 类别条件图像生成任务（使用 50 步 Heun 采样器，仅在推理阶段修改时间步分布）上，CSFlow 与基线调度、P2、Min-SNR 的消融与横向表现：

模型与配置	推理插值 \(\alpha_2\)	FID \(\downarrow\)	IS \(\uparrow\)	说明
JiT-H/16 Baseline	–	1.88	297.0	原始均匀推理步长基线
JiT-H/16 + P2 inference	0.3	1.86	295.8	启发式感知加权，IS 出现下降
JiT-H/16 + MinSNR inference	0.3	1.83	301.4	基于信噪比截断加权
JiT-H/16 + CSFlow inference (Ours)	0.4	1.79	297.5	FID 相对降低 4.7%，超越参数量大 1B+ 的 JiT-G/16 (FID 1.82)
PixelGen-XL/16 Baseline (timeshift 2.0)	–	1.89	292.2	原始带平移的推理步长基线
PixelGen-XL/16 Baseline (uniform)	–	1.94	295.8	无平移均匀步长基线
PixelGen-XL/16 + P2 inference	0.3	1.89	297.3	FID 无改善
PixelGen-XL/16 + MinSNR inference	0.2	1.89	296.9	FID 无改善
PixelGen-XL/16 + CSFlow inference (Ours)	0.5	1.87	303.6	FID 降至 1.87，IS 大幅提升 11.4 点（+3.9%，较 uniform 提升 2.6%）

关键发现¶

推理与微调独立有效且具有互补性：在 PixelGen-XXL/16 文生图实验中，仅在推理时直接使用 CSFlow 步长（\(\alpha_2=1.0\)，零训练成本）即可将 GenEval 从 0.792 提升至 0.800；仅做微调时间步重采样（\(\alpha_1=1.0\)）可提升至 0.810（排除单纯微调步数影响后，Baseline finetuning 仅为 0.791）；两者结合（\(\alpha_1=0.8, \alpha_2=0.7\)）达到最高分 0.812（相对基线提升 2.5%）。
免训练推理加权即可跨规模击败更大模型：在 ImageNet \(256 \times 256\) 上，JiT-H/16 仅在推理阶段融合 \(\alpha_2=0.4\) 的 CSFlow 权重，FID 便从 1.88 降至 1.79（改善 4.7%），甚至优于参数量多出 10 亿以上的更大规格模型 JiT-G/16（FID 1.82，IS 292.6）。
插值系数鲁棒性与视觉“去卡通化”效应：在改变推理插值系数 \(\alpha_2 \in [0, 1]\) 的敏感度分析中，P2 与 Min-SNR 在 \(\alpha_2\) 接近 \(1.0\) 时性能急剧恶化，而 CSFlow 在 \(\alpha_2=1.0\) 时依然保持强劲增益。定性对比表明，随着 \(\alpha\) 增大，基线模型常见的物体表面过度平滑与“塑料/卡通感”被有效消除，材质纹理与光影对比更加真实自然。

亮点与洞察¶

从第一性原理打通傅里叶频谱演化与视觉心理物理学：不同于以往凭经验设计的时间步权重（如 P2 的幂次衰减或 SD3 的 Logit-Normal），本文首次用严格的数学推导将“数据集径向功率谱 \(S_f\) \(\rightarrow\) 频域保留信号比 \(r_{\mathrm{signal}}\) \(\rightarrow\) 步间频率增益 \(\Delta r_{\mathrm{signal}}\) \(\rightarrow\) Barten CSF 视觉敏感度”串联成无自由超参的先验权重曲线，解释了为何去噪中早期对人眼主观质量最为关键。
按信息增益归一化避免低频能量霸权：在公式 (6) 中，作者没有将 \(\mathrm{CSF}(f)\) 与频谱绝对功率增量相乘，而是除以该时刻所有频率的总相对增益 \(\int_\Omega \partial_t r_{\mathrm{signal}}(f,t) df\)。这一精妙设计消除了自然图像低频绝对功率比高频大几个数量级的偏差，使权重纯粹反映“当前正在生成的频段有多容易被人眼察觉”。
基于平滑逆 CDF 的训练与推理统一重映射：通过将归一化权重视为时间概率密度并构造 \(\mathrm{CDF}_{\mathrm{smooth}}^{-1}\)，同一套权重既能用逆变换采样（Inverse Transform Sampling）指导训练微调，又能直接取分位数生成推理阶段的非均匀 ODE 步长网格，可零成本迁移到各类像素空间连续时间生成模型中。

局限与展望¶

局限于像素空间模型，尚未适配隐空间扩散：本文推导的核心前提是噪声直接施加在像素空间，从而使傅里叶频率与图像空间频率一一对应。对于当前主流的隐空间模型（Latent Diffusion / Rectified Flow，如 SD3、Flux），VAE 潜变量的空间坐标与最终图像的物理空间频率之间存在非线性映射，如何将 CSF 权重迁移至 VAE 潜空间是最重要的后续方向。
依赖固定的观看距离与屏幕物理参数假设：将周/像素转换为周/度（cycles/degree）时，本文固定假设像素尺寸 \(0.0114\text{ cm}\) 和观看距离 \(50\text{ cm}\)（典型笔记本电脑场景）。若在手机小屏、巨幕显示器或 VR 头显等不同视觉张角场景下展示，最优频率敏感度窗口会发生平移，需要重新标定参数。
无法修正大尺度几何结构错误：作者在局限性分析中指出，虽然 CSFlow 显著改善了表面纹理真实感并减少了卡通化倾向，但对于基础模型偶尔出现的肢体缺失（如动物少一条腿）等大尺度几何错误并无改善，说明高层语义与几何拓扑缺陷源于模型架构或表征本身，而非时间步权重分配不当。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将流匹配逆向去噪的傅里叶频谱恢复率与视觉心理物理学的 Barten 对比敏感度函数建立闭式数学连接，视角新颖且理论扎实。
实验充分度: ⭐⭐⭐⭐ 在像素空间文生图（PixelGen-XXL）与类条件生成（JiT-H、PixelGen-XL）上验证了免训练推理与微调的收益，并对比了 P2 与 Min-SNR，但受限于方法假设未能在隐空间模型上实验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑脉络极为清晰，从自然图像幂律谱、保留信号比定理证明到 CSF 积分加权与逆 CDF 采样环环相扣，图表直观易懂。
价值: ⭐⭐⭐⭐ 为像素空间扩散与流匹配模型提供了零训练成本即可提升推理画质与指标的实用步长分配方案，并为生成模型的感知对齐提供了新的频域分析工具。