Generalization and Memorization in Rectified Flow¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/mx-ethan-rao/rf_gen_mem.git
领域: 图像生成
关键词: 整流流, 成员推断攻击, 模型记忆, 泛化理论, 时间步采样分布

一句话总结¶

针对整流流生成模型训练数据记忆机制不明确的问题，本文提出了首个复杂度校准的成员推断攻击统计量，揭示了在标准均匀采样下模型记忆在流积分中点（$t=0.5$）严格达到峰值的数学本质，并通过对称指数 U 型时间步采样实现了在不损害图像生成质量前提下的隐私风险抑制。

研究背景与动机¶

基于流匹配（Flow Matching）的整流流（Rectified Flow, RF）通过直线轨迹将先验噪声分布与真实数据分布连接，以极高的采样效率和训练稳定性成为了 Stable Diffusion 3、FLUX.1 与 Ideogram 等现代图像生成基础模型的核心范式。然而，学术界与工业界的研究重点普遍集中在生成视觉质量提升、多模态架构扩展以及步数蒸馏优化上，对于整流流神经网络在训练过程中如何记忆训练数据、何时发生过拟合以及记忆行为在连续时间积分轨迹上的动态演变机制缺乏系统性探究。

传统的机器学习过拟合诊断依赖于训练损失与验证损失之间的泛化差距（generalization gap），但在连续时间生成模型中，微小的损失差值往往完全掩盖了严重的样本级记忆现象；即使模型在验证集上的平均流匹配损失表现优异，攻击者仍可能通过成员推断攻击（MIA）从模型输出的预测速度场中重构训练样本或高置信度鉴别样本归属性。尽管扩散模型领域已有若干基于重构误差或似然扰动的成员推断方法，但这些方法无法直接无缝迁移到确定性常微分方程（ODE）轨迹驱动的流匹配框架中。此外，生成模型的重构误差与似然估计天然受到图像低级空间复杂度的显著干扰——纹理简单的图像往往表现出虚高的似然与极小的速度预测误差，从而严重污染真实的记忆信号。

针对这一矛盾，本文从条件流匹配（CFM）第一性原理出发，推导了适配整流流特性的蒙特卡洛检验统计量，并引入基于图像压缩位率的复杂度校准机制；进一步，作者通过将非线性网络与线性最小均方误差（LMMSE）滤波基线对比，在理论上解析了连续时间积分轨迹上记忆风险的动态分布。核心 idea：通过构建解耦空间复杂度的蒙特卡洛流匹配检验统计量精确量化样本记忆，首次从理论上证明整流流在 $t=0.5$ 时因状态与速度正交而迫使网络依赖非线性容量形成记忆峰值，并据此设计对称指数 U 型时间步采样策略在零质量损失下抑制记忆累积。

方法详解¶

整体框架¶

整流流通过常微分方程 $\mathrm{d}X_t = v(X_t, t)\mathrm{d}t$ 建立标准高斯噪声 $X_0 \sim \mathcal{N}(0, \mathbf{I})$ 与真实数据 $X_1 \sim \pi_1$ 之间的线性插值轨迹 $X_t = t X_1 + (1-t)X_0$。目标速度矢量为恒定场 $v = X_1 - X_0$。在推断阶段，网络 $v_\theta(X_t, t)$ 逼近条件边际速度场。本文的方法体系包含“诊断”与“防御”两大部分：首先自底向上构建三级成员推断检验统计量，通过多次蒙特卡洛先验采样消除随机高斯噪声残差，并结合图像无损/有损压缩位率校准消除空间低频冗余引入的伪记忆偏差；随后建立线性最小均方误差（LMMSE）解析基准，证明模型在中点时间步对非线性特征提取容量的强制依赖；最后据此改变时间步采样概率密度分布，阻断敏感区间的隐私泄露。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本 x 与先验高斯噪声 ε"] --> B["蒙特卡洛积分检验统计量<br/>多次独立噪声采样消除先验期望偏差"]
    B --> C["空间复杂度解耦校准<br/>JPEG压缩长度归一化消除空间纹理伪偏差"]
    C --> D["正交性与线性度缺口分析<br/>对比LMMSE基线证明t=0.5处状态与速度统计正交"]
    D --> E["对称指数 U 型时间步采样正则化<br/>调配边界采样权重抑制脆弱中间时步暴露"]
    E --> F["输出：抗记忆且保持高生成保真度（FID）的整流流模型"]

关键设计¶

1. 蒙特卡洛积分检验统计量：基于条件流匹配目标消除先验高斯噪声扰动 基于原始流匹配目标构建的朴素攻击统计量 $T_{\text{naive}}(\mathbf{x}, t) = \|\mathbf{x} - (v_\theta(\mathbf{x}_t, t) + \varepsilon)\|_2^2$ 严重依赖单次采样的噪声向量 $\varepsilon \sim \mathcal{N}(0, \mathbf{I})$，噪声随机性导致判别方差极大。作者从过拟合状态下的条件流匹配（CFM）损失极小值出发，注意到当 $\mathcal{L}_{\text{CFM}} = 0$ 时，满足 $\mathbb{E}_{X_0 \sim \pi_0}[\mathbf{x}_1 - X_0 - v_\theta(X_t, t)] = 0$。由于标准高斯先验的均值 $\mathbb{E}[X_0] = \mathbf{0}$，因此在理论极限下真实样本满足 $\mathbf{x}_1 = \mathbb{E}[v_\theta(X_t, t)]$。基于此性质，作者构造了通过 $N$ 次独立蒙特卡洛采样的平摊检验统计量： $$T_{\text{mc}}(\mathbf{x}, t) = \left\| \mathbf{x} - \frac{1}{N}\sum_{n=1}^N v_\theta(t\mathbf{x} + (1-t)\varepsilon_n, t) \right\|_2^2$$ 当样本来自训练集 $\mathcal{D}_{\text{train}}$ 时，过拟合模型在该数据点附近的平均预测速度精确收敛至样本本身，使得 $T_{\text{mc}}(\mathbf{x} \in \mathcal{D}_{\text{train}}) \ll T_{\text{mc}}(\mathbf{x} \in \mathcal{D}_{\text{val}})$。随着采样次数 $N$ 增加，先验高斯噪声的经验均值以 $\mathcal{O}(1/\sqrt{N})$ 速度衰减归零，从而将速度网络的预测直接投射到样本重构空间，显著提升了训练成员与验证成员在得分上的分离度。

2. 空间复杂度解耦校准：引入图像压缩比率消除低频纹理导致的伪记忆信号 深度生成模型中的似然估计普遍存在“输入复杂度偏差”现象——结构简单、平滑的非成员样本（如天空背景或单一色块）天然拥有极低的速度回归误差，而结构精细、高频信息丰富的真实训练集样本反而呈现较大的回归误差，这使得原始统计量 $T_{\text{mc}}$ 与样本空间复杂度呈现高达 0.8 以上的皮尔逊正相关系数。为剥离图像固有空间特征对记忆信号的掩盖，作者设计了复杂度校准统计量： $$T_{\text{mc\_cal}}(\mathbf{x}, t) = \frac{T_{\text{mc}}(\mathbf{x}, t)}{C(\mathbf{x})}$$ 其中 $C(\mathbf{x})$ 表示样本的内在空间复杂度。尽管柯尔莫哥洛夫复杂度（Kolmogorov Complexity）理论上不可计算，但利用标准压缩算法（如 JPEG 压缩）生成的字节码长度能够作为其紧致上界。在对数线性尺度分析下，$\log(T_{\text{mc}}) \sim \beta \log(C(\mathbf{x})) + c$，实证发现采用 JPEG 压缩时参数 $\beta \approx 1$ 在各大基准数据集上均成立，因此无需复杂的超参拟合即可实现无参数自适应校准。该设计彻底去除了图像低频空间冗余的干扰，使统计量专注于模型权重所特异性记忆的高阶语义特征。

3. 正交性与线性度缺口分析：从 LMMSE 预测器退化揭示 t=0.5 时步的最大记忆机理 通过在连续时间区间 $t \in [0, 1]$ 扫描攻击表现，作者发现无论在何种数据集上，攻击 AUC 均在中点 $t=0.5$ 处呈现极其陡峭的单峰极大值。为阐明其物理本质，作者引入不具备任何非线性特征提取能力的最佳线性无偏预测器——线性最小均方误差（LMMSE）估计器 $v_{\text{linear}}(\mathbf{x}_t)$ 作为基准。在数据满足零均值 $\mu_{x_1} = \mathbf{0}$ 及标准化协方差 $\Sigma_{x_1} = \mathbf{I}$ 的正规化条件下，状态变量 $\mathbf{x}_t = t \mathbf{x}_1 + (1-t)\mathbf{x}_0$ 与目标速度 $v = \mathbf{x}_1 - \mathbf{x}_0$ 之间的协方差矩阵呈现显式时间依赖： $$\Sigma_{v, \mathbf{x}_t} = \mathbb{E}[v \mathbf{x}_t^\top] = t \mathbb{E}[\mathbf{x}_1\mathbf{x}_1^\top] - (1-t)\mathbb{E}[\mathbf{x}_0\mathbf{x}_0^\top] = (2t - 1)\mathbf{I}$$ 当积分推进至中点 $t = 0.5$ 时，$\Sigma_{v, \mathbf{x}_{0.5}} = \mathbf{0}$，意味着输入状态向量与目标速度向量在统计意义上达到完全正交。此时最优线性估计器彻底退化为平凡的均值预测 $v_{\text{linear}}(\mathbf{x}_{0.5}) = \mathbf{0}$，无法提供任何有效的线性线索。为了继续压低经验流匹配损失，神经网络被迫动用全部深层非线性容量去死记硬背该时刻的具体样本特征，导致网络在训练集上的行为与线性基线的差距（线性度缺口 $\Delta v = \|v_\theta - v_{\text{linear}}\|_2$）急剧放大；而在验证集上，由于缺乏共享模式，网络输出被迫塌缩向均值，造成训练集与验证集在 $t=0.5$ 处的表征出现最大分离。这一理论严格证明了在均匀采样下，整流流全时间步期望记忆风险被中点记忆严格上界约束。

4. 对称指数 U 型时间步采样正则化：重塑训练时步分布以阻断中间态过拟合 经典差分隐私（如 DP-SGD）通过梯度裁剪和添加高斯噪声来抑制样本记忆，但会对高维连续生成模型的生成分布造成灾难性破坏，导致图像生成质量严重滑坡（FID 大幅恶化）。基于上述正交性理论发现，整流流的记忆高度局限在中段区间，而在时间两端（$t \to 0$ 与 $t \to 1$）状态高度接近纯噪声或纯数据，线性信息充足，过拟合风险极低。据此，作者提出放弃标准均匀采样 $t \sim \mathcal{U}(0, 1)$，转而采用对称指数（Symmetric Exponential）U 型概率分布进行训练时步采样： $$p(t; \alpha) = \frac{\alpha}{2(1 - e^{-\alpha})}\left(e^{-\alpha t} + e^{-\alpha(1-t)}\right), \quad t \in [0, 1]$$ 超参数 $\alpha > 0$ 调控概率质量向两端集中的陡峭程度。通过在训练过程中刻意降低模型在敏感中间时步 $t \in [0.4, 0.6]$ 的暴露频率，并增加端点附近的重构监督，迫使网络减少对中段非线性特征过拟合的依赖，从而在保持相同 SGD 步数下显著延缓记忆积累，同时保持甚至略微改善模型的生成保真度（FID）。

损失函数 / 训练策略¶

模型训练采用条件流匹配损失，结合重参数化 U 型时间步分布： $$\mathcal{L}_{\text{CFM}}(\theta) = \mathbb{E}_{t \sim p(t; \alpha), \mathbf{x}_1 \sim \pi_1, \mathbf{x}_0 \sim \mathcal{N}(0, \mathbf{I})}\left[ \left\| (\mathbf{x}_1 - \mathbf{x}_0) - v_\theta(t\mathbf{x}_1 + (1-t)\mathbf{x}_0, t) \right\|_2^2 \right]$$ 在具体工程实现中，为避免两端导数数值不稳定，时间步采样区间通过仿射变换收缩至 $[t_{\text{min}}, t_{\text{max}}] = [10^{-5}, 1 - 10^{-5}]$。评估攻击时，通过蒙特卡洛取样数 $N_{\text{mc}} = 5$ 权衡计算开销与判别精度；对隐空间流匹配（Latent RF，如 MSCOCO），通过固定 VAE 解码空间度量辅助评估。

实验关键数据¶

主实验¶

实验在 CIFAR-10 ($32\times 32$)、SVHN ($32\times 32$) 与 TinyImageNet ($64\times 64$) 三大基准数据集上进行，均采用严格平衡的 50/50 划分方式将数据拆分为训练集 $\mathcal{D}_{\text{train}}$ 与留出验证集 $\mathcal{D}_{\text{val}}$。各攻击统计量的 AUC 与极低假阳率下的真正阳率（TPR@1%FPR）性能如下表所示：

方法	CIFAR-10 AUC↑ (%)	CIFAR-10 TPR@1%FPR↑ (%)	SVHN AUC↑ (%)	SVHN TPR@1%FPR↑ (%)	TinyImageNet AUC↑ (%)	TinyImageNet TPR@1%FPR↑ (%)
$T_{\text{naive}}$	70.98	2.70	68.04	1.89	72.33	4.10
$T_{\text{mc}}$ ($N_{\text{mc}}=5$)	75.12	3.05	70.92	1.54	76.44	5.33
$\Delta$ (vs. $T_{\text{naive}}$)	+4.14	+0.35	+2.88	-0.35	+4.11	+1.23
$T_{\text{mc\_cal}}$ ($N_{\text{mc}}=5$)	84.89	27.88	79.43	16.46	92.96	50.03
$\Delta$ (vs. $T_{\text{mc}}$)	+9.77	+24.83	+8.51	+14.92	+16.52	+44.70

在基于预训练 VAE 隐空间的 MSCOCO ($512\times 512$) 潜空间整流流模型上，作者横向扫描了不同积分时间步 $t$ 下的攻击表现（如表所示，AUC %），验证了攻击峰值严格契合理论推导：

时间步 $t$	0.10	0.20	0.30	0.40	0.50	0.60	0.70	0.80
$T_{\text{naive}}$	57.94	70.63	75.50	77.04	76.14	73.16	68.94	48.46
$T_{\text{mc}}$ ($N_{\text{mc}}=5$)	59.11	73.15	80.25	85.14	85.33	83.45	75.63	64.37
$\Delta$ (vs. $T_{\text{naive}}$)	+1.17	+2.52	+4.75	+8.10	+9.19	+10.29	+6.69	+15.91

消融实验¶

为了量化复杂度偏差对未校准统计量的影响，作者对输入图像的压缩位率与原始统计量 $T_{\text{mc}}$ 进行了相关性分析（如下表）：

数据划分	CIFAR-10 Pearson $\rho$	CIFAR-10 Spearman $r_s$	SVHN Pearson $\rho$	SVHN Spearman $r_s$	TinyImageNet Pearson $\rho$	TinyImageNet Spearman $r_s$
训练集 $\mathcal{D}_{\text{train}}$	0.6030	0.5917	0.8520	0.8699	0.5275	0.5535
验证集 $\mathcal{D}_{\text{val}}$	0.8318	0.8561	0.8842	0.9060	0.7837	0.8111

此外，针对蒙特卡洛采样数 $N_{\text{mc}}$ 的消融表明：当 $N_{\text{mc}}=1$ 时由于单次采样方差较大，$T_{\text{mc}}$ 表现略逊于包含先验残差项的 $T_{\text{naive}}$；但当 $N_{\text{mc}} \ge 2$ 时，$T_{\text{mc}}$ 全面反超基线，在 $N_{\text{mc}}=5$ 处收益逐渐饱和。针对 U 型时间步采样的正则化实验显示，随着衰减参数 $\alpha$ 从 0（均匀分布）增加到 2 和 4，模型的峰值攻击 AUC 显著受抑下降，而生成图像的 FID 评测得分非但未恶化，反而保持稳定甚至微幅提升。

关键发现¶

校准统计量对高危攻击指标产生决定性突破：虽然 $T_{\text{mc}}$ 在整体 AUC 上较朴素基线提升了约 3%~4%，但在极度严苛的隐私指标 TPR@1%FPR 上几无改善；引入复杂度校准 $T_{\text{mc\_cal}}$ 后，TinyImageNet 上的 TPR@1%FPR 从 5.33% 暴涨至 50.03%（绝对提升 +44.70%），这证明未校准前大量的假阳性来源于样本自身纹理复杂度而非真正的模型记忆。
记忆峰值与统计正交点完全重合：无论是像素级还是隐空间整流流，攻击敏感度最高点均稳定锚定在 $t=0.5$ 附近。在隐空间实验中，$T_{\text{naive}}$ 峰值因图像空间自相关而轻微左偏（$t=0.4$），但消除高斯噪声干扰的 $T_{\text{mc}}$ 的峰值精确锁定在 $t=0.50$（AUC 85.33%）。
非线性度缺口是记忆强度的内在度量：经验计算的 $\|v_\theta - v_{\text{linear}}\|_2$ 轨迹与攻击 AUC 曲线严格同相，验证了网络之所以在中段发生记忆，是因为在此刻线性预测完全失效，迫使网络过度利用容量对特定样本点强行过拟合。

亮点与洞察¶

从统计物理视角解析生成模型记忆动态：本文跳脱了将扩散/流匹配模型视为黑盒或纯经验拟合的传统思路，首次利用 LMMSE 滤波器与协方差矩阵展开式证明了 $\Sigma_{v, \mathbf{x}_t} = (2t-1)\mathbf{I}$，以数学优雅的方式闭环解释了中点记忆峰值的成因。
破解生成模型“差分隐私-保真度”零和博弈的新路径：传统 DP 方法往往无差别削弱网络学习能力导致模糊失真，本文揭示出隐私漏洞具有强烈的“时间局域性”，通过精准压低高危时步采样概率的非均匀时间调度，在无需向梯度中引入破坏性随机噪声的情况下达成了隐私保护与生成保真度的兼顾。

局限与展望¶

作者承认的局限：复杂度校准目前高度依赖针对像素空间直观设计的经典压缩器（如 JPEG），对于经过深层非线性 VAE 压缩后的潜变量流匹配模型，由于潜空间缺乏典型的空域网格结构，直接进行位率压缩校准受阻，必须借助于编解码器外部度量间接辅助。
潜在改进方向：当前假设数据协方差矩阵近似满足球形白化假定 $\Sigma_{x_1} = \mathbf{I}$；当真实数据分布存在极度极化的特征谱时，最小方差投影时间步会发生漂移（偏移 $t=0.5$）。未来可进一步探索自适应根据数据谱范数动态调整 U 型采样参数的理论闭环方案。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次构建面向整流流的理论 MIA 体系，并严格数学证明 $t=0.5$ 正交记忆峰值]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖像素与潜变量模型、4个数据集、消融与多维度指标，理论与实证高度自洽]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，从第一性原理层层推导，图文结构严谨]
价值: ⭐⭐⭐⭐⭐ [对大模型版权保护、训练数据安全及高效流匹配训练调度具有极高的启发意义]

方法	CIFAR-10 AUC↑ (%)	CIFAR-10 TPR@1%FPR↑ (%)	SVHN AUC↑ (%)	SVHN TPR@1%FPR↑ (%)	TinyImageNet AUC↑ (%)	TinyImageNet TPR@1%FPR↑ (%)
\(T_{\text{naive}}\)	70.98	2.70	68.04	1.89	72.33	4.10
\(T_{\text{mc}}\) (\(N_{\text{mc}}=5\))	75.12	3.05	70.92	1.54	76.44	5.33
\(\Delta\) (vs. \(T_{\text{naive}}\))	+4.14	+0.35	+2.88	-0.35	+4.11	+1.23
\(T_{\text{mc\_cal}}\) (\(N_{\text{mc}}=5\))	84.89	27.88	79.43	16.46	92.96	50.03
\(\Delta\) (vs. \(T_{\text{mc}}\))	+9.77	+24.83	+8.51	+14.92	+16.52	+44.70

数据划分	CIFAR-10 Pearson \(\rho\)	CIFAR-10 Spearman \(r_s\)	SVHN Pearson \(\rho\)	SVHN Spearman \(r_s\)	TinyImageNet Pearson \(\rho\)	TinyImageNet Spearman \(r_s\)
训练集 \(\mathcal{D}_{\text{train}}\)	0.6030	0.5917	0.8520	0.8699	0.5275	0.5535
验证集 \(\mathcal{D}_{\text{val}}\)	0.8318	0.8561	0.8842	0.9060	0.7837	0.8111