Follow the Mean: Reference-Guided Flow Matching¶

会议: NeurIPS 2026
arXiv: 2605.10302
代码: https://github.com/pedrocurvo/follow-the-mean
领域: 图像生成
关键词: 流匹配、参考引导、端点均值、免训练控制、半参数生成

一句话总结¶

基于流匹配速度场本质由条件端点均值决定的数学性质，本文提出通过参考样本动态平移端点均值的控制生成新范式，既实现了冻结文生图模型的免训练即插即用属性控制（RMG），又构建了支持动态换库的半参数流匹配架构（SPG）。

研究背景与动机¶

现有可控生成技术主要依赖三类路径：基于微调或适配器的方法（如 LoRA、ControlNet、IP-Adapter）需要针对特定概念或模态训练专用网络；基于辅助指导的方法（如分类器引导或奖励引导）依赖显式评分模型或外部分类器的反向传播梯度；基于测试时搜索的方法（如 Prompt 优化、Best-of-N、SMC 粒子重采样）则需要多轮候选生成与昂贵评估。这些方法虽然在特定场景下取得了显著成效，但无一例外都需要额外的训练开销、辅助判别网络或数倍的推理计算预算，难以在完全冻结的基础生成器上实现极低成本的自适应控制。

这种控制接口的核心瓶颈在于：人们普遍习惯于用“标量奖励”或“参数权重”来规定生成目标，却忽视了流匹配（Flow Matching）在连续动力学空间中内生的一致性结构。在仿射插值概率路径下，边际速度场完全由去噪状态关于数据端点的后验均值（端点均值）解析决定。只要目标分布与原始分布共享前向插值路径，两个分布对应的漂移场差异就严格等于各自端点均值的加权残差。这意味着，要让生成流拐弯，根本不需要外部判别器提供梯度，也不需要更新网络参数，只需要在推理过程中将速度场指向的“端点均值”向目标概念拉动。

本文的切入角度是直接利用少许正向参考样本来隐式定义目标端点后验。核心 idea：将流匹配控制建模为端点均值平移问题，在确定性插值路径下通过参考样本集的封闭解软加权实现免训练的速度场引导（RMG），并进一步扩展为带交叉注意力锚点与残差细化器的半参数自适应流匹配模型（SPG）。

方法详解¶

整体框架¶

在仿射插值 $x_t = \alpha_t x_0 + \beta_t x_1$（线性桥下 $\alpha_t = 1-t, \beta_t = t$）中，最优速度场严格等于条件期望 $u_t(x) = \frac{\mu_t(x) - x}{1-t}$，其中 $\mu_t(x) = \mathbb{E}[x_1 \mid x_t = x]$ 为端点均值。当目标分布 $\pi_1$ 由参考样本集 $\mathcal{R} = \{x^{(m)}\}_{m=1}^M$ 隐式定义时，目标速度场与预训练速度场满足严格的一阶映射关系： $$u_t^\pi(x) - u_t(x) = \frac{\mu_t^\pi(x) - \mu_t(x)}{1-t}$$ 基于这一理论核心，本文提出了两种互补的实现路径：其一是面向任意现成冻结模型的参考均值引导（Reference-Mean Guidance, RMG），其二是面向从头训练且需自适应泛化的半参数引导（Semi-Parametric Guidance, SPG）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 噪声状态 $x_t$ + 参考样本集 $\mathcal{R}$"] --> B["解析核加权与端点估计<br/>计算参考后验均值 $\hat{\mu}_t^\rho(x)$"]
    B --> C["参考均值引导 (RMG)<br/>封闭解差分校正冻结速度场"]
    B --> D["半参数引导 (SPG)<br/>交叉注意力锚点 $\bar{x}$ + 残差精炼"]
    C --> E["二次衰减时间调度与截断<br/>抑制 $t \to 1$ 轨迹发散"]
    D --> E
    E --> F["输出: 沿引导速度场积分生成目标图像"]

关键设计¶

1. 参考均值引导（RMG）：免训练的速度场解析校正 针对冻结生成模型无法接收外部正样本提示的问题，RMG 直接在隐空间利用经验参考样本集 $\mathcal{R} = \{x^{(m)}\}_{m=1}^M$ 构建非参数端点后验估计。在先验假设下，样本 $x_t$ 落在参考点 $x^{(m)}$ 上的后验权重可由高斯桥核的 Softmax 严格给出。为防止隐空间高维特征导致 Softmax 概率崩溃为单一硬近邻，引入以隐空间维度平方根 $\tau = \sqrt{d}$ 为温度的缩放距离度量： $$w_t^{(m)}(x) = \text{Softmax}_m \left( -\frac{1}{2\sqrt{d}} \frac{\|x - t x^{(m)}\|^2}{(1-t)^2} \right), \quad \hat{\mu}_t^\rho(x) = \sum_{m=1}^M w_t^{(m)}(x) x^{(m)}$$ 利用该参考均值对预训练模型的端点预测 $\mu_t^\theta(x) = x + (1-t)u_t^\theta(x)$ 进行线性对齐，得到免训练的引导速度场： $$u_t^{\text{RMG}}(x) = u_t^\theta(x) + \gamma_t \frac{\hat{\mu}_t^\rho(x) - \mu_t^\theta(x)}{1-t}$$ 该校正项完全为封闭形式代数运算，无需反向传播梯度或附加网络前向，赋予了冻结的大规模扩散/流匹配模型（如 FLUX.2）即插即用吸收参考图像色彩、身份及几何轮廓的能力。

2. 二次衰减时间调度与终端截断：保障终点轨迹收敛稳定 针对理论引导公式中缩放因子 $(1-t)^{-1}$ 随 $t \to 1$ 发生数值发散、且高斯带宽收窄导致后验权值崩塌至孤立样本的问题，设计了二次衰减时间调度 $\gamma_t = \gamma_0 (1-t)^2$。由于修正项分子包含 $(1-t)^{-1}$，二次衰减使得整体修正强度正比于 $\gamma_0 (1-t)$，不仅在数值上完美抵消了奇点发散，还确保了修正项在到达真实数据终点 $t=1$ 时平滑归零。此外，在文生图推理中严格设置 $t \ge 0.85$ 阶段截断引导（令 $\gamma_t = 0$），使得采样后期流轨迹完全交由基础生成器补全高频细节，彻底避免了因强行对齐参考样本而产生颜色过饱和或伪影。

3. 半参数引导（SPG）：解耦粗粒度结构与细粒度残差的自适应网络 针对 RMG 仅依据原始隐特征欧氏距离进行加权、容易连带引入参考图共有干扰属性（例如参考集全为白色背景导致生成图背景强行泛白）的缺陷，SPG 构建了一个端到端训练的半参数流匹配架构。SPG 首先通过单层交叉注意力从参考集中提取宏观结构锚点 $\bar{x} = \sum_{m=1}^M a_m x^{(m)}$，其中注意力权重 $a$ 通过学习到的 Query-Key 投影在图像 Patch 粒度计算，而 Value 严格保留参考隐变量的恒等映射，确保锚点严格收敛在参考凸包内；随后利用 Transformer 细化器 $f^\phi$ 建模锚点之外的精细高频残差，并通过可学习的时间门控系数进行融合： $$\mu_t^\phi(x_t, \mathcal{R}) = (1-g_t) \cdot x_t + g_t \cdot \bar{x} + \eta_t \cdot f^\phi(\bar{x}, x_t, t)$$ 在训练过程中引入留一法（Leave-One-Out）批次采样策略，防止模型在自注意力中退化为对自身端点的近邻记忆查找，并采用 Stop-Gradient 截断残差模块回传给锚点的梯度，迫使网络明确将参考集用于全局属性对齐、将主干容量用于高保真样本恢复。

损失函数 / 训练策略¶

SPG 在训练时联合优化端点预测损失与残差细化损失： $$\mathcal{L}_\mu(\phi) = \mathbb{E}\left[ \sum_{m=1}^M \frac{1}{(1-t)^2} \left\| x^{(m)} - \mu_t^\phi(x_t^{(m)}, \mathcal{R}^{\setminus \{m\}}) \right\|^2 \right]$$ $$\mathcal{L}_{\text{ref}}(\phi) = \mathbb{E}\left[ \sum_{m=1}^M \left\| \text{sg}[x^{(m)} - \bar{x}^{(m)}] - f^\phi(\text{sg}[\bar{x}^{(m)}], x_t^{(m)}, t) \right\|^2 \right]$$ 在 AFHQv2 数据集上，采用 Lion 优化器在 4 张 A100 GPU 上混合精度训练 10,000 步，初始学习率为 $10^{-4}$，EMA 衰减率为 0.9999。

实验关键数据¶

主实验¶

在标准文生图对齐基准 GenEval（553 个提示词，覆盖单目标、双目标、计数、颜色、相对位置及颜色属性绑定）上，将基于冻结 FLUX.2-klein (4B) 的 RMG 与搜索类、梯度优化类先进基线进行了系统评测。

方法	相对耗时 (Time)	归一化推理评估 (NFE)	外部模型调用 (Aux.)	GenEval 平均分 ↑	位置关系 (Pos.)	计数 (Count)	属性绑定 (Attr.)
FLUX.2-klein (4B) 基础模型	1.00×	1×	–	80.10	65.25	80.62	58.75
+ Prompt Opt. [TMR 2024]	7.87×	8×	8C + 2L	84.18	69.75	88.12	64.00
+ Best-of-4	4.07×	4×	4C	83.35	67.75	83.44	65.25
+ SMC [Wu et al. 2024]	6.17×	4×	81C	80.28	61.75	81.88	57.25
+ ReNO [NeurIPS 2024]	19.44×	4×	4C	83.46	65.50	87.50	64.75
+ RMG (本文)	1.02×	1×	–	91.17	94.00	88.12	75.25

注：Aux. 栏中 C 表示分类器调用，L 表示大语言模型重写。RMG 仅需 1.02× 的单次轨迹推理时间，不需任何外部判别器或多候选搜索，在平均准确率上比基础模型提升超过 11 个百分点，在最难的位置空间构图上实现了 +28.75 的巨幅跨越。

消融实验¶

在 GenEval 生成质量、多样性与参考图像复制率（SSCD 语义相似度）上的系统评估展示了不同控制机制的内在权衡：

模型配置	ImageReward ↑	组内 LPIPS 多样性 ↑	SSCD 均值	SSCD 95分位数	相似度 > 0.85 比例
FLUX.2-klein (无引导)	1.214	0.557 (100%)	0.342	0.608	0.000
+ Best-of-4	1.286	0.549 (99%)	0.343	0.610	0.000
+ ReNO (噪声梯度优化)	1.250	0.457 (82%)	0.357	0.630	0.000
+ RMG (二次衰减, $\gamma_0=1$)	1.164	0.395 (71%)	0.525	0.711	0.000
常数调度 ($\gamma_t = \gamma_0$)	显著恶化	严重坍缩	0.680+	0.820+	> 0.050 (出现复制与伪影)
钟形调度 ($4\gamma_0 t(1-t)$)	1.182	0.442 (79%)	0.481	0.672	0.000

关键发现¶

结构引导胜过语义评分：在相对位置关系任务上，多模态大模型甚至难以准确量化方位惩罚，而 RMG 仅通过拼接布局参考块提供粗粒度几何先验，便将位置准确率从 65.25% 飙升至 94.00%。
非记忆性复制：在全部 2,212 张 RMG 生成图像中，与对应参考库中任意图像的 SSCD 拷贝检测相似度未出现任何大于 0.85 的案例（最高分位数仅 0.711），说明 RMG 是在速度场层面迁移分布模式，而非对参考库样本的像素级复制。
参考集规模的边际效应：在 SPG 中，生成多样性随着参考样本数 $M$ 从 10 增加到 100 快速提升，随后在 $M > 100$ 时趋于饱和（在 AFHQv2 上 FID 达 23.26，完全持平参数无条件基线 DiT-B/4 的 23.11）。

亮点与洞察¶

切中流匹配本质的数学优美性：绕开了传统利用外部打分器计算复杂梯度（$\nabla_x \log p(y \mid x)$）的繁琐路径，直接证明在概率流 ODE 中“调整速度等价于调整端点期望”，给出了迄今最为简洁的免训练引导闭式解。
数据即控制接口（Data-as-Control）：无需为了新增概念重新训练 LoRA 或 Adapter，仅需向提示池投喂 20 张参考图像或粗糙草图，基础模型就能精确继承风格、构图与物理姿态，实现了跨模态控制范式的重大转换。
可复用的二次阻尼调度技巧：针对插值流在终点处 $(1-t)^{-1}$ 奇异性发散的普适性数学缺陷，提出的二次衰减调度与截断机制可作为所有流匹配引导算法的通用稳定性防护模块。

局限与展望¶

参考集负迁移风险：RMG 采用无监督的原始潜变量度量距离，当参考图像集包含全局共有特征（如白底、水印、特异画风）时，这些无关模式也会被一并迁移至最终生成中；虽然 SPG 证明了注意力机制能过滤背景，但需独立训练。
拼接布局带来的偏好分下降：在位置与计数生成中，使用简单拼接的合成参考块导致 ImageReward 指标有轻度下滑（从 1.214 降至 1.164），表明参考集的视觉自然度直接制约着生成图像的感知美学。
模型生态验证单一：当前大模型免训练实验主要基于 FLUX.2-klein (4B) 验证，未来亟需拓展至 SD3、PixArt 及基于 Flow Matching 的连续视频生成基础架构中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从端点均值平移视角重新审视流匹配控制，理论推导严丝合缝，免训练闭式解设计极具洞察力。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2D 玩具实验、MNIST、GenEval 全量基准以及 AFHQv2 半参数对比，涵盖质量、多样性与拷贝检测全维度验证。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然透彻，数学推演逻辑链条极其自洽，图表与附录细节详实严密。
价值: ⭐⭐⭐⭐⭐ 为扩散与流匹配基础模型的大规模轻量化自适应控制提供了全新的免训练范式，工程实用与学术启发价值巨大。