PickMoment: Single-Image-to-Video via Learning Continuous-Time Reblurring¶

会议: NeurIPS 2026
arXiv: 2610.01279
OpenReview: https://openreview.net/forum?id=OLVcmhgg5O
代码: https://github.com/black-forest-labs/flux2
领域: 视频生成
关键词: 单图生成视频, 连续时间去模糊, MeanFlow, 运动模糊逆问题, 确定性单步推理

一句话总结¶

PickMoment 将运动模糊的物理积分形成过程与 MeanFlow 的平均速度场建立代数对偶，训练单一定向模型预测曝光窗内任意子区间的积分均值模糊，在零区间极限下实现无需迭代采样的连续时间单图生成视频、去模糊与任意时刻精准挑选。

研究背景与动机¶

现实拍摄中的相机抖动与物体运动会在有限曝光时间内积分连续清晰信号，从而形成复杂的运动模糊。这类退化不仅劣化图像视觉质量，更严重制约了目标检测、3D 重建与深度估计等下游视觉任务。传统的单图去模糊方法无论是依赖 CNN、Transformer 还是近年兴起的扩散模型，本质上都是直接学习从模糊图像到单一清晰帧（通常为曝光正中心时刻）的映射。这种离散坍缩完全忽略了模糊图像内部蕴含的时序积分轨迹，将原本连续且丰富的时空动态信息压缩成了孤立的静止画面。

为了逆转这种时序丢失，模糊到视频（blur-to-video）任务致力于从单张模糊图像中重构整段连续清晰视频序列。然而，现有工作陷入了两大困境：一方面，大部分方案依然直接以离散的清晰信号本身作为监督目标，不仅必须引入复杂且脆弱的时序方向判别器、可微光流扭曲或多模态量化先验，而且受限于固定的离散采样帧数；另一方面，近期基于预训练视频扩散模型的方法虽然能通过多步迭代采样生成逼真视频，但每次反向扩散推断计算开销巨大、极度耗时，且在时序方向上往往伴随随机多义性抽样，无法提供确定、精准的瞬时点提取。

物理上运动模糊的本质是曝光区间内连续清晰信号的积分均值。本文敏锐地洞察到：MeanFlow 生成模型中刻画连续传输轨迹的“时间平均速度场”，与运动模糊在任意子曝光区间上的“时间积分均值”，在代数结构上具有完全一致的形式。因此，去模糊与生成视频不必直接拟合脆弱的清晰目标，而是可以直接学习曝光区间任意子区间的积分均值模糊。核心 idea：将单图生成视频与去模糊统一为曝光子区间的平均模糊预测问题，借鉴 MeanFlow 平均速度积分等式构造区间重构、区间可加性自洽约束与零区间极限清晰帧三重监督，实现单次前向、任意连续时刻的确定性视频重构。

方法详解¶

整体框架¶

PickMoment 的核心是将曝光时间 $[0, T]$ 上的运动模糊积分形式推向任意连续子区间 $[s, t]$。模型输入单张模糊图像 $x_{\text{blur}}$，通过预训练且冻结的 VAE 编码器映射至隐空间 $z_{\text{blur}}$。随后，一个基于 FLUX.2-klein 骨干改造的扩散 Transformer 接收隐变量 $z_{\text{blur}}$ 以及由连续子区间端点编码的条件 $(s, t, t-s)$，直接以单次确定性前向残差预测出对应子区间 $[s, t]$ 内的平均模糊隐表征 $f_\theta(z_{\text{blur}}, s, t)$。当查询区间退化为瞬时极窄窗口时，模型便自然输出该时刻的无模糊清晰帧。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单张输入模糊图像 x_blur"] --> B["VAE 编码器 提取隐变量 z_blur"]
    B --> C["连续区间重参数化条件<br/>(s, t, t-s) 正弦嵌入与 MLP 投影"]
    C --> D["FLUX Transformer 骨干网络<br/>单步前向预测隐空间残差偏移"]
    D --> E["子区间均值模糊隐变量输出<br/>f_theta(z_blur, s, t)"]
    E -->|零区间极限: 极窄窗口| F["去模糊与连续时刻清晰视频帧 S(tau)"]
    E -->|非零子区间| G["自洽子曝光均值模糊 B(s, t)"]

关键设计¶

1. 连续时间模糊积分重构与 MeanFlow 对偶机制：将离散去模糊升级为任意区间平均场建模

针对传统方法只预测中心单帧而丢弃模糊内部连续时序积分结构的缺陷，本文将整个模糊过程泛化到任意子区间 $[s, t] \subseteq [0, T]$。定义区间平均模糊为： $$B(s, t) \triangleq \frac{1}{t-s}\int_s^t S(\tau)\,\mathrm{d}\tau$$ 此定义在数学形式上严格对偶于 MeanFlow 中的平均速度场 $u(z_t, s, t) = \frac{1}{t-s}\int_s^t v(z_\tau, \tau)\,\mathrm{d}\tau$。基于微积分基本定理，区间平均模糊满足微分恒等式 $B(s, t) = S(t) - (t-s)\frac{\mathrm{d}}{\mathrm{d}t}B(s, t)$。更重要的是，当查询区间缩减为零区间极限时，直接收敛至瞬时清晰帧： $$\lim_{t \to \tau} B(\tau, t) = S(\tau)$$ 这使得任意时间点的单图去模糊、多帧视频生成以及任意瞬时“挑帧（pick-a-moment）”成为同一个网络在不同时间区间查询下的统一输出，无需为不同任务设计独立架构。

2. 连续区间条件注入与残差 Transformer 架构：将生成扩散网络改造为单步确定性均值回归器

为了让网络能够灵活查询连续时间轴上的任意片段，模型采用 FLUX.2-klein 架构作为主干，但在条件注入机制上摒弃了原有扩散噪声步数 conditioning，专门设计了连续区间调节器。该调节器提取三元组 $(s, t, t-s)$（分别表示区间起始、终止与区间持续时间），经过正弦高频位置嵌入后通过共享 MLP 映射，直接注入 Transformer 的跨注意力与自适应归一化层中。网络不执行迭代去噪采样，而是以残差形式直接预测潜变量相对于模糊输入的位移 $f_\theta(z_{\text{blur}}, s, t)$，保证了推断时的极低计算延迟与确定性。

3. 区间可加性自洽约束与零区间锐度锚定：免雅可比梯度的时序一致性闭环

为解决无约束回归容易导致时序闪烁和区间均值物理不守恒的问题，本文受到 SplitMeanFlow 启发，将积分的区间可加性转化为自洽损失。对于任意中间断点 $m \in [s, t]$，区间积分天然满足加权凸组合： $$B(s, t) = \omega B(s, m) + (1-\omega) B(m, t), \quad \omega = \frac{m-s}{t-s}$$ 通过在隐空间强制网络满足该等式，模型无需计算耗时的雅可比向量积（JVP），仅需两次轻量前向即可建立起全区间的自洽时序先验。同时，在零区间极限处显式施加高保真清晰度监督，将物理守恒性与端点逼真度紧密绑定。

损失函数 / 训练策略¶

PickMoment 的完整训练目标由三个源自物理模糊积分定义的互补损失项线性组合而成：

子帧经验经验重构损失（$\mathcal{L}_{\text{recon}}$）：利用数据集（如 GoPro）中真实存在的清晰子帧序列 $\{S(\tau_i)\}$，计算子区间 $[s, t]$ 内所有子帧的经验均值 $\hat{B}(s, t) = \frac{1}{M_{s,t}}\sum_{\tau_i=s}^t S(\tau_i)$，在 VAE 隐空间最小化均方误差： $$\mathcal{L}_{\text{recon}} = \mathbb{E}\Big\|f_\theta(z_{\text{blur}}, s, t) - \mathrm{sg}\big(\mathcal{E}(\hat{B}(s, t))\big)\Big\|_2^2$$
区间可加性自洽损失（$\mathcal{L}_{\text{add}}$）：随机采样内部切分点 $m \in (s, t)$，约束大区间预测值与两段子区间预测值的加权和一致： $$\mathcal{L}_{\text{add}} = \mathbb{E}\Big\|f_\theta(z_{\text{blur}}, s, t) - \omega f_\theta(z_{\text{blur}}, s, m) - (1-\omega)f_\theta(z_{\text{blur}}, m, t)\Big\|_2^2$$
零区间清晰帧锚定损失（$\mathcal{L}_{\text{sharp}}$）：在区间极限 $s=t=\tau$ 处，通过 VAE 解码器将预测特征还原至像素空间，结合像素级 $\ell_2$ 损失与边缘感知感知损失（EA-LPIPS），强化高频纹理恢复： $$\mathcal{L}_{\text{sharp}} = \mathbb{E}_\tau \Big[\|\mathcal{D}(f_\theta(z_{\text{blur}}, \tau, \tau)) - S(\tau)\|_2^2 + \lambda_{\text{perc}} \mathrm{EA\text{-}LPIPS}(\mathcal{D}(f_\theta(z_{\text{blur}}, \tau, \tau)), S(\tau))\Big]$$

总目标函数为 $\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{recon}} + \lambda_{\text{add}} \mathcal{L}_{\text{add}} + \lambda_{\text{sharp}} \mathcal{L}_{\text{sharp}}$，实验设定权重超参数 $\lambda_{\text{add}} = 0.1, \lambda_{\text{sharp}} = 1.0, \lambda_{\text{perc}} = 2.0$。模型采用 Adam 优化器在单张 NVIDIA RTX A6000 上使用渐进式分辨率分段训练 100K 步。

实验关键数据¶

主实验¶

在单图去模糊任务中，模型在零区间极限处查询中心帧，在合成基准 GoPro、HIDE 及真实场景 RealBlur 上与当前 SOTA 去模糊模型进行评测对比。同时在单图生成视频任务（GoPro-7）中与双向匹配评测基准进行全面对比。

数据集 / 任务	评测指标	PickMoment (本文)	前期生成 SOTA (FideDiff / Blur2Vid)	传统复原基准 (Restormer)	相对增益 / 特征
GoPro (单图去模糊)	PSNR ↑	29.43 dB	28.79 dB (FideDiff)	32.92 dB	生成类 SOTA (+0.64 dB)
GoPro (单图去模糊)	SSIM ↑	0.9253	0.9148 (FideDiff)	0.9611	生成类提升显著
GoPro (单图去模糊)	LPIPS ↓	0.0802	0.0831 (FideDiff)	0.0841	优于 Restormer 与 FideDiff
GoPro (单图去模糊)	DISTS ↓	0.0429	0.0525 (FideDiff)	0.0724	感知结构失真度最佳
HIDE (单图去模糊)	PSNR ↑	27.52 dB	27.28 dB (FideDiff)	31.22 dB	生成类最优 (+0.24 dB)
HIDE (单图去模糊)	LPIPS ↓	0.1046	0.1068 (FideDiff)	0.1082	结构恢复优异
RealBlur-J (真实模糊)	PSNR ↑	28.94 dB	28.96 dB (FideDiff)	28.96 dB	与针对性复原模型表现持平
GoPro-7 (模糊生成视频)	PSNRp ↑	31.24 dB	30.01 dB (Blur2Vid)	25.23 dB (Jin et al.)	帧保真度最佳 (+1.23 dB)
GoPro-7 (模糊生成视频)	LPIPSp ↓	0.0086	0.0120 (Blur2Vid)	0.0840 (Jin et al.)	感知误差降低 28.3%
GoPro-7 (模糊生成视频)	FVD ↓	27.40	21.46 (Blur2Vid)	235.53 (Jin et al.)	单步确定性与多步采样权衡

消融实验¶

为了验证各个损失函数组件及区间监督设计的有效性，作者在 GoPro 数据集上进行了系统消融。

配置变体	去模糊 PSNR ↑	去模糊 LPIPS ↓	视频生成 PSNRp ↑	视频生成 FVD ↓	视频生成 EPE ↓	核心说明
仅经验重构 $\mathcal{L}_{\text{recon}}$	28.45 dB	0.1455	29.78 dB	59.29	1.02	图像边缘偏平滑，缺乏高频锐度
$\mathcal{L}_{\text{recon}} + \mathcal{L}_{\text{add}}$	28.56 dB	0.1422	29.95 dB	58.91	0.92	区间一致性小幅促进时序指标
$\mathcal{L}_{\text{recon}} + \mathcal{L}_{\text{sharp}}$	29.24 dB	0.0787	30.68 dB	67.10	0.99	锐度与纹理飞跃，但多帧时序不够连贯
完整模型 (全三项损失)	29.43 dB	0.0802	31.24 dB	27.40	0.86	锐度与时序相辅相成，FVD 骤降 59.2%
基线对比: 预测单帧 $\mathbf{B}\to\mathbf{S}$	27.72 dB	0.1595	29.16 dB	59.51	1.15	离散直接预测易陷入模式模糊
基线对比: 预测多帧 $\mathbf{B}\to\{\mathbf{S}_i\}$	27.76 dB	0.1604	29.26 dB	58.76	1.13	固定帧通道映射缺乏连续泛化能力

关键发现¶

区间可加性自洽是视频连贯性的核心推手：消融表明，单独施加 $\mathcal{L}_{\text{sharp}}$ 虽然使单帧清晰度极大提升，但多帧拼合时的 FVD 高达 67.10；一旦加入区间可加性自洽损失 $\mathcal{L}_{\text{add}}$，FVD 大幅优化至 27.40，光流端点误差（EPE）从 0.99 降至 0.86，证明自洽性约束在各子区间均值之间架设了严格的时序平滑桥梁。
连续时间未见时刻泛化性显著：在仅用奇数索引子帧训练、在偶数索引未见时间戳进行插值评测的实验中，区间均值学习范式（$\mathbf{B}\to\mathbf{B}$）在全部时间点均超越直接离散预测基线（$\mathbf{B}\to\mathbf{S}$），平均 PSNR 高出 0.92 dB，验证了连续积分场比离散帧拟合具有更本质的物理内插鲁棒性。
推断效率实现数量级跨越：得益于单步残差前向设计，PickMoment 生成完整高清视频序列的速度较基于多步扩散采样的 Blur2Vid 提升了约 25 倍，且完全消除了随机采样导致的运动轨迹不可控问题。

亮点与洞察¶

物理模糊与速度流场的理论架桥：将现实物理曝光积分公式与 MeanFlow 生成模型的平均速度场相映射，直接利用微积分微分恒等式与区间分割性质推导自洽损失，展现了极强的跨领域数学洞察力。
单模型统一三项异构视觉任务：打破了“去模糊专用模型”与“视频生成专用多通道/扩散网络”的人为边界，仅通过在推断时改变时间区间查询参数 $(s, t)$，即可自由切换单帧去模糊、等间距连续视频重建与任意单时刻抽帧。
无雅可比矢积的轻量化自洽监督：借鉴 SplitMeanFlow 的代数拆分思路，将复杂的积分微分约束转化为三点前向凸组合关系，在潜空间规避了昂贵的自动微分 JVP 运算，使得大模型训练切实可行。

局限与展望¶

时序长程平滑度仍弱于扩散先验采样：作者承认，尽管单帧指标与 PSNRp 领先，但预训练大规模视频扩散模型（如 Blur2Vid）拥有海量视频运动先验，在极度剧烈的非刚性形变下 FVD 仍具优势，单步确定性预测未来可与轻量级迭代采样结合。
隐空间局部线性假设存在微小近似误差：区间可加性严格成立的前提是在像素空间进行线性相加，本文为避免反复调用 VAE 解码器而直接在隐空间实施凸组合，隐式依赖了 VAE 局部线性近似，可能在极端剧烈变化的高频边缘引入轻微隐空间伪影。
极端曝光饱和与动态模糊耦合场景受限：当前模型训练基于线性传感器合成假设，在面对真实夜间大范围过曝眩光拖尾以及非线性相机响应曲线时，单纯积分均值模型可能难以完美解耦光晕与运动轨迹。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将运动模糊物理积分与 MeanFlow 平均速度场对偶，重构去模糊与生成任务，理论立意高远且数学推导优美]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖单帧去模糊三大基准与视频生成任务，包含详细的时间未见插值泛化与逐项损失消融]
写作质量: ⭐⭐⭐⭐⭐ [物理建模直观，数学公式符号严谨，实验图表论证扎实有力]
价值: ⭐⭐⭐⭐⭐ [打破去模糊与单图生成视频的界限，单步确定性生成在工业端与下游多模态感知中具有极高落地价值]

配置变体	去模糊 PSNR ↑	去模糊 LPIPS ↓	视频生成 PSNRp ↑	视频生成 FVD ↓	视频生成 EPE ↓	核心说明
仅经验重构 \(\mathcal{L}_{\text{recon}}\)	28.45 dB	0.1455	29.78 dB	59.29	1.02	图像边缘偏平滑，缺乏高频锐度
\(\mathcal{L}_{\text{recon}} + \mathcal{L}_{\text{add}}\)	28.56 dB	0.1422	29.95 dB	58.91	0.92	区间一致性小幅促进时序指标
\(\mathcal{L}_{\text{recon}} + \mathcal{L}_{\text{sharp}}\)	29.24 dB	0.0787	30.68 dB	67.10	0.99	锐度与纹理飞跃，但多帧时序不够连贯
完整模型 (全三项损失)	29.43 dB	0.0802	31.24 dB	27.40	0.86	锐度与时序相辅相成，FVD 骤降 59.2%
基线对比: 预测单帧 \(\mathbf{B}\to\mathbf{S}\)	27.72 dB	0.1595	29.16 dB	59.51	1.15	离散直接预测易陷入模式模糊
基线对比: 预测多帧 \(\mathbf{B}\to\{\mathbf{S}_i\}\)	27.76 dB	0.1604	29.26 dB	58.76	1.13	固定帧通道映射缺乏连续泛化能力