MV-Forcing: Long Multi-View Video Generation via 4D-Grounded Spatio-Temporal Self-Forcing¶

会议: ECCV 2026
论文: ECCV 原文
领域: 视频生成
关键词: 多视角视频生成 / 自回归扩散 / 时空自强制 / 4D几何先验 / 显式3D重建

一句话总结¶

针对长时序多视角动态场景视频生成中跨视角几何不一致与长序列误差累积问题，MV-Forcing 首次将时间与视角双轴自回归统一在少步扩散模型中，通过递归 4D 重建模型提供累积几何先验桥梁，并结合时空自强制蒸馏彻底消除了多轴曝光偏差。

研究背景与动机¶

从多个相机视角同步生成长时序、几何自洽的动态场景视频，是沉浸式虚拟现实、影视级内容创作与具身模拟环境的核心技术基石。然而，要同时在无限时序跨度与任意视角数量上保证高质量渲染和严格的三维物理几何一致性，对生成模型的空间、时间与多视角联合建模能力提出了极高的挑战。

当前视频生成范式呈现出明显的两条平行技术路径：一条是单视角长视频自回归扩散模型，通过基于历史因果上下文的时序外推，能够生成长达数分钟的连贯单路视频；另一条是多视角视频生成模型（如 SynCamMaster、CVD），利用全时空网格上的双向跨视角注意力在短片段内保持视角同步。然而，这两条路径无法直接融合——现有多视角模型严重依赖所有时间帧与所有视角之间的全连通双向注意力，其计算复杂度随视角数和帧数呈二次方爆炸，彻底阻断了流式推理能力，被死死限制在极短的固定时序窗口（如 81 帧、2 个视角）；而若直接将单视角时序自回归模型暴力串联到多个视角，由于缺乏显式几何锚定与多轴联合自洽机制，误差在视角链条上传播会产生灾难性的暴露偏差，导致不同视角的场景几何形态迅速漂移、结构彻底撕裂。

面对“全时空双向注意力不可扩展”与“纯自回归多视角缺乏显式几何约束”的核心矛盾，本文提出了一种全新视角：将时间自回归与视角自回归深度解耦，并引入前馈动态三维重建网络作为跨视角生成的持续几何桥梁。本文的核心 idea 是：将时间与视角序列化自回归统一到单体因果少步扩散模型中，利用递归 4D 重建模型在线累积场景隐式几何并渲染目标视角几何先验，配合时空自强制（Spatio-Temporal Self-Forcing）在训练中展开双轴生成流，消除时序与视角维度的曝光偏差，实现任意视角数与无限时长的几何自洽视频生成。

方法详解¶

整体框架¶

MV-Forcing 的核心架构围绕“单体因果学生生成器 + 递归 4D 几何桥梁 + 时空自强制蒸馏”构建。给定文本提示词 $P$ 和 $N$ 个目标相机轨迹序列 $\text{cam}_0, \dots, \text{cam}_{N-1}$，系统按视角和时序块逐步展开生成。在生成第 $k$ 个视角时，已生成的历史视角先通过 3D VAE 解码为像素视频，送入递归动态 3D 重建模型 CUT3R 中更新累积几何隐状态 $\mathcal{S}$；随后以目标相机轨迹查询该状态，渲染出目标视角的几何先验图像与像素置信度图，通过 3D 卷积注入到当前视角的噪声潜变量中。生成器学生网络采用因果时序注意力维持时间连续性，并借助多视角同步（MVS）注意力接收前一视角的干净条件。整个模型通过分布匹配蒸馏（DMD）和双轴自强制展开进行监督，保证生成过程对自生成误差具备鲁棒性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 文本提示词 + 多视角相机轨迹序列"] --> B["视角序列化自回归与联合去噪<br/>前一视角干净条件 + 当前视角噪声输入"]
    B --> C["4D 接地的递归几何先验桥梁<br/>CUT3R 在线状态累积 + 射线图查询渲染"]
    C --> D["时空自强制蒸馏<br/>双轴展开生成 + 双向教师 DMD 评分"]
    D --> E["双轴自由遍历流式推理<br/>时序 KV Cache 推进与跨视角链式扩展"]

关键设计¶

1. 视角序列化自回归与联合去噪：打破双向注意力的规模限制 传统多视角模型必须将所有视角同时放入内存做全双向交互，计算开销随视角数剧增。MV-Forcing 提出视角维度的序列化自回归机制，按 $k = 0, 1, \dots, N-1$ 逐个视角推导。生成第 $k$ 个视角时，学生模型以纯高斯噪声初始化其潜变量 $z_k^{\tau_Q}$，在 $Q$ 步去噪调度下前向推导，而前一个完整视角 $z_{k-1}$ 保持干净状态作为条件输入。跨视角同步通过轻量 MVS 交叉注意力层实现，当前视角的空间 token 仅单向查询前一视角的对应 token，时间维度则采用块级因果注意力掩码强制因果依赖。为了使单体模型既能从纯文本无条件生成首个基准视角，又能执行跨视角条件补全，训练时引入了联合去噪机制：以概率 $p$ 随机将两个视角槽位均初始化为纯噪声，让模型学习纯文本驱动的第一视角生成；以概率 $1-p$ 将一个槽位设为干净历史条件，训练视角序列化外推能力，从而在单一网络结构中无缝统一了两种工作模式。

2. 4D 接地的递归几何先验桥梁：跨视角误差累积的几何锚定 如果纯粹依赖单向注意力将第 $k-1$ 视角的潜变量作为条件，随着视角链条延长，微小的像素误差会被层层放大，导致 3D 空间结构快速崩溃。为此，MV-Forcing 引入前馈动态 3D 重建模型 CUT3R 作为显式几何桥梁。CUT3R 维护着一个持久化的场景隐状态 $\mathcal{S}$，每当一个视角的视频块被解码为像素帧 $V_{k-1} = \mathcal{D}(z_{k-1})$ 时，便递归更新该状态： $$ \mathcal{S}' = \text{CUT3R_update}(\mathcal{S}, V_{k-1}) $$ 当准备合成第 $k$ 个视角时，无须重新渲染整场点云，而是直接根据第 $k$ 个视角的 6-DoF 相机外参和内参构造像素级光线图（raymap）$\mathcal{R}_k$，在不破坏状态的前提下向 $\mathcal{S}$ 发起查询，瞬时解码出目标视角的几何渲染图 $\hat{V}_k$ 以及对应的逐像素重建置信度图 $\hat{C}_k$。系统将 $\hat{V}_k$ 经由 VAE 编码后与置信度图在通道维度拼接，构造成几何特征张量 $g_k \in \mathbb{R}^{T \times D' \times H \times W}$，并通过一个零初始化的 3D 卷积层以残差形式直接叠加到当前视角的 patch token 上： $$ \tilde{x}_k = x_k + \text{Conv3d}(g_k) $$ 零初始化保证了训练初期先验不会干扰扩散模型的特征分布，而后随着蒸馏推进，模型自然学会了依赖几何先验矫正跨视角漂移。更关键的是，该状态累积跨越了所有已生成的历史视角与时间步，使得第 $k+1$ 视角的合成拥有此前全部视角的全局 4D 几何感知，从根本上锁死了空间一致性。

3. 时空自强制蒸馏：彻底消除时序与视角双重曝光偏差 虽然视角序列化自回归解决了显存与计算瓶颈，但推断时模型输入的是自身在上一轮生成的非完美输出，而常规训练却使用 Ground-Truth（GT）作为条件，这种曝光偏差会导致推理几步后迅速崩坏。MV-Forcing 创新地将 Self-Forcing 拓展为时空双轴自强制。在蒸馏训练阶段，不仅在时序维度将上一时间块的自生成潜变量循环作为下一步输入，更在视角维度进行自回归展开：从首视角真值 $z_0^{gt}$ 开始，驱动因果少步学生模型连续自回归生成第二视角 $\hat{z}_1$ 和第三视角 $\hat{z}_2$。随后，利用冻结的双向 SynCamMaster 教师模型充当数据分布得分函数 $s_{\text{data}}$，对学生连续生成的视角对 $(\hat{z}_{k-1}, \hat{z}_k)$ 计算分布匹配蒸馏损失（DMD）： $$ \nabla_\phi \mathcal{L}{\text{DMD}} \approx -\mathbb{E}\tau \left[ \left( s_{\text{data}}(\hat{z}\tau, \tau) - s}}(\hat{z\tau, \tau) \right) \frac{\partial \hat{z}\tau}{\partial \phi} \right] $$ 这一机制强制学生模型直接在自身有缺陷的生成样本分布上进行去噪与矫正，将训练态与推理态的输入分布严格对齐。同时，针对现实世界分布迁移问题，由于真实多视角长视频教师模型缺失，MV-Forcing 巧妙引入单视角到新视角的视频重渲染模型 ReCamMaster 充当真实域得分函数，并在有限迭代下对学生进行自适应微调，实现了向真实开放域视频的零样本泛化。

损失函数 / 训练策略¶

生成器训练采用阶段式蒸馏方案： 1. ODE 轨迹预对齐：首先在教师模型的少量常微分方程（ODE）求解轨迹对上进行监督微调，为因果少步生成奠定基础； 2. 时空双轴 DMD 蒸馏：冻结预训练 Self-Forcing 的时序网络参数，初始化 MVS 模块与 Conv3d 注入层，在 SynCamVideo 合成数据集上展开多视角序列化训练，联合优化时序因果蒸馏与跨视角配对损失； 3. 真实域迁移微调：在 Open-Sora 的 Mixkit 真实视频子集上，使用 ReCamMaster 充当真实域数据得分函数微调学生网络 $N_{ft}$ 步（此时由于依赖真实单路参考视频，$p=0$ 仅训练视角条件外推路径），首视角则无缝复用单视角 Self-Forcing 模型，形成端到端长时多视角真实场景生成管线。

实验关键数据¶

主实验¶

论文在两套 benchmark 上进行了严密评估：第一套为短序列场景（2 个视角、81 帧），与全连通双向注意力的强大教师模型 SynCamMaster 展开对比；第二套为长序列场景（3 个视角、162 帧），与组合基线 SF+ReCamMaster（分段独立渲染）以及 SF+ReCamMaster+SF（分段时序自回归延长）对比，覆盖真实世界视频（Real）与合成视频（Synth.）两种分布。

1. 短序列多视角生成对比（2 个视角，81 帧）

方法	FID ↓	FVD ↓	CLIP-T ↑	CLIP-F ↑	RotErr ↓	TransErr ↓	Mat. Pix.(K) ↑	FVD-V ↓	CLIP-V ↑
SynCamMaster（教师模型）	166.57	1451.44	30.02	99.32	3.83	8.83	236.72	1697.37	90.13
MV-Forcing (本文)	167.90	1468.84	29.67	99.21	3.64	8.26	251.13	1691.05	91.81

在短序列中，MV-Forcing 仅需极少的推理步数，在相机位姿精度（RotErr 降至 3.64、TransErr 降至 8.26）以及视角同步指标（匹配像素数从 236.72K 跃升至 251.13K，CLIP-V 提升至 91.81）上全面超越了双向全注意力教师模型，证明显式 4D 几何桥梁能够带来比隐式自注意力更精准的几何对齐。

2. 长序列多视角生成对比（3 个视角，162 帧）

设置	方法	FID ↓	FVD ↓	CLIP-T ↑	CLIP-F ↑	RotErr ↓	TransErr ↓	Mat. Pix.(K) ↑	FVD-V ↓	CLIP-V ↑
Real	SF+ReCamMaster	157.57	1397.42	32.27	98.22	4.74	10.12	146.81	1759.82	87.26
Real	SF+ReCamMaster+SF	156.78	1363.23	32.48	98.67	4.89	10.61	127.48	1771.34	86.61
Real	MV-Forcing (本文)	153.27	1309.68	32.74	99.03	3.88	8.78	239.37	1554.23	90.83
Synth.	SF(ft)+ReCamMaster	192.34	1576.83	29.07	98.03	4.32	10.27	143.77	1956.38	87.19
Synth.	SF(ft)+ReCamMaster+SF	191.26	1592.78	29.26	98.52	4.67	10.73	121.29	1987.43	86.27
Synth.	MV-Forcing (本文)	186.73	1560.54	29.54	99.17	3.72	8.41	243.63	1729.35	89.88

消融实验¶

在合成数据集上以 3 个视角、162 帧配置，系统性消融核心组件：包括去掉视角自强制展开（w/o View Unrolling）、完全移除 CUT3R 几何先验（w/o CUT3R）、关闭多视角状态累积（w/o Accumulation，仅看前一个视角几何）、以及使用传统 z-buffer 前向投影替代 CUT3R 隐状态查询（Manual Rendering）。

配置	FID ↓	FVD ↓	CLIP-T ↑	CLIP-F ↑	RotErr ↓	TransErr ↓	Mat. Pix.(K) ↑	FVD-V ↓	CLIP-V ↑	说明
Full Model (本文完整)	186.73	1560.54	29.54	99.17	3.72	8.41	243.63	1729.35	89.88	完整模型
w/o View Unrolling	212.89	1791.40	27.74	97.66	4.72	10.45	159.73	2318.94	86.41	去除视角自强制展开，暴露偏差导致大幅崩塌
w/o CUT3R	199.10	1613.21	28.87	98.21	4.56	9.83	173.75	2109.82	87.12	移除显式几何先验，几何同步指标大幅滑坡
w/o Accumulation	193.66	1576.84	29.26	98.78	3.97	9.04	229.63	1984.35	88.27	仅用前一视角几何，失去多视角全局累积能力
Manual Rendering	191.14	1571.44	29.11	99.10	3.93	8.93	232.71	1963.42	88.36	传统前向点云投影出现遮挡空洞与重影

关键发现¶

视角自强制展开是长视角链条稳定的头号功臣：去掉 View Unrolling 会导致 FID 从 186.73 暴跌至 212.89，FVD-V 从 1729.35 劣化至 2318.94。这证实了在多视角链式生成中，训练与推理之间的条件分布漂移是导致多视角视频崩坏的最致命因素。
显式几何锚定优于纯注意力：去掉 CUT3R 后跨视角匹配像素数从 243.63K 骤降至 173.75K，表明基于隐式跨视角注意力无法完全约束严密的 3D 刚性与非刚性几何关系，显式 4D 先验对于防止形变至关重要。
视角与时序极限制裁测试极其平稳：
视角扩展分析：在固定 81 帧下将视角数从 2 视角逐步拉升到 5 视角，匹配像素数仅从 251.13K 极其平缓地下滑至 250.95K，CLIP-V 仅从 91.81 微降至 91.73，验证了全局几何状态累积能有效抵御视角层层递进中的漂移。
时长极限制裁：在双视角下将生成长度从 81 帧一路翻倍至 648 帧（8 倍时长），跨视角几何对齐指标（RotErr 从 3.64 仅增至 3.67，TransErr 维持在 8.29 左右）几乎完全恒定，仅帧间一致性 CLIP-F 因单视角自回归的时序微小误差累积出现微弱下降（99.21 → 96.23）。

亮点与洞察¶

将 4D 重建隐模型作为生成式扩散的动态桥梁：以往工作通常将几何重建视为静态后处理，本文巧妙地将流式在线 3D 重建模型 CUT3R 作为扩散循环内部的持久状态机，以 raymap 查询机制解耦了视点轨迹与生成分辨率，不仅消除了点云空洞，还天然契合自回归生成。
自强制机制从时间一维成功升维至时空二维：揭示了多视角视频生成中同样存在严重的“视角曝光偏差”，通过在蒸馏训练阶段对视角维度进行生成展开，以双向教师对自生成视角对评分，彻底打通了长链条多视角推断的稳定性壁垒。
双轴自由遍历的工程优雅性：由于时间与空间均解耦为基于因果上下文和几何状态的单步推进，推理时可以按需灵活决定优先沿时间推进还是沿视角推进，彻底打破了传统固定 batch 渲染的刚性结构。

局限与展望¶

教师模型仅提供双视角监督的局限：由于基础教师模型 SynCamMaster 仅支持双视角联合去噪，DMD 蒸馏损失实际上仅监督了相邻视角对的相对一致性，尚未能直接提供三视角以上的闭环联合约束，在极端广角或环绕闭环场景下仍存在潜在闭合误差。
极端剧烈运动与复杂遮挡下的重建伪影：当前前馈重建网络 CUT3R 在面对超高速形变、镜面反射或大面积突发遮挡时，生成的置信度图与几何渲染会存在模糊，可能导致扩散模型在修复细节时发生高频纹理闪烁。
未来方向：探索三视角甚至多边闭环的蒸馏监督机制；将更新、更稳健的单视角长视频基座及动态 3D 表征（如 4D Gaussian Splatting）融入在线几何状态机中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次实现时空双轴自回归多视角视频生成，创新性地将在线 4D 重建隐模型作为自回归桥梁]
实验充分度: ⭐⭐⭐⭐⭐ [对比实验横跨合成与真实两大数据集，短序列、长序列、5视角外推、648帧时序外推及全面消融详实自洽]
写作质量: ⭐⭐⭐⭐⭐ [逻辑链路严密，理论推导、架构设计与图表呈现均非常清晰扎实]
价值: ⭐⭐⭐⭐⭐ [为虚拟现实、长视频 3D 一致性生成提供了全新的通用范式，突破了全注意力显存爆炸的技术瓶颈]