H-Control: Training-Free Camera Control via Block-Conditional Gibbs Refinement¶

会议: NeurIPS 2026
arXiv: 2605.11871
领域: 视频生成
关键词: 训练无关相机控制, 流匹配模型, Doob h-变换, 块条件 Gibbs 采样, 局部马尔可夫性

一句话总结¶

针对预训练流匹配视频生成模型在相机控制中硬替换伪影重、软引导轨迹偏离的两难，本文提出一种训练无关的采样器 H-Control，在外部硬替换引导基础上引入未观测潜变量区域的同噪声级块条件伪 Gibbs 细化，并结合 3D 局部性与自适应冻结机制，在 RealEstate10K 与 DAVIS 上取得最优 FVD 与 SOTA 级控制性能。

研究背景与动机¶

视频生成中的高保真相机轨迹控制在影视视效、自动驾驶仿真、虚拟现实及具身智能场景中扮演着关键角色。传统方案主要依赖训练驱动路线，如 CameraCtrl、ReCamMaster 等，通过向模型注入相机参数或姿态特征微调整个生成底座或适配器，但这不仅需要昂贵的高质量带相机位姿视频配对数据，且泛化到新基座成本极高。相比之下，基于深度估计与 3D 点云重投影合成扭曲引导视频的训练无关（Training-free）方案直接在推理期注入几何线索，省去了重训开销。

从逆问题视角审视，训练无关相机控制本质上是带有不完整观测的后验采样任务。在这个过程中，后验似然项负责将样本拉向几何观测，而预训练先验负责维系视频的真实度与连贯性。现存的训练无关方案陷入了鲜明的两难权衡：以 TTM、WorldForge、RePaint 为代表的硬替换（Hard latent replacement）方案在每步去噪中强制用扭曲引导覆盖掩码区域，虽然轨迹吻合度高，但由于单目深度误差、投影遮挡及下采样不匹配，会在掩码边界滋生严重拼缝伪影与不稳定幻觉；而软后验引导（如 DPS 变体）或粗粒度加权虽然缓解了视觉破损，却会导致相机轨迹大幅松弛、无法精确贴合目标运动。调控引导强度的标量启发式超参在复杂视频场景下极其脆弱。

本文跳出反复微调引导强度的旧思路，从采样器算法结构上寻求突破。既然外部硬替换能紧锁观测区域的轨迹，那么核心瓶颈就在于未观测补集与先验分布的脱节。核心 idea：在外部硬引导去噪步中嵌套同噪声级的块条件伪 Gibbs 细化内循环，将 Bengio 等人的去噪自编码马尔可夫链推广至部分观测条件分布，并利用视频潜变量的高阶局部性将未观测区域划分为 3D 块配合自适应 Welford 冻结门控，实现严谨收敛且高效的局部先验修复。

方法详解¶

整体框架¶

H-Control 将训练无关相机控制形式化为高斯部分观测模型下的 Doob \(h\)-变换后验采样。给定源视频与目标轨迹，首先利用单目深度估计与 3D 点云重投影生成几何扭曲引导视频 \(\tilde{x}_0\) 及其潜空间二值有效掩码 \(M\)。在流匹配模型的离散反向时间步中，算法在外部采样步中采用硬替换获得观测步初始潜变量估计 \(\hat{z}_0^{\text{obs}}\)，随后在预定的相机控制时间窗口 \([t_s, t_e)\) 内，保持观测区域处于当前噪声级的外生固定加噪状态，针对未观测子状态 \(1-M\) 开启同噪声级的内部块条件伪 Gibbs 细化链。

细化迭代过程中，算法依托潜空间空间-时间轴向的二阶马尔可夫局部独立性，将未观测区域划分成多个局部 3D 空间-时间块。每个块维护独立的 \(\Delta\)-Welford 在线方差指标以监测局部收敛，对收敛块执行动态冻结，最终在内循环结束时通过 Polyak 遍历平均输出无缝融合的最终去噪估计 \(\hat{z}_0^{\text{final}}\)，用于驱动流匹配欧拉反向积分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：源帧/视频 + 目标相机轨迹"] --> B["几何提升与重投影<br/>生成扭曲潜变量 z~0 与有效掩码 M"]
    B --> C["外部流匹配去噪步：硬替换初始估计"]
    C --> D["外部外生加噪锚定<br/>将观测区域 M 固定在当前噪声分布"]
    D --> E["内部块条件伪 Gibbs 细化<br/>在未观测区域 1-M 迭代加噪与重去噪"]
    E --> F["自适应 Delta-Welford 块冻结门控<br/>局部收敛块自适应锁存，缩短内循环"]
    F --> G["Polyak 遍历平均读出<br/>压低蒙特卡洛方差，线性融合输出"]
    G --> H["流匹配欧拉反向积分步进更新<br/>输出保真度高、对齐轨迹的新视角视频"]

关键设计¶

1. 条件伪 Gibbs 细化链与部分观测遍历收敛性：消除外部硬替换边界伪影

针对硬掩码替换在未观测边界产生的撕裂与结构失真，H-Control 并没有放弃外层对轨迹的强硬约束，而是在固定的流匹配噪声级 \(\sigma_t\) 下构建内循环马尔可夫细化链。传统广义去噪自编码器（DAE）通过交替加噪扰动与去噪重构学习无条件数据先验分布 \(p(z_0)\)。本文将其拓展至部分观测条件概率分布：在内循环第 \(j\) 轮扰动时，观测区域 \(M\) 并不沿用外层可能漂移的中间状态，而是严格固定在一个独立采样的水平-\(\sigma_t\) 噪声锚点 \(\bar{z}_t = (1-\sigma_t)\tilde{z}_0 + \sigma_t\xi_{\text{obs}}\)（其中 \(\xi_{\text{obs}} \sim \mathcal{N}(0, I)\)）；未观测区域 \(1-M\) 则将上一轮的去噪输出重新注入同级高斯白噪声：

\[z_t^{(j)} = (1-M) \odot \bigl((1-\sigma_t)\hat{z}_0^{(j-1)} + \sigma_t\xi^{(j)}\bigr) + M \odot \bar{z}_t\]

\[\hat{z}_0^{(j)} = z_t^{(j)} - \sigma_t u_\theta(z_t^{(j)}, t, c)\]

论文在理论上给出了命题 1（Proposition 1）：在去噪得分匹配一致性（A1）与扰动核有界完全支撑（A2）的假设下，该链在未观测子状态空间上构成了各态历经（Ergodic）马尔可夫链，其预测序列 \(\hat{z}_0^{(j)}|_{1-M}\) 在 \(j \to \infty\) 时严格依分布收敛于部分观测条件后验分布 \(p(z_0|_{1-M} \mid \bar{z}_t|_M)\)。这在数学上为训练无关采样器提供了一个不依赖经验引导强度超参、具有严谨平稳分布保障的局部先验修复机制。

2. 潜变量短程局部性检验与 3D 块条件 Gibbs 架构：化解高维视频细化算力瓶颈

Wan 2.2 等先进视频流匹配模型采用因果三维 VAE，潜变量空间具有 48 个通道以及高达 \(10^5\) 维度的离散格点，全状态 DAE 链在高维空间下的自相关时间极长、采样方差剧增。为了让细化链在有限计算预算内落地，本文首次对视频扩散模型潜变量的条件独立性进行了严格的实证检验。通过沿着时间（\(L\)）、高度（\(H\)）、宽度（\(W\)）三轴构造轴向切片矩阵并拟合块精度矩阵 \(\hat{\Omega} = \hat{\Sigma}_\lambda^{-1}\)，计算块偏相关矩阵 \(\hat{R}_{\beta\gamma} = -\hat{\Omega}_{\beta\beta}^{-1/2}\hat{\Omega}_{\beta\gamma}\hat{\Omega}_{\gamma\gamma}^{-1/2}\) 的最大奇异值（主典型偏相关系数 \(\rho_1\)）。

检验结果证实，在去除中间坐标影响后，偏相关系数在距离 \(|\beta - \gamma| \le 2\) 外迅速衰减至有限样本噪声底线（\(\le 0.1\)），表明潜变量具备显著的近似 2 阶马尔可夫短程局部性，且该性质在 \(\sigma_t \in \{0.1, 0.3, 0.5, 0.7, 0.9\}\) 的整个加噪时间轨迹上恒定成立。基于此，H-Control 将未观测掩码划分为尺度大于相关半径的 3D 局部块 \(\{\mathcal{P}_g\}_{g=1}^G\)，将全维度联合细化解耦为仅依赖局部邻域薄光环（Halo）的块条件 Gibbs 更新，大幅降低了状态自相关性并加速混合。

3. 自适应 \(\Delta\)-Welford 块冻结门控与 Polyak 遍历平均读出：动态锁存稳定块与压低方差

为了避免在已收敛区域过度计算并防止敏感区域发生无谓的后验漂移，H-Control 设计了基于 Welford 在线方差算法的无监督收敛判别准则。算法为每个局部块 \(\mathcal{P}_g\) 实时追踪其在未观测支撑集上的去噪标准差 \(\sigma_W^{(j)}(g)\)，并定义一阶差分指标 \(\Delta_W^{(j)}(g) = \sigma_W^{(j)}(g) - \sigma_W^{(j-1)}(g)\)。当该指标连续两轮的绝对值均回落至其历史峰值的一定比例 \(\kappa\) 之下时，该块被判定达到平稳状态并触发冻结门控 \(S_g^{(j)}\)：

\[S_g^{(j)} = \mathbf{1}\bigl[|\Delta_W^{(j)}(g)| < \kappa \Delta_W^{\max}(g)\bigr] \wedge \mathbf{1}\bigl[|\Delta_W^{(j-1)}(g)| < \kappa \Delta_W^{\max}(g)\bigr]\]

冻结的块直接继承上一轮的干净预测 \(\hat{z}_0^{(j-1)}|_{\mathcal{P}_g}\)，不再接受后续扰动；当全局稳定块比例 \(\sum_g S_g^{(j)} / G\) 超过预设阈值 \(\nu\) 时，内循环直接提前早退。最终，内循环摒弃最后一步的有偏单次采样，采用 Polyak-Juditsky 遍历平均 \(\bar{z}_0 = \frac{1}{J_{\max}}\sum_{j=1}^{J_{\max}}\hat{z}_0^{(j)}\) 读出。由于流匹配欧拉积分关于 \(\hat{z}_0^{\text{final}}\) 严格线性，Polyak 平均能以 \(\mathcal{O}(\sqrt{\tau_{\text{int}}/J_{\max}})\) 的速率压低蒙特卡洛方差，将高品质的条件均值无缝注入下一步积分。

损失函数 / 训练策略¶

H-Control 属于严格的推理期纯采样算法（Training-Free），无需对视频扩散主干进行任何参数更新或微调。实验统一采用公开发布的 Wan 2.2（Text-Image-to-Video 5B）流匹配模型。整体离散采样步数设为 \(K = 50\) 步，外层相机控制窗口设定为高噪声区间 \(t_s = 2\) 至 \(t_e = 5\)（此区间几何约束信息量最充沛且先验流动性最强）；窗口内每步内循环最大预算设为 \(J_{\max} = 10\)，分类器自由引导（CFG）缩放系数取 4.0。

实验关键数据¶

主实验¶

实验在静态场景基准 RealEstate10K（随机抽样 200 个测试场景）与动态场景基准 DAVIS（28 个动态场景衍生出的 84 条可控位姿视频）上开展，全面对比了四种训练无关代表方法（WorldForge、TTM、Coarse-Guided、RePaint）以及三种专用微调的训练驱动方法（TrajectoryAttention、TrajectoryCrafter、ReCamMaster）。使用 Mega-SAM 重建位姿评估绝对轨迹误差（ATE）、相对旋转误差（RRE）、相对平移误差（RTE），结合 FVD、LPIPS、SSIM、CLIP 分数全面衡量画质与控制精度。

数据集	方法类型	方法	FVD ↓	ATE (cm) ↓	RRE (deg) ↓	RTE (cm) ↓	LPIPS ↓	SSIM ↑	CLIP-f ↑	CLIP-v ↑
RealEstate10K	训练驱动	TrajectoryAttention†	616.81	18.0606	0.8492	3.2817	0.45±0.20	0.64±0.16	97.10	87.23
RealEstate10K	训练驱动	TrajectoryCrafter†	253.27	4.1568	0.4235	0.9794	0.43±0.17	0.63±0.16	97.71	91.50
RealEstate10K	训练驱动	ReCamMaster†	299.33	5.1924	0.4627	1.6436	0.59±0.15	0.53±0.15	98.21	89.34
RealEstate10K	训练无关	WorldForge	158.47	5.8838	0.4373	1.4176	0.42±0.20	0.56±0.17	97.87	92.54
RealEstate10K	训练无关	TTM	192.88	3.8700	0.4751	1.1745	0.48±0.19	0.52±0.17	98.16	93.39
RealEstate10K	训练无关	Coarse-Guided	157.08	3.5719	0.4403	0.9535	0.42±0.20	0.62±0.18	97.84	91.60
RealEstate10K	训练无关	RePaint	265.00	10.3861	0.7438	2.8434	0.52±0.21	0.54±0.17	97.66	90.13
RealEstate10K	训练无关	H-Control (本文)	129.25	3.4920	0.4321	0.9483	0.41±0.18	0.62±0.17	98.52	93.80
DAVIS	训练驱动	TrajectoryAttention†	837.37	18.3749	3.6871	7.2034	—	—	93.88	74.23
DAVIS	训练驱动	TrajectoryCrafter†	576.30	7.3827	2.1045	4.7158	—	—	95.86	83.21
DAVIS	训练驱动	ReCamMaster†	670.42	4.9770	0.6352	1.7271	—	—	95.39	85.06
DAVIS	训练无关	WorldForge	383.53	8.2694	1.9323	5.1275	—	—	97.05	89.25
DAVIS	训练无关	TTM	398.12	7.8849	1.9111	4.3735	—	—	97.35	89.85
DAVIS	训练无关	Coarse-Guided	402.14	9.0672	2.1216	4.3978	—	—	96.40	87.35
DAVIS	训练无关	RePaint	690.83	9.9780	2.2468	5.1842	—	—	95.33	74.76
DAVIS	训练无关	H-Control (本文)	356.73	6.8832	1.8907	4.2285	—	—	97.45	90.34

消融实验¶

在动态基准 DAVIS 上对三大算法组件（伪 Gibbs 细化、Polyak 平均读出、\(\Delta\)-Welford 块冻结门控）进行逐步消融验证，基准为仅使用外层 \(h\)-变换硬替换指导：

配置	伪 Gibbs 细化	Polyak 读出	块冻结门控	FVD ↓	ATE (cm) ↓	RRE (deg) ↓	RTE (cm) ↓	CLIP-f ↑	CLIP-v ↑	说明
纯外层硬引导	✗	✗	✗	392.13	7.9558	2.0128	4.4130	96.63	88.93	缺乏局部细化，边界拼缝拉高 FVD
+ 基础伪 Gibbs	✓	✗	✗	382.26	7.6343	1.9554	4.3351	96.98	89.71	全局未观测区域重去噪带来全面增益
+ Polyak 读出	✓	✓	✗	375.67	7.6051	2.0758	4.5340	96.91	89.49	压低分布方差使 FVD 改善，但平滑削弱了旋转精度
+ 块冻结门控	✓	✗	✓	382.26	7.8734	1.8775	4.5266	96.96	89.62	及时固锁稳定块，避免旋转敏感区过冲漂移
完整模型 (Full)	✓	✓	✓	356.73	6.8832	1.8907	4.2285	97.45	90.34	协同效应明显，取得五项指标最优与极佳画质平衡

关键发现¶

画质全面超越：在静态 RealEstate10K 上，H-Control 的 FVD 达到 129.25，相较最强的硬替换基线 Coarse-Guided（157.08）下降了 17.7%，比训练驱动的 TrajectoryCrafter（253.27）低将近一倍，且在无任何微调的前提下斩获了最佳的 LPIPS（0.41）与最高的 CLIP 一致性得分。
动态场景下的解耦优势：在 DAVIS 动态视频测试中，专用微调的 ReCamMaster 凭借直接以位姿为输入的网络结构获得了最低的位姿误差，但其视觉退化严重（FVD 达 670.42，比 H-Control 差近 1.9 倍）；H-Control 在保持训练无关算法最佳 FVD（356.73）的同时获得了位姿误差第二名，达成了最优的视觉与控制帕累托前沿。
模块间的完美互补：消融表明，Polyak 读出有效减少了随机方差但略微牺牲了旋转敏锐度，而基于局部马尔可夫性的 \(\Delta\)-Welford 块冻结门控能优先固定旋转敏感结构；两者结合不仅使 FVD 产生非线性的跃升（从 375 降至 356），更将轨迹绝对误差 ATE 显著压低至 6.88 cm。
推理速度极具竞争力：在单卡 A40、全尺寸 \(720 \times 1280\) 原生分辨率下，H-Control 推理速度达到 7.13 帧/分，仅次于没有任何内循环的原始硬替换 TTM（12.99 帧/分），不仅快于其他训练无关基准（WorldForge 3.92、RePaint 6.23），甚至远快于低分辨率运行的训练基准（如 TrajectoryCrafter 在 \(384 \times 672\) 下仅 4.42 帧/分）。

亮点与洞察¶

将采样器调参升维为结构性各态历经马尔可夫链：传统方案苦于在似然项权重和去噪步幅之间做经验调参，本文通过外生固定观测加噪锚点与内循环伪 Gibbs 细化，从数学上保证了未观测补集向条件数据定律收敛，从根本上消除了掩码接缝处的伪影。
视频潜空间的 2 阶马尔可夫性实证：首次借助高维精度矩阵与规范偏相关系数严格证明了视频扩散潜变量在空间-时间轴向的超短程依赖半径（\(\le 2\)），为 3D 块 Gibbs 采样与局部早退冻结提供了坚实的物理与统计学依据。
免反向传播的 Jacobian-Free 逆问题范式：在 5B 级现代 DiT 视频大模型上，反向传播计算雅可比矩阵代价极为高昂。H-Control 仅使用纯前向计算，利用空间非均匀掩码与 Polyak 遍历平均实现方差缩减，展现了极具实用性的测试期计算扩展潜力。

局限与展望¶

上游几何扭曲质量依赖：作为基于重投影的训练无关方法，后验似然完全依赖于单目深度估计与点云投影的质量。若深度预测产生系统性错误，生成的视频虽然画面连贯自然，但相机轨迹将顺应错误的几何观测而无法自我纠偏。
计算加速空间仍待挖掘：虽然局部块实现了早退冻结，但当前通用 DiT 架构采用全注意力机制，每个内循环前向仍需对全体 token 执行全量计算。未来结合稀疏注意力（Sparse Attention）或对冻结块执行 KV-Cache 复用，有望将推理耗时进一步腰斩。
更广阔的逆问题扩展：该块条件 Gibbs 细化架构具备高度通用性，未来可无缝拓展至视频修复（Inpainting）、可控长视频插帧以及基于任意几何掩码的新视角动态合成任务。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙将生成式 DAE 理论推广至部分观测流匹配，并以实证马尔可夫局部性指导块采样。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖静态与动态两大基准，全面评测 7 款 SOTA 模型，辅以 2D Toy 与深入的局部性统计验证。
写作质量: ⭐⭐⭐⭐⭐ 理论推导严密自洽，图表设计极其精美，逻辑链条层层递进。
价值: ⭐⭐⭐⭐⭐ 为大模型时代高分辨率视频的训练无关逆问题后验采样指明了兼顾理论与工程可行的范式。