SierpinskiCam: Camera-Controlled Video Retaking with Sierpinski Triangle Pattern Cues¶

会议: NeurIPS 2026
arXiv: 2606.17310
论文: https://arxiv.org/abs/2606.17310
代码: https://hyelinnam.github.io/SierpinskiCam/
领域: 视频生成
关键词: 视频重新拍摄、相机轨迹控制、谢尔宾斯基三角模式、旋转位置编码、视频扩散模型

一句话总结¶

针对单目视频沿用户自定义相机轨迹重新拍摄（Video Retaking）时大视角外推导致几何引导失效的问题，SierpinskiCam 提出了利用具有多尺度可追踪特征的谢尔宾斯基分形天球顶纹理补充几何引导，并结合解耦空间位置的负旋转位置编码（NegRoPE）实现无须结构改动的参考源注入。

研究背景与动机¶

视频重新拍摄（Video Retaking）旨在从单目输入视频出发，在用户自定义的新相机轨迹下重新渲染场景，同时保持原视频的场景身份、物体外观与时序动态。随着 Sora、Wan、CogVideoX 等视频扩散模型（VDMs）的演进，生成模型具备了强大的外观先验与时序插值补全能力，但将其适配到视频重拍任务时面临两个核心瓶颈：其一是如何精准注入目标相机轨迹并与动态场景运动解耦；其二是如何在跨视角不对齐的情况下无损保留源视频外观。

针对相机控制，隐式方法（如 ReCamMaster、ReDirector）通常直接将 6-DoF 位姿或 Plücker 射线编码注入网络，强行依赖模型从数据中隐式解耦相机运动与物体运动，极易导致动态物体被“焊死”在画面中心或与相机轨迹混淆。显式方法（如 TrajectoryCrafter、ReAngle-A-Video）通过估计单目深度或点云将源帧前向重投影（Forward-warping）至目标视锥构建引导代理，大幅提升了观测区域的空间确定性；然而，一旦目标视角大幅偏离原始轨迹，几何重投影便会出现大面积空洞与极端稀疏点，常用的黑色背景无法为模型提供任何有效的相机运动矢量，导致视频模型发生虚幻漂移或完全脱靶。与此同时，现有注入源视频的技术方案要么依赖通道拼接与额外的参考注意力模块，要么依赖针对单视频的测试时微调，严重限制了框架的通用性与推理效率。

本文的核心洞察在于：目标视角的未知生成区域之所以失控，根本原因不是扩散模型缺乏补全能力，而是未观测区域缺乏刚性相机运动的显式参考系。核心 idea：构建包裹场景的谢尔宾斯基分形三角天球顶（Sierpinski textured dome），在显式几何无效的外推区域填充跨尺度均具丰富角点与边缘的动态纹理流；同时提出负旋转位置编码（NegRoPE），将源视频 token 与目标 token 直接串联，利用负空间索引消除虚假位置关联，实现零架构修改的高保真内容保全。

方法详解¶

整体框架¶

SierpinskiCam 的整体管线将单目输入视频转化为用户自定义相机轨迹下的连贯新视频，分为几何前向映射与分形天球顶拼接的条件控制生成阶段，以及目标流与源流双分支联合去噪阶段。对于目标视角，系统利用深度与点追踪得到显式 3D 几何代理重投影帧，并在无效区域合成伴随目标相机运动严格旋转的谢尔宾斯基分形纹理，与带噪目标隐变量通道拼接构成目标流（赋予正 RoPE 索引）；对于参考源视频，将带噪与干净隐变量拼接后赋予负空间 RoPE 索引构成源流。两路 token 序列直接沿序列长度维度拼接后送入标准 Video DiT 主干中进行联合自注意力计算与去噪生成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单目源视频 + 目标相机轨迹"] --> B["3D 几何代理估计与前向重投影"]
    B --> C["谢尔宾斯基分形天球顶纹理生成"]
    C --> D["负旋转位置编码源注入（NegRoPE）"]
    D --> E["双流拼接与 Video DiT 联合去噪"]
    E --> F["输出新视角重拍视频"]

关键设计¶

1. 谢尔宾斯基分形天球顶纹理生成：为未见区域提供尺度鲁棒的运动流参考系

显式几何投影方法在相机大范围偏转或后退时，有效像素掩码迅速退化，传统方法填充的全黑背景无法向扩散主干传递任何旋转平移的物理流场。SierpinskiCam 在代理场景外侧构建了一个半径为 \(R=\min(R_{\max}, d_{\max})\)（其中 \(R_{\max}=30\)，\(d_{\max}\) 为可信几何点云最大距离）的虚拟天球顶。针对目标相机视锥内的每个像素发出射线，与天球顶相交并转换为球面极坐标采样 2D 纹理。为了保证无论相机拉近还是推远都能提供恒定的角点与边缘密度，纹理采用递归深度为 3 的谢尔宾斯基分形三角形，在 \(16 \times 16\) 网格中按行列交替朝向与半格平移排列。最终的条件引导图像 \(I_{\mathrm{cond}}\) 将重投影源图像 \(I_{\mathrm{warp}}\) 与天球顶渲染图像 \(I_{\mathrm{dome}}\) 依前向投影有效性掩码 \(M \in \{0, 1\}^{H \times W}\) 进行互补融合：

\[I_{\mathrm{cond}} = M \odot I_{\mathrm{warp}} + (1 - M) \odot I_{\mathrm{dome}}\]

在自注意力与局部卷积提取条件特征时，即使 \(M=0\) 的外推区域，谢尔宾斯基分形的自相似结构也能产生极强的 SIFT/光流追踪内点，引导扩散模型推断出全局相机的刚性自运动，彻底避免了由于黑背景导致的虚构物体与轨迹丢失。

2. 负旋转位置编码源注入（NegRoPE）：零架构修改消除虚假位置耦合

为了在不改变基础模型架构（如 Wan2.1 DiT）且无需单视频耗时微调的前提下注入源视频外观与运动，模型将带噪源隐变量 \(s_t\) 与干净源隐变量 \(s\) 通道拼接后分块切片为源 token 序列 \(x^{\text{src}}_t = \operatorname{Patchify}([s_t, s]_{\text{channel}})\)，带噪目标隐变量 \(z_t\) 与对齐条件隐变量 \(c\) 拼接为目标 token 序列 \(x^{\text{tar}}_t = \operatorname{Patchify}([z_t, c]_{\text{channel}})\)，并在 token 维度直接合并为 \(x_t = [x^{\text{src}}_t, x^{\text{tar}}_t]_{\text{token}}\) 参与全局自注意力。然而，若直接对两组 token 赋予常规的绝对或相对位置编码，相同网格坐标 \((h, w)\) 处的源 token 与目标 token 会产生极高的注意力相似度，诱使模型错误地把源视频左上角物体强行复制到目标视角左上角（产生伪影与刚性位置粘连）。

SierpinskiCam 提出了极为简洁的 NegRoPE 策略：保持时间维度顺序索引不变，将目标 token 的空间高度和宽度 RoPE 索引设为正整数 \(n > 0\)，而源 token 的空间索引赋予镜像的负整数 \(-n\)。利用旋转位置编码的复数共轭特性：

\[\bar{q}_{-n,c} = q_{-n,c} \exp(-i \omega_c n) = q_{-n,c} (\exp(i \omega_c n))^*\]

\[\bar{k}_{-n,c} = k_{-n,c} \exp(-i \omega_c n) = k_{-n,c} (\exp(i \omega_c n))^*\]

这使得源 token 与目标 token 之间的相对距离 \((n - (-m)) = n + m\) 永远大于序列内部的正向相对距离，在数学上彻底隔离了两者的绝对网格位置绑定，迫使跨流注意力纯粹基于语义与内容相关性聚合外观特征，既消除了位置串扰，又完美保持了预训练 DiT 架构的纯净性。

损失函数 / 训练策略¶

基础扩散主干采用 Wan2.1 Fun-Control 14B（消融采用 1.3B），通过 LoRA 微调（rank 64，学习率 \(5 \times 10^{-5}\)，训练 100 epochs）。输入分辨率为 \(512 \times 320\)、49 帧。为了增强模型鲁棒性，以 10% 的概率随机对首帧条件信号执行 dropout。训练主要使用合成多视角数据集 MultiCamVideo（Unreal Engine 渲染，每场景 10 个同步相机，随机选一对作为源视角与真值目标视角），控制信号包含 DepthAnything-V3 生成的致密点云与 SpaTrackerV2 提取的稀疏 3D 点轨迹；并混入 RealEstate10K 静态真实场景数据以抑制合成伪影。优化目标遵循标准 Flow Matching / 扩散去噪目标函数，在多块 NVIDIA L40S GPU 上完成优化。

实验关键数据¶

主实验¶

在 DAVIS 数据集的 90 个动态视频与 14 种复杂相机轨迹（包含 10 个标准轨迹与 4 个大范围平移、拉远、旋转挑战轨迹，共 1,260 个测试用例）上，与隐式方法（ReCamMaster、ReDirector）及显式方法（TrajectoryCrafter）展开对比。评估指标包括生成视频视觉质量（VBench 一致性与美学）、几何一致性（Dyn-MEt3R、MEt3R）以及相机控制精度（旋转误差 RotErr、平移误差 TransErr、绝对轨迹误差 ATE）。

方法	背景一致性↑	动态几何 Dyn-MEt3R↑	跨视角 MEt3R↓	旋转误差 RotErr↓	平移误差 TransErr↓	绝对轨迹误差 ATE↓
ReCamMaster	0.9170	0.7003	0.4562	0.2106	1.2312	0.7221
TrajectoryCrafter	0.9069	0.7020	0.4421	0.2514	1.3091	0.7798
ReDirector	0.9115	0.7459	0.3937	0.2262	1.2537	0.7087
SierpinskiCam (本文)	0.9157	0.7477	0.4097	0.2058	1.3087	0.6921

注：Tab. 1 中 SierpinskiCam 在时序闪烁（Temporal Flickering: 0.9699 vs 次优 0.9636）、美学质量（0.4980 vs 0.4943）与动态几何一致性 Dyn-MEt3R 上全面领先，且在旋转误差与绝对轨迹误差 ATE 上取得最低误差。

消融实验¶

1. 相机引导信号与天球顶纹理设计消融（RealEstate10K 静态数据集）

控制方案 / 纹理类型	Hard 集 RotErr↓	Hard 集 TransErr↓	Moderate 集 RotErr↓	Moderate 集 TransErr↓	说明
Plücker 射线隐式引导	0.024	0.042	0.021	0.036	传统隐式射线基线
纯纹理引导 (Texture Only)	0.029	0.055	0.024	0.049	仅靠天球顶纹理运动
纯 3D 几何 (3D Only)	0.023	0.035	0.019	0.028	传统黑色背景显式投影
棋盘格纹理 + 3D (Checkerboard)	0.025	0.042	0.021	0.041	缺乏多尺度角点的规则纹理
Sierpinski 纹理 + 3D (本文)	0.022	0.034	0.018	0.027	分形几何与 3D 代理结合最优

2. 源视频注入策略消融（MultiCamVideo 测试集）

源注入配置方案	语义相似度 CLIP↑	结构特征 DINO↑	感知分布质量 FID↓	说明
(a) 帧级拼接 (Frame Concat)	0.816	0.612	164.87	沿时间轴拼接前后片段
(b) 共享正 RoPE (No RoPE mod.)	0.842	0.651	162.83	空间坐标完全重叠冲突
(c) 固定坐标偏移 (+4096 Offset RoPE)	0.827	0.659	164.16	人为添加偏移量导致外推失准
(d) 负旋转位置编码 (Negative RoPE)	0.858	0.692	161.20	镜像负索引消除碰撞，保真度全面第一

关键发现¶

分形多尺度特征对相机轨迹至关重要：在 SIFT/RANSAC 追踪实验中，Sierpinski 纹理在跨帧视角剧烈变化下提取并匹配的有效几何内点数远超棋盘格（Checkerboard）与圆形分形（Circle-fractal），为生成模型提供了极其坚固的运动流约束。
NegRoPE 避免了空间伪影与模型侵入：与修改网络引入 Cross-Attention 或固定位置偏移相比，NegRoPE 凭借负数复数共轭特性将源和目标的语义检索完全解绑于空间网格位置，CLIP 相似度从 0.816 大幅提升至 0.858，DINO 提升至 0.692。
即插即用泛化性：在 ReAngle-A-Video 显式重拍流水线中仅将黑色背景替换为 Sierpinski 天球顶，在不改变优化算法的前提下，ATE 误差由 2.1409 骤降至 1.6015，证明了该几何提示在不同架构间的即插即用价值。

亮点与洞察¶

将视觉特效追踪模式反哺生成模型：借鉴了视觉特效领域在摄影棚中布置谢尔宾斯基三角标记进行多尺度相机姿态解算的经典技巧，将其转化为扩散条件中的天球顶环境贴图，以极低生成成本化解了“未知区域相机无引导”的系统性难题。
NegRoPE 的极简数学之美：利用 RoPE 旋转角度符号相反等价于复数共轭的天然特性，仅凭索引负号便彻底阻断了空间坐标碰撞，无需增加任何新参数即可让任意标准 Transformer 具备无损参考引导能力。

局限与展望¶

受限于底层单目 4D 几何估计质量：前向重投影强烈依赖 DepthAnything-V3 与 SpaTrackerV2 的准确度；在复杂遮挡、极度非刚性形变或弱纹理物体上，不准确的初始点云仍会导致重拍帧出现形变伪影。
天球顶几何假设的边界：将未知背景统一投影在半径为 \(R\) 的球面上属于无穷远或远景近似，在具有复杂近景遮挡物（如穿过狭窄室内门廊）的相机大范围平移场景中，天球顶与前景物体的运动视差可能存在轻微物理矛盾。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用谢尔宾斯基分形模式与负 RoPE 编码，思路清奇且数学性质优雅。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 DAVIS、MultiCamVideo、RealEstate10K 多种数据集，配有详实的 SIFT 追踪分析、多基线对比与消融实验。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰，问题剖析一针见血，图表信息量极其丰富。
价值: ⭐⭐⭐⭐⭐ 为可控视频生成、虚拟重拍摄与视频镜头重定向提供了通用、无须修改网络架构的即插即用范式。