AnyView: Synthesizing Any Novel View in Dynamic Scenes¶

会议: ECCV2026
论文: ECCV 原文
领域: 视频生成
关键词: 动态新视角合成、视频扩散模型、Plücker 射线、多视角一致性、跨域泛化

一句话总结¶

AnyView 将单目视频及源/目标相机射线一起送入预训练视频扩散模型，通过跨域多视角数据学习隐式时空关系，无需深度重投影或测试时优化，在 AnyViewBench 极端视角零样本测试中取得 12.13 dB 平均 PSNR 和 1757 FVD，但不保证补出的遮挡内容真实。

研究背景与动机¶

动态新视角合成不是把一张图片旋转一下：相机改变位置时，人、车辆和机械臂也在运动，目标相机可能看到输入从未出现的区域。传统动态重建可以利用深度、点轨迹或运动基恢复场景；近期生成式方法则常先估深度、把点云投到目标相机，再让视频模型修补空洞。只要视角相近，大部分纹理能直接搬运，这条路线很有效；但相机跨到另一侧后，错误深度会影响投影，大面积未知区域也不再是小孔洞修复。

这正是作者质疑常见评测设置的原因。已有结果经常围绕小幅旋转和高度重叠的视野展开，优化像素指标未必意味着模型能处理极端相机位移。反过来，纯生成模型虽有丰富外观与运动先验，却不知道给定的两条相机轨迹怎样对应同一个动态事件。若只用少量合成多视角数据训练相机控制，这种隐式方法也容易把训练场景记熟，而无法迁移到真实驾驶、机器人操作和人类活动。

AnyView 选择不把几何误差固化成重投影图像，而把相机本身作为稠密条件，依靠同步多视角视频学习跨视角关系，并用 AnyViewBench 专门检验低重叠条件。它追求的是与观察一致、时序稳定的合理补全，不是从信息不足的单目视频唯一恢复真实世界。核心 idea：用统一的逐像素射线表达告诉视频基础模型“从哪里看”，再用跨域多视角监督教会它“同一事件换个视角应该怎样出现”，把极端动态视角合成作为条件视频生成来学习。

方法详解¶

整体框架¶

输入是一段单目 RGB 视频，以及逐帧给定的输入和目标相机位姿、内参；输出是在相同时间段内沿目标相机轨迹观察到的视频。源相机和目标相机都可以运动，不要求两段视频从同一位置开始；但两个视角在整个时间段内仍应存在一定内容重叠，重叠不必发生在同一时刻。

模型基于约 2B 参数的 Cosmos-Predict2-2B-Video2World。它先通过射线空间相机条件把相机信息变成可与视频对齐的潜变量，再进行双视角联合去噪；跨域均衡训练只在训练阶段提供学习信号，推理时不需要访问训练集、深度图或重建点云。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["源与目标相机<br/>逐帧位姿及内参"] --> B["射线空间相机条件"]
    B --> C["双视角联合去噪"]
    V["输入视频与<br/>带噪目标潜变量"] --> C
    D["跨域均衡训练"] -.->|仅训练：配对视频监督| C
    C --> O["解码目标视角视频"]

这里的“隐式表示”不是单独导出的 NeRF 或 4D 高斯场，而是扩散模型通过相机条件组织起来的生成能力。它直接输出视频，因此“可以生成合理新视角”与“已经恢复可验证的唯一场景几何”是两种不同结论。

关键设计¶

1. 射线空间相机条件：把相机参数变成与像素逐点对应的观察方向

直接给网络一组相机矩阵，模型还要自行学会矩阵、像素坐标和视野的关系。AnyView 改为给每个像素构造 Plücker 表示：射线方向与描述射线空间位置的矩向量合起来组成 6 通道图。按论文记号，方向为 \(r\)、相机中心为 \(o\)，矩向量为 \(m=r\times o\)。方向说明“朝哪里看”，矩向量补充“这条射线位于哪里”，因此表示同时包含内参与外参信息，而不是仅提供相机转角。

所有相机先统一到目标相机首帧的参考系，使目标轨迹从单位位姿开始，避免绝对坐标原点变化引入无关差异。射线图可以描述非针孔相机，因为网络接收的是每个像素对应的实际空间射线，而不是被某一种内参矩阵格式限制；这是表示层面的兼容性，不等于论文已经对所有非针孔镜头逐一验证。

2. 双视角联合去噪：同视角按通道融合，跨视角按序列交互

输入视频经视频 tokenizer 压缩，时间维下采样 4 倍，两个空间维各下采样 8 倍，RGB 潜变量通道数为 \(d=16\)。射线的方向和矩向量各自视为一个 3 通道视频，分别编码后再拼接，所以每个视角的相机潜变量有 \(2d\) 个通道。采用相同的时空压缩格点，RGB 与射线条件才能描述同一片时空区域。

在一个视角内部，RGB 潜变量与相机潜变量按通道拼接；两个视角之间则按序列拼接。这样 Transformer 接收 \(2thw\) 个 token，每个 token 有 \(3d\) 个通道，其中 \(t,h,w\) 是潜变量视频的时间与空间尺寸。源视角保留干净视频信息，目标视角的 RGB 潜变量带噪；两边都有相机条件，并用旋转位置编码与独立视角嵌入区分时间、空间和视角身份。

这种融合顺序有具体作用：同一像素区域的内容和观察射线紧密绑定，但不同相机的同位置 token 不会被误当成同一个像素叠加。模型可以跨整个序列寻找对应关系，例如用源视频较晚才显露的车辆约束目标视频较早的画面，而不是局限于当前帧的深度投影。这里描述的是架构允许的时空信息交互，不是显式匹配、光流或物体跟踪模块。

去噪网络在潜空间反复更新目标视频，最后由解码器还原 RGB 帧。整个过程没有逐场景微调，也没有把单目深度误差当成固定几何条件；代价是几何约束变成从数据学来的软约束，不能阻止所有看似合理的错误补全。

3. 跨域均衡训练：让相机控制摆脱少量合成场景的覆盖范围

架构简单并不意味着训练要求低。没有显式重投影提供像素对应后，模型必须从数据中同时学习外观、运动和跨视角关系。作者把 12 个数据集纳入统一训练管线，按 Robotics、Driving、3D 和 Other 四组加权采样，每组占 batch 的 25%；新增的 Kubric-5D 变体进一步增加了相机轨迹的多样性。互联网级单目外观和运动知识主要由 Cosmos 预训练提供，再通过多视角训练补足相机可控性。

不同领域的物理尺度不能直接混用：桌面机械臂的小位移和道路场景的大位移如果共用原始平移量，射线矩向量分布会严重不同。实现中按数据集选择平移归一化常数，将 Plücker 数值控制到 \([-1,1]\)，必要时裁剪。这个步骤是相机条件标准化，不是从输入视频估计尺度；它也说明部署新数据时仍需正确处理标定与尺度约定。

一个完整示例¶

以论文描述的驾驶场景为例，输入是前向相机视频，目标是同步的左前方视频。某辆车在目标视角中应较早出现，却要到输入后续帧才进入前向相机视野；仅对当前帧做深度重投影时，这辆车没有可搬运的像素。

AnyView 先把两条相机轨迹变成射线潜变量，将完整前向视频作为干净条件，再对左前方目标序列联合去噪。后续帧提供的车辆外观与运动线索可参与解释较早的目标帧，而完全没有被观察到的背景则依赖预训练先验补全。论文图 6 展示了类似现象，但这属于整段视频的重生成，不应误读成只看当前及过去帧的在线未来预测。

损失函数 / 训练策略¶

主文说明对目标潜变量使用 L2 监督，并在推理时迭代去噪，但没有在该段完整列出噪声参数化、损失权重或采样器细节。因此这里不把常见扩散损失自行补成作者的精确公式。源视频与相机信息是条件，配对目标视频是训练监督；语言条件被关闭。

训练共 40,000 步，使用 64 张 NVIDIA H200，global batch size 为 512。前 30,000 步把图像最长边设为 384，随后提高到 576；学习率从 \(5\times10^{-5}\) 按余弦计划下降到 \(1\times10^{-5}\)。这是在预训练 Cosmos 上继续训练，不是每个测试视频都要消耗同样的优化预算。

实验关键数据¶

主实验¶

AnyViewBench 包含 8 个分布内测试项和 5 个零样本测试项，覆盖驾驶、机器人和人类活动。分布内数据大约保留 10% 用于验证，官方测试子集每个数据集最多 64 段；DROID 保留指定站点，Ego-Exo4D 保留指定机构和活动用于零样本测试，因此“零样本”既包括新数据集，也包括站点或活动迁移。

PSNR 衡量像素误差，SSIM 衡量结构相似性，二者越高越好；LPIPS 使用 VGG 特征衡量感知距离，越低越好。FVD 比较生成与真实视频的特征分布，越低越好，但不能单独证明某个被遮挡物体被正确恢复。原文使用 TF-GAN/I3D 实现，每个数据集只有 20–64 个样本，作者特别提醒 FVD 数值较高与小样本有关。

下表摘自原文表 3 的平均行，各项均为同一划分内的跨数据集平均。分布内数据属于 AnyView 训练分布，对部分基线却可能是零样本；基线不完全支持所有相机轨迹，作者做了适配，并为需要深度的方法使用 DepthAnythingV2、按数据集调整最大深度。因此不是严格控制训练数据与相机接口的架构单变量实验。

AnyViewBench 划分	方法	PSNR ↑	SSIM ↑	LPIPS ↓	FVD ↓
分布内	GCD	13.95	0.400	0.623	4126
分布内	GEN3C	12.44	0.333	0.617	3100
分布内	AnyView	17.78	0.533	0.399	1239
零样本	TrajCrafter	11.10	0.279	0.628	3004
零样本	GEN3C	10.34	0.257	0.667	2090
零样本	AnyView	12.13	0.350	0.591	1757

极端视角下优势清晰，但窄视角并非全面领先。原文表 2 中，DyCheck iPhone 上 AnyView 为 13.47 dB PSNR，低于 TrajCrafter 的 14.24 和带测试时优化的 CogNVS 的 16.94；ParDom-4D gradual 上 AnyView 达 26.29，高于 GCD 的 24.75。表中 AnyView 新视频推理约 10 秒，CogNVS 约 1 小时且包含测试时优化；由于此表没有给出完整统一硬件条件，这不是可直接迁移的等硬件加速比。

消融实验¶

以下摘自原文表 5，三种配置采用相同底层架构。“仅 GCD 数据”只用 Kubric-4D 与 ParallelDomain-4D；“从零训练”移除 Cosmos 预训练权重。这里检验的是数据覆盖与预训练，不是射线表示或 token 拼接方式的独立消融。

AnyViewBench 划分	配置	PSNR ↑	SSIM ↑	LPIPS ↓
分布内	从零训练	16.01	0.456	0.500
分布内	仅 GCD 数据	14.54	0.384	0.593
分布内	完整模型	17.78	0.533	0.399
零样本	从零训练	11.37	0.267	0.641
零样本	仅 GCD 数据	11.00	0.286	0.682
零样本	完整模型	12.13	0.350	0.591

关键发现¶

零样本平均 PSNR 相对仅 GCD 数据提高 1.13 dB，相对从零训练提高 0.76 dB；在这些聚合指标上，多域数据和预训练均有贡献。
改善不是逐数据集成立：分布内 DROID 上从零训练为 15.36 dB，高于完整模型的 14.47；LBM 上分别为 19.07 和 17.94。原文“从零训练持续退化”的总结应按整体趋势理解，不能覆盖这些反例。
几何评测用 MapAnything 从生成与真实视频估计外参后比较。原文表 4 的分布内旋转误差为 0.654°，优于 CogNVS 的 2.490°；零样本分别为 1.781° 和 2.759°，支持更好的相机一致性，但仍是依赖外部估计器的间接证据。

亮点与洞察¶

同视角通道融合、跨视角序列融合明确区分了两种关系：像素与射线应绑定，不同相机之间则应学习对应。这比把所有条件无差别堆成额外图像更容易解释其几何含义。
论文把评测难点从“小位移下修补纹理”转到“大位移下补全动态事件”。AnyViewBench 的同步目标视频让这种更难的生成任务仍可定量检验，而不完全依赖主观演示。
图 8 中利用车灯反射补出未见车辆、在左转场景补出对向车辆的案例很有启发。但它们是定性个例，既可能体现有效线索利用，也可能只是合理先验，不能据此宣称已验证因果推理能力。

局限与展望¶

作者明确承认：需要已知输入相机位姿，没有硬几何保证，严重遮挡时会生成合理但错误的内容。“Any”并不意味着完全无重叠、未知标定或任意场景下都能恢复事实。
本笔记的评估：方法、预训练和数据规模共同变化，现有两项消融尚不足以隔离 Plücker 条件、视角嵌入和跨视角融合各自的收益；可以补充等数据预算下的条件编码比较。
本笔记的评估：每数据集仅 20–64 段的 FVD 缺乏大样本稳定性，且位姿指标依赖 MapAnything。更大的测试集、置信区间与针对动态物体的跨视角对应指标会使结论更扎实。
可探索保持隐式补全能力的软几何约束或不确定性输出，让模型标明哪些区域来自观察、哪些主要依赖先验；这属于后续研究建议，不是本文已经实现的能力。

评分¶

新颖性: 4/5。组合简洁，核心贡献在统一条件表示、跨域训练与更严格的任务设定，而非复杂新网络模块。
实验充分度: 4/5。覆盖分布内、零样本、几何和预训练/数据消融，但测试规模、接口差异与组件消融仍有限。
写作质量: 4/5。架构与评测目标清楚，少数概括性结论需结合表中反例阅读。
价值: 4/5。为极端动态视角合成提供可复用路线与评测，但不宜把感知合理性替代真实几何或安全保证。