Feedforward Novel View Synthesis for Heterogeneous Cameras¶

会议: NeurIPS 2026
arXiv: 2610.03522
OpenReview: https://openreview.net/forum?id=rQBdZ03odN
领域: 重建与渲染
关键词: 新视角合成, 异构相机系统, 局部光线图, 投影感知RoPE, 前馈神经渲染

一句话总结¶

针对多传感器系统中透视、鱼眼与全景等多相机投影共存的难题，本文提出局部光线图与投影感知2D RoPE，将异构相机建模为共享光线空间的统一几何采样，实现了无需类别先验的前馈异构新视角合成及零样本全景生成。

研究背景与动机¶

基于稀疏视角输入的前馈新视角合成（Feed-Forward Novel View Synthesis）在机器人具身感知、世界模型和三维重建中具有核心价值。近期以 LVSM 为代表的模型通过单次前向传播实现了高质量新视角渲染，但现有方法近乎无例外地建立在“同构相机假说”之上：训练与测试时输入输出视角必须严格属于同一种投影模型（例如全部为针孔透视相机或全部为全景相机），并依赖针对单一相机定制的专用网络架构。一旦应用于实际具身或多传感器平台，透视、鱼眼与 360° 全景镜头往往混合部署，且下游渲染目标可能采用训练阶段完全未出现过的全新相机几何。

这种同构假设在面对异构多相机系统时暴露了深层表征冲突：在基于 Vision Transformer 的前馈架构中，图像被切片打平为序列 Token，而现有相机编码（如绝对 Plücker 光线图、CamRay 或是相机中心相对位置编码 UCPE）仅仅在像素或 Token 中心点提供光线方向。由于投影模型的非线性畸变与视场差异，两个中心光线相同的视觉 Token，其 Patch 内部所聚合的实际光线束（Ray Bundle）分布可能完全不同——有的对应狭窄透视锥，有的对应严重拉伸的鱼眼边缘，有的对应高纬度全景展开面。同时，标准 2D RoPE 依赖图像离散网格索引计算相对位移，使得网格步进在不同投影下代表迥异的立体角跨度，彻底破坏了跨视角注意力中相对位置的几何不变性，导致注意力出现向固定无意义 Token 汇聚的 Attention Sink 现象。

面对连续变化的镜头畸变与异构传感器组合，依靠穷举多相机数据拟合不仅极其昂贵且无法外推。本文的核心切入点在于：全局全图投影固然千差万别，但局部 Patch 尺度的光线构型在不同镜头之间却具有高度可复用性。核心 idea：通过构建局部光线图将 Patch 内光线束规范化至局部中心坐标系，并引入基于真实光线经纬角坐标的投影感知 2D RoPE，将异构相机视为共享连续光线空间的标定采样，使单一前馈 Transformer 具备零样本泛化至未知相机几何的能力。

方法详解¶

整体框架¶

本文基于轻量级 Decoder-only Transformer 骨干（遵循 LVSM 架构，约 24.5M 参数量），构建支持任意中心相机（Central Cameras）输入与渲染的统一新视角合成管线。输入包含 $N$ 个上下文视角及其标定参数 $\mathcal{C} = \{(I_i, \Pi_i, \mathbf{T}_i^{\mathrm{cw}})\}_{i=1}^N$，以及目标相机参数 $(\Pi_t, \mathbf{T}_t^{\mathrm{cw}})$，其中每个相机的投影模型 $\Pi: \Omega \rightarrow \mathbb{S}^2$ 将图像像素坐标 $\mathbf{u}$ 映射为局部相机坐标系下的单位光线方向向量。

在特征提取阶段，上下文图像与对应的几何表征被切块转化为 Token。为消除 Patch 化丢失的光线分布信息，模型为每个 Patch 构建规范化的局部光线图（Local Raymap），与 RGB 特征联合投影为输入 Token；目标视角则仅将目标局部光线图转化为查询 Token。随后，所有上下文与目标 Token 拼接后送入多层自注意力 Transformer 中。在计算自注意力阶段，模型结合基于 Token 中心光线的相对相机位置编码（UCPE）调节跨视角几何注意力，并采用投影感知 2D RoPE 替代常规图像坐标 RoPE，使得查询与键之间的相位调制直接取决于球坐标系下的绝对经纬角度差。最终，目标视角位置输出的 Token 经由轻量解码器直接预测目标视角 RGB 图像 $\tilde{I}_t$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["异构输入视角与目标相机<br/>透视 / 鱼眼 / 全景"] --> B["局部光线图构建<br/>Patch中心对齐与SO(3)规范化"]
    B --> C["投影感知二维RoPE<br/>球面经纬度角坐标映射"]
    C --> D["自注意力Transformer处理<br/>中心光线UCPE与投影感知RoPE协同"]
    D --> E["目标视角解码输出<br/>高质量前馈新视角合成"]

关键设计¶

1. 局部光线图构建：消除 Patch 内部光线分布歧义

在 Patch 化操作中，每个视觉 Token $\mathbf{z}_{i,p}$ 覆盖像素区域 $\Omega_p$，其总结的是整个光线束 $\mathcal{B}_{i,p} = \{\Pi_i(\mathbf{u}) \mid \mathbf{u} \in \Omega_p\}$ 的视觉外观。以往方法仅提供 Token 中心光线 $\bar{\mathbf{r}}_{i,p} = \Pi_i(\bar{\mathbf{u}}_p)$ 或全局绝对 Plücker 光线，无法体现 Patch 内部光线的离散膨胀与变形，导致不同相机投影下“相同中心光线却对应不同立体角覆盖”的表征歧义，甚至诱发注意力机制退化为聚焦在固定锚点 Token 的 Attention Sink。

为解决这一表征瓶颈，本文提出局部光线图 $R_i^{\mathrm{local}}$。针对每个 Patch $p$，首先计算其中心像素对应的单位光线向量 $\bar{\mathbf{r}}_{i,p}$，并显式构造一个三维旋转矩阵 $\mathbf{Q}_{i,p} \in \mathrm{SO}(3)$，将中心光线旋转对齐至正向参考方向 $\mathbf{e}_z = (0, 0, 1)^\top$，并通过相机的全局 Up 向量固定 Roll 旋转自由度。随后，利用该变换矩阵将 Patch 内每个像素所对应的局部光线逐一旋转规范化： $$R_{i,p}^{\mathrm{local}}(\mathbf{u}) = \mathbf{Q}_{i,p} \Pi_i(\mathbf{u}), \quad \forall \mathbf{u} \in \Omega_p$$ 通过这种以中心光线为轴的规范化处理，所有相机的局部光线模式被映射至统一尺度，将难以泛化的全局相机几何解耦为可跨相机复用的局部光线几何单元，使未见过的极端畸变或全景镜头在 Patch 级别也能被模型识别并无缝推理。

2. 投影感知二维 RoPE：统一球面经纬角度相对位置编码

Transformer 中的二维旋转位置编码（2D RoPE）通常直接施加在离散图像网格索引 $\mathbf{u}_p = (u_p, v_p)^\top$ 上，隐含假设网格步长等价于固定的物理几何位移。但在异构相机系统中，鱼眼镜头的边缘压缩效应和全景等距圆柱投影（Equirectangular）的高纬度非线性畸变，使得相同的离散网格差值 $(u_k - u_q, v_k - v_q)$ 对应完全不同且非均匀的空间立体角位移，致使相对注意力机制学到混乱的位置偏置。

本文提出了基于球面经纬角度的投影感知 2D RoPE。利用每个 Token $i$ 在局部相机坐标系下的单位光线向量 $\mathbf{d}_i^{c_i} = (d_{i,x}^{c_i}, d_{i,y}^{c_i}, d_{i,z}^{c_i})$，显式将其映射到连续的经度角 $\lambda_i^{c_i}$ 与纬度角 $\varphi_i^{c_i}$： $$\lambda_i^{c_i} = \operatorname{atan2}(d_{i,x}^{c_i}, d_{i,z}^{c_i}), \qquad \varphi_i^{c_i} = \arcsin(d_{i,y}^{c_i})$$ 进而将角坐标向量 $\bm{\eta}_i^{c_i} = (\lambda_i^{c_i}, \varphi_i^{c_i})^\top \in \mathbb{R}^2$ 输入 2D RoPE 模块对查询与键特征进行频域旋转： $$\tilde{\mathbf{q}}_q = \mathbf{D}_{\mathrm{RoPE}}(\bm{\eta}_q^{c_q}) \mathbf{q}_q, \qquad \tilde{\mathbf{k}}_k = \mathbf{D}_{\mathrm{RoPE}}(\bm{\eta}_k^{c_k}) \mathbf{k}_k$$ 这一改进使 Token 间相对注意力的相位偏置直接由其在视球上的真实物理角位移决定，彻底摆脱了离散像素排列对投影形式的绑定，在透视、鱼眼与全景投影间建立了严格几何对齐的相对位置先验。

损失函数 / 训练策略¶

模型采用纯端到端前馈监督训练，损失函数为合成新视角图像 $\tilde{I}_t$ 与真实图像 $I_t$ 之间的逐像素 $\mathcal{L}_1$ 重建损失与 LPIPS 感知损失加权组合。训练在 ScanNet++ v2 上进行，采用 2 个上下文视角合成 1 个目标视角的配对机制，混合未失真透视（Undistorted DSLR）与鱼眼（Fisheye DSLR）图像进行多相机训练；在全景视角评测中，全景图像在训练阶段被完全隔离，以此严格检验模型对于极端宽视场相机的零样本外推性能。模型在两张 NVIDIA A100 GPU 上使用 batch size 8 进行 80k 步迭代，采用 Cosine 学习率退火策略与 2.5k 步预热。

实验关键数据¶

主实验¶

在 ScanNet++ v2 数据集上，对透视未失真视角（Undistorted）、鱼眼相机（Fisheye）以及上下文与目标随机混杂的异构跨相机场景（Mixed）进行全面测评。输入分辨率为透视镜头 $224 \times 336$、全景镜头 $256 \times 512$。

方法	相对相机位置编码	光线图表征	2D RoPE 机制	Undistorted (PSNR↑ / SSIM↑ / LPIPS↓)	Fisheye (PSNR↑ / SSIM↑ / LPIPS↓)	Mixed (PSNR↑ / SSIM↑ / LPIPS↓)
LVSM	-	Plücker	原始图像网格	24.716 / 0.781 / 0.174	24.290 / 0.763 / 0.175	24.104 / 0.766 / 0.183
PRoPE	PRoPE	CamRay	原始图像网格	23.510 / 0.760 / 0.173	22.780 / 0.733 / 0.181	21.614 / 0.712 / 0.207
UCPE-N	Rel. Ray	无	原始图像网格	26.175 / 0.812 / 0.133	25.699 / 0.799 / 0.131	25.149 / 0.795 / 0.142
UCPE-P	Rel. Ray	Plücker	原始图像网格	26.083 / 0.811 / 0.136	25.568 / 0.797 / 0.135	25.204 / 0.796 / 0.144
UCPE-C	Rel. Ray	CamRay	原始图像网格	26.141 / 0.813 / 0.132	25.591 / 0.799 / 0.131	25.278 / 0.798 / 0.140
Ours (Raw)	Rel. Ray	Local Ray	原始图像网格	26.308 / 0.815 / 0.131	25.784 / 0.800 / 0.130	25.347 / 0.799 / 0.139
Ours (Full)	Rel. Ray	Local Ray	投影感知角坐标	26.429 / 0.815 / 0.129	25.911 / 0.800 / 0.128	25.670 / 0.801 / 0.136

消融实验¶

为检验局部光线图与投影感知 2D RoPE 的独立增益与泛化能力，论文在全景未见相机零样本外推（训练集完全无全景数据）及在其他基线（PRoPE）上的迁移效果上进行了详实消融。

1. 未见相机零样本全景生成对比（Zero-Shot Panorama）

光线图配置 (Raymaps)	2D RoPE 类型	虚拟鱼眼→全景 (PSNR↑ / SSIM↑ / LPIPS↓)	真实DSLR→全景 (PSNR↑ / SSIM↑ / LPIPS↓)	说明
无光线图 (N)	原始图像网格	22.426 / 0.731 / 0.167	22.659 / 0.765 / 0.237	基线 UCPE 表现
Plücker 光线图 (P)	原始图像网格	22.853 / 0.740 / 0.170	22.760 / 0.762 / 0.257	全局绝对光线图泛化有限
CamRay 相机光线图 (C)	原始图像网格	Fail / Fail / Fail	Fail / Fail / Fail	中心对齐光线在外推全景时崩溃失败
本文局部光线图 (L)	原始图像网格	23.139 / 0.755 / 0.141	22.999 / 0.774 / 0.226	局部光线图展现强零样本适应力
本文局部光线图 (L)	投影感知角坐标	23.346 / 0.760 / 0.142	22.815 / 0.769 / 0.232	完整模型在合成多视角外推达到最优

2. 投影感知 2D RoPE 在不同框架上的即插即用消融

基准架构与光线图	2D RoPE 机制	Fisheye PSNR↑	Fisheye LPIPS↓	Mixed PSNR↑	Mixed LPIPS↓
PRoPE (CamRay)	原始图像网格	22.780	0.181	21.614	0.207
PRoPE (CamRay)	投影感知角坐标	25.049 (+2.269)	0.145 (-0.036)	24.856 (+3.242)	0.153 (-0.054)
UCPE (Local Ray)	原始图像网格	25.784	0.130	25.347	0.139
UCPE (Local Ray)	投影感知角坐标	25.911 (+0.127)	0.128 (-0.002)	25.670 (+0.323)	0.136 (-0.003)

关键发现¶

局部光线图彻底消除了全景零样本外推的崩溃现象：如消融表所示，此前常用的 CamRay 光线表征在零样本全景预测（Virtual Cams $\rightarrow$ Panorama 与 DSLR $\rightarrow$ Panorama）任务中完全崩溃（Fail），而本文局部光线图使模型无需任何全景监督即可合成高质量 360° 图像，PSNR 达到 23.346 dB，大幅优于 Plücker 光线的 22.853 dB。
投影感知 2D RoPE 具有极强的跨架构普适收益：当把传统的图像网格 RoPE 替换为投影感知经纬角 RoPE 时，PRoPE 基线在混合相机测试下的 PSNR 暴增 3.242 dB（从 21.614 跃升至 24.856 dB），LPIPS 从 0.207 显著下降至 0.153，证明了图像网格位置偏差是异构相机下注意力紊乱的元凶。
混合相机场景下提升尤为显著：在 Undistorted、Fisheye 与 Mixed 三种测试中，本文完整方案在 Mixed 异构交错任务上的优势最为明显，PSNR 相对 UCPE 基准提升达 0.521 dB，视觉重建有效抑制了其他方法常见的重影与大面积模糊伪影。

亮点与洞察¶

将相机泛化单位从“全局投影族”下放至“局部光线分布”：过去学术界往往为透视镜头与全景鱼眼分别训练独立模型或定制骨干。本文指出虽然全局投影千差万别，但局部 Patch 范围内的光线形变是连续且可复用的几何模式。这种降维视角极大缓解了异构相机的学习负担。
以经纬角坐标彻底理顺了跨相机 RoPE 的几何物理意义：传统 2D RoPE 强依赖像素网格的规则排列，而本文将其自然映射至视球经纬度角，将离散位置编码升级为连续角度编码，在无需增加模型参数量的前提下显著提升了几何一致性。
轻量前馈骨干即可支撑复杂的跨传感器零样本任务：在仅 24.5M 参数量的极简 Transformer 上，模型通过纯几何先验设计便实现了无需类别标签的跨相机泛化，为多传感器无人机、自动驾驶环视系统和全景重渲染提供了高效可行的统一前馈范式。

局限与展望¶

依赖精准的相机标定参数：模型严重依赖输入的准确内参和外参标定，在实际多传感器系统中，标定漂移与时间同步误差可能对局部光线图的构建造成干扰。
受限于中心相机模型假设：当前方法假设所有光线穿过单一相机中心（Central Cameras），对于离轴多镜头折反射相机或复杂非中心多传感器系统尚无法直接覆盖。
大视场极端区域的分辨率失真与光照不一致：全景相机两极处的经纬度奇异点以及实拍相机之间的自动白平衡与曝光差异，仍需依赖后处理局部直方图匹配或更强的数据集支撑。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统识别了 Patch 化造成的光线束分布歧义，提出局部光线图与经纬角 2D RoPE，理念极其精炼深刻。
实验充分度: ⭐⭐⭐⭐☆ 在 ScanNet++ v2 上完成了透视、鱼眼、混合场景及零样本全景外推评测，基线与消融扎实充分。
写作质量: ⭐⭐⭐⭐⭐ 几何推导严谨自洽，对注意力 Sink 现象与网格相对位置失配的剖析入木三分。
价值: ⭐⭐⭐⭐⭐ 为具身智能与自动驾驶中混合相机阵列的新视角合成提供了通用、轻量且可外推的基础几何范式。