NAMVIS: Next-Scale Autoregressive Multi-View Image Synthesis¶

会议: NeurIPS 2026
arXiv: 2610.04722
OpenReview: https://openreview.net/forum?id=dTzafRJOTR
代码: https://corl-team.github.io/namvis
领域: 图像生成
关键词: 稀疏视角合成, 自回归模型, 尺度递进生成, 投影位置编码, 多视角几何

一句话总结¶

NAMVIS 提出了首个无扩散迭代的几何条件尺度自回归（Next-Scale Autoregressive）稀疏多视角合成框架，通过多尺度投影位姿编码与双路径外观调节，实现了较主流扩散模型快 3 倍以上的高保真几何一致多视角图像生成。

研究背景与动机¶

给定稀疏单张或少量带姿态相机视角的物体图像，生成任意指定新视角下的逼真图像（零样本新视角合成，Zero-shot Novel View Synthesis, NVS）是 3D 内容创作、虚拟现实和具身智能交互的核心技术基础。然而该任务具有严重的病态不适定性，单一或极少视角背后对应着无穷多种潜在的 3D 几何与遮挡外观，生成模型必须依赖极强的三维几何先验与纹理补全能力。

以 Zero-1-to-3、SyncDreamer、Wonder3D 及 EscherNet 为代表的扩散模型主导了生成式 NVS，它们通过预训练 2D 扩散模型注入相机位姿控制。然而，扩散模型固有的几十步迭代去噪机制导致推理延迟极高，且在跨多个目标视角联合生成时多视角交叉通信计算开销呈倍数攀升，形成推理效率与交互式部署的显著瓶颈。

与此同时，以 VAR 和 Infinity 为代表的尺度递进自回归（Next-Scale AR）在 2D 文生图领域展现出比肩扩散模型的生成质量与显著的速度优势，但在 3D 多视角生成领域尚属空白。本文的核心 idea 是：将多视角新视角合成彻底重构为几何显式条件化的由粗到细尺度自回归预测，在完全剔除扩散去噪的同时，通过多尺度投影位姿编码（Multi-scale ProPE）在自注意力和交叉注意力中显式注入三维几何，实现快速且高度几何自洽的多视角并行生成。

方法详解¶

整体框架¶

NAMVIS 的整体生成流水线基于多尺度离散自回归架构（构建在 Infinity 骨干上），完全摒弃迭代扩散去噪。输入包括若干张参考源图像及其相机位姿，以及任意数量的目标视角相机位姿。模型采用预训练并保持冻结的多尺度 VQ-VAE 将图像编码为连续特征图及 \(K\) 级残差离散视觉 token。自回归 Transformer 仅负责对所有目标视角联合执行从低分辨率到高分辨率的 \(K\) 步块因果尺度预测，每一步尺度内所有目标视角的所有视觉 token 均并行采样。

在整个生成过程中，输入源图通过全局语义池化和稠密局部特征两条路径注入 Transformer。相机几何关系则通过专门设计的 Multi-scale ProPE 在目标视角间的自注意力以及目标到源视角的交叉注意力中全阶段调制，最终由 VQ-VAE 解码器输出高保真目标视角图像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    IN["输入：稀疏源图 $I^{\\text{src}}$、源位姿 $P^{\\text{src}}$ 与目标位姿 $P^{\\text{tgt}}$"] --> VQ["冻结多尺度 VQ-VAE 编码器<br/>提取稠密源特征图 $f^{\\text{src}}$"]
    VQ --> DP["双路径外观调节机制<br/>全局 [SOS] 池化向量 + 稠密交叉键值"]
    DP --> MSPE["多尺度投影位姿编码 (Multi-scale ProPE)<br/>分离投影变换矩阵与尺度自适应 2D RoPE"]
    MSPE --> AR["尺度自回归多视角 Transformer<br/>块因果自注意力 + 稠密几何交叉注意力"]
    AR --> DEC["冻结 VQ-VAE 解码器<br/>累加各尺度残差并重建逼真目标图"]

关键设计¶

1. 多尺度离散位级自回归解码：免扩散的尺度递进生成机制

针对扩散模型多步去噪推理耗时过长的痛点，NAMVIS 采用由粗到细的自回归残差预测。将目标视角图像编码为 \(K\) 个尺度的离散残差图 \((r_1^{\text{tgt}}, \dots, r_K^{\text{tgt}})\)，每个残差图的空间分辨率由低到高递增（如从 \(1\times 1\) 逐步增至高分辨率）。不同于传统按像素光栅扫描的自回归，NAMVIS 在每个尺度步骤内，将所有目标视角的 token 完全并行解码，仅在跨尺度步骤之间施加块因果注意力掩码（Block-Causal Masking）。这使得生成 \(N\) 个目标视角仅需 \(K\) 步前向自回归推进。此外，NAMVIS 继承 Infinity 的位级量化方案，将每个 token 离散量化为 \(d\) 维二值向量 \(r_k(m, n) \in \{-1, +1\}^d\)，从而在 \(2^d\) 的庞大隐式词表中利用独立二分类交叉熵损失训练，大幅提升尺度建模的稳定性。

2. 多尺度投影位姿编码（Multi-scale ProPE）：多路径几何显式注入

传统 2D 旋转位置编码（RoPE）仅捕获像素平面网格位置，无法表达 3D 空间中相机的平移与旋转映射关系。NAMVIS 将 3D 投影位姿编码扩展至多尺度动态分辨率序列中。将每个注意力头内的特征向量切分为三部分：三维投影子空间与二维局部平面的水平/垂直旋转子空间：

\[x_s = [x^{\text{proj}}_s, \; x^u_s, \; x^v_s]\]

针对视角 \(v\) 在尺度 \(s\) 的特征变换定义为：

\[\Psi^{v,s}_b(x_s) = \left[ M_b(P_v) x^{\text{proj}}_s, \; \text{RoPE}(x^u_s, u_s), \; \text{RoPE}(x^v_s, v_s) \right]\]

其中 \(b \in \{q, kv, o\}\) 分别指代查询、键值与输出分支，\(P_v \in SE(3)\) 为视角相机的投影矩阵，对应的投影变换矩阵严格遵循对偶投影几何设定：

\[M_q(P_v) = P_v^\top, \quad M_{kv}(P_v) = P_v^{-1}, \quad M_o(P_v) = P_v\]

该算子被精确部署在两套关键注意力通道中：在目标自注意力（Target Self-Attention）中，所有分支均输入目标视角位姿 \(P_t\)，通过块因果掩码允许当前尺度内所有目标视角的 token 相互可见，驱动跨视角几何自洽；在源到目标交叉注意力（Source-to-Target Cross-Attention）中，查询分支采用目标位姿 \(P_t\) 和尺度 \(s\) 的网格，而键值分支采用源图位姿 \(P_{\text{src}}\)，将源视角外观按照两视角相对空间几何准确聚合至目标视角的各个尺度空间。

3. 全局与稠密双路径外观调节机制：保真高低频视觉特征

单靠全局池化向量无法保留高频细节，而纯拼接条件则会破坏尺度递进自回归序列的层级因果结构。NAMVIS 采用互补的双路径调节机制： - 全局路径（Global Path）：利用可学习查询向量与源图特征 \(f^{\text{src}}\) 进行注意力池化，生成全局起始标记 [SOS]（Start-of-Sequence），并经过映射网络为每个 Transformer 模块预测自适应层归一化（AdaLN）的缩放与平移系数，提供全局物体类别与色彩语义基调。 - 稠密路径（Dense Path）：每一层 Transformer 中均设置稠密交叉注意力层，目标视角的尺度 token 动态对全局全分辨率的未下采样 VQ-VAE 源特征 \(f^{\text{src}}\) 进行查询。源特征始终保持单尺度高分辨率特征状态，确保即使在极低粗粒度尺度的自回归初期，目标视角也能跨越尺度瓶颈锚定高保真局部结构与纹理。

4. 全局 ProPE 与 KV 联合缓存加速：消除跨层冗余计算

由于 ProPE 将相机投影变换注入到 Transformer 的每一层，若在 16 个注意力层中重复计算几何投影张量，将产生大量多余的显存与计算开销。NAMVIS 提出了全局 ProPE 缓存机制：针对每一对给定的源-目标相机位姿配置及各自动回归尺度，在推理前单次完成几何投影矩阵及变换张量的预计算并驻留缓存，供各 Transformer 层直接调用；结合标准多尺度因果 KV 缓存，彻底消除了自回归推理过程中的重复算力消耗。

损失函数 / 训练策略¶

训练阶段完全冻结多尺度 VQ-VAE 编码器与解码器，仅微调 1B 参数量的自回归 Transformer 骨干网络（从 Infinity 2B 模型按隔层剪枝初始化）。模型使用 AdamW 优化器，在精心构建的 200K 高质 Objaverse-XL 子集（经渲染、几何伪影、美学评估、文本一致性四重清洗）上训练 500 个 epoch，峰值学习率为 \(1\times 10^{-4}\)，批大小为 512。训练时以 10% 的概率随机丢弃源图条件（替换为可学习的无条件向量），以在推理期支持无分类器引导（Classifier-Free Guidance, CFG）。

实验关键数据¶

主实验¶

在 256×256 分辨率下，评估涵盖 Objaverse（域内）、Google Scanned Objects（GSO，零样本跨域）和 OmniObject3D（OO3D，真实扫描跨域），对 9 种源-目标视角组合（1-to-1 至 3-to-3）取均值，并与主流扩散 NVS 基线对比。

数据集 / 场景	指标	NAMVIS 1B (本文)	EscherNet (前SOTA)	Zero-1-to-3 XL	提升 / 优势
Objaverse (域内)	PSNR ↑ SSIM ↑ LPIPS ↓	22.485 0.861 0.091	19.078 0.816 0.147	19.341 0.827 0.136	+3.41 dB +0.045 -38.1%
GSO (零样本)	PSNR ↑ SSIM ↑ LPIPS ↓	21.715 0.843 0.111	18.878 0.799 0.156	15.936 0.747 0.236	+2.84 dB +0.044 -28.8%
OmniObject3D (真实扫描)	PSNR ↑ SSIM ↑ LPIPS ↓	21.098 0.845 0.104	17.767 0.780 0.167	16.320 0.767 0.209	+3.33 dB +0.065 -37.7%
推理速度 (1→1 视角)	时间 (s) ↓	0.6 s	2.1 s	2.6 s	快 3.5× (vs Wonder3D 2.0s 快 3.3×)
几何一致性 (COLMAP)	点云数 / 注册率 ↑	221 点 / 67.5%	214 点 / 60.4%	- (不支持联合生成)	接近真实图像 GT (70.0%)

消融实验¶

在 10K Objaverse-XL 子集上训练 200 epoch 的消融实验对比：

配置	PSNR ↑	SSIM ↑	LPIPS ↓	说明
Full NAMVIS (完整模型)	21.360	0.907	0.115	采用 ProPE + VQ-VAE 稠密交叉注意力 + 全微调
Plücker 光线表示 (替代 ProPE)	20.260	0.899	0.142	显式拼接光线坐标几何感知弱，PSNR 下降 1.10 dB
前缀条件拼接入序列 (Prefix Conditioning)	14.539	0.797	0.427	破坏尺度因果生成序列结构，性能全面崩溃
CLIP 池化向量 (替代 VQ-VAE `[SOS]`)	20.613	0.901	0.126	跨域特征存在鸿沟，不如自同构 VQ-VAE 隐空间
单独训练 Dense 卷积特征 (ConvNeXt)	20.886	0.901	0.134	额外引入编码器开销且表现略逊于冻结 VQ-VAE
无稠密交叉注意力 (仅保留 `[SOS]` 全局)	17.891	0.865	0.248	缺失高频空间指导，LPIPS 恶化一倍以上
LoRA 微调 (\(r=256\)) 替代全参微调	18.912	0.883	0.185	低秩适配无法有效重构多视角 3D 先验

关键发现¶

去扩散化带来显著推理飞跃：在单卡 A40 上，NAMVIS 生成单视角仅需 0.6 秒，即使扩展到 6 输入 6 目标联合生成（6→6），推理耗时也仅 1.56 秒、显存占用 5.0 GB，大幅超越传统扩散方法。
稠密交叉注意力是结构保真的生命线：完全移除稠密交叉注意力会导致 PSNR 骤降 3.47 dB、LPIPS 激增至 0.248，表明单靠全局向量完全无法指导新视角图像中复杂纹理与边缘的恢复。
几何注入机制决定多视角一致性：显式多尺度 ProPE 在注意力矩阵中调制查询与键值，不仅在图像保真度上显著压制传统的 Plücker 拼接射线表示，在 COLMAP 三维稀疏重建中也以 221 个匹配点和 67.5% 的相机注册成功率领先所有扩散基线。

亮点与洞察¶

颠覆扩散垄断的范式突破：证明了尺度自回归模型不仅能做 2D 文生图，在显式几何位姿注入下，其多视角生成与三维一致性甚至全面超越了迭代去噪的扩散模型。
巧妙的双尺度不对称注意力：生成侧采用多尺度递进预测降低序列计算复杂度，而参考键值侧保持单尺度稠密高分辨率，使得自回归初期就能直接借力高精纹理，规避了渐进生成初期的模糊退化。
ProPE 全局缓存加速 trick：将与图层无关的投影变换预先固化在全局缓存中，避免了 16 层网络中的反复三角几何投影矩阵运算，降低推理延迟约 25%。

局限与展望¶

固定输入分辨率受限：当前预训练权重固定为 256×256 分辨率，若直接外推至 512×512 需要进一步微调适配。
序列长与算力扩展边界：目标视角数量增多或分辨率提高时，多尺度注意力因果序列长度呈二次方增长；未来可结合类似 Switti 的局部/窗口化尺度注意力优化长序列开销。
以物体为中心的先验局限：训练数据依赖 Objaverse-XL 等物体级别数据集，对包含复杂天空、地面和复杂景深的开放无界复杂真实场景生成仍有待拓展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首创几何显式条件化的尺度自回归稀疏新视角合成框架，打破扩散模型垄断。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖三大评测集、9 种视角设置、COLMAP 三维几何重建测试与全面架构消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对照生动，公式表述精炼精准。
价值: ⭐⭐⭐⭐⭐ 为轻量高效、实时的 3D 视角生成提供了颠覆性的非扩散替代方案。