Resolving Representation Ambiguity in Feedforward Novel View Synthesis Transformer via Semantic-Spatial Decoupling¶

会议: NeurIPS 2026
arXiv: 2605.18599
OpenReview: https://openreview.net/forum?id=7aQyn669sE
代码: https://hangzay.github.io/ssd_lvsm/
领域: 重建与渲染
关键词: 前馈式新视角合成, 语义-空间解耦, 独立V注意力, 普吕克光线, 视觉Transformer表征

一句话总结¶

针对前馈式新视角合成 Transformer 中 RGB 语义与普吕克光线空间编码纠缠导致的网格状伪影与表征歧义，本文提出将 token 解耦为语义与空间双分支，通过共享 Q/K 路由与独立 V 投影（Independent-V Attention）保持特征特异性，并引入训练期分类监督与双向特征调制，在几乎零推理延迟开销下取得超过 1.1 dB 的 PSNR 提升。

研究背景与动机¶

前馈式新视角合成（Novel View Synthesis, NVS）已从早期针对单个场景耗时优化的 NeRF 或 3D 高斯泼溅（3DGS），演进为依托大重建模型（Large Reconstruction Models, LRMs）进行单次前向推理的通用范式。主流 Transformer 架构（如 LVSM、GS-LRM）通常采用统一 token 建模策略，即将输入视角的 RGB 外观 patch 与普吕克光线（Plücker rays）相机几何编码在通道维度拼接后，经由单层线性投影映射至统一的隐空间。输入序列与目标视角的纯光线 token 一并送入全注意力 Transformer 中进行跨视图交互，最后由渲染头回归目标视角的像素值或高斯基元。

然而，普吕克光线编码天然具有严格的网格状空间晶格结构（lattice-like spatial structure）。当语义信息与空间几何被强行混合在同一特征通道中并在各层共享相同的非线性变换时，强烈的空间几何先验偏差会严重干扰外观特征的表达，在中间特征图上诱发显著的轴对齐网格状畸变（grid-like artifacts）。作者在深入诊断中发现：哪怕在 Transformer 中引入额外的寄存器 token（register tokens），也完全无法消除此类畸变；甚至在推理时将所有输入 RGB 置零、仅保留光线编码，中间层依旧浮现明显的网格状伪影。这确凿表明网格畸变并非源于视觉注意力的“内存溢出”，而是空间光线编码与外观表征在单一 token 内纠缠导致的表征歧义（representation ambiguity）。

这种表征混淆构成了前馈式渲染保真度受限的本质瓶颈：外观建模需要语义抽象与上下文连续性，而空间建模则需要严格的多视角几何对应，将二者强行捆绑不仅导致渲染纹理模糊、结构破损，还使得针对语义或几何的辅助监督互相冲突。本文的核心 idea 是：将 Transformer 中的 token 表征显式解耦为独立的语义分支与空间分支，在自注意力中采用共享 Query/Key 路由保持全局空间坐标对齐，同时采用独立的 Value 投影、独立 LayerNorm 与分支特定 FFN 保留异构表征纯度，并辅以即插即用的双向特征调制与训练期分类对齐。

方法详解¶

核心机制¶

前馈式 NVS Transformer 表征歧义的根源在于将“是什么”（RGB 语义外观）与“在哪看”（光线空间几何）混合在统一向量中变换。为此，本文设计了贯穿前向流程的语义-空间解耦架构： 1. 解耦分词（Decoupled Tokenization）：将输入视角的 RGB patch 与普吕克光线 patch 分别投影为独立的语义向量 $\mathbf{x}^I \in \mathbb{R}^{N_p \times \frac{D}{2}}$ 和空间向量 $\mathbf{x}^P \in \mathbb{R}^{N_p \times \frac{D}{2}}$；目标视角则以全零向量初始化语义分支，仅由目标光线映射空间分支。二者拼接后保持与基线一致的总维度 $D$。 2. 独立 V 注意力（Independent-V Attention）：保留统一的 Query-Key 投影矩阵，让所有 token 基于完整的语义+空间上下文计算统一的注意力分布图 $\mathbf{A}$，维持跨视图几何寻址能力；但对于 Value 变换与输出投影，则为语义和空间分支分配完全独立的投影矩阵 $\mathbf{W}_v^I, \mathbf{W}_v^P$ 和 $\mathbf{W}_o^I, \mathbf{W}_o^P$，避免空间光线模式污染语义通道。 3. 分支特定变换与独立归一化：在注意力层后，两分支分别通过各自的 LayerNorm 和独立的半维度前馈网络（FFN），杜绝跨分支统计量与非线性混合。

整体框架与流程¶

下图展示了前馈式 NVS Transformer 的解耦数据流与辅助模块交互关系：

%%{init: {'theme': 'base', 'themeVariables': {'fontSize': '12px', 'lineColor': '#2B6CB0'}}}%%
flowchart TD
    subgraph InputEncoding["输入编码与解耦分词"]
        direction TB
        IN_RGB["输入视点 RGB Patches"] --> TOK_I["语义分词器 Tok_I<br/>输出 D/2 维 x^I"]
        IN_RAY["输入普吕克光线 Patches"] --> TOK_P["空间分词器 Tok_P<br/>输出 D/2 维 x^P"]
        TGT_RAY["目标视点普吕克光线"] --> TGT_TOK["目标空间分词<br/>语义分支全零初始化 y^I=0"]
    end

    subgraph DecoupledBlock["解耦 Transformer 模块 (L 层堆叠)"]
        direction TB
        PRE_LN["分支独立预归一化 LN^I / LN^P<br/>拼接全维度 x_bar = [x_bar^I, x_bar^P]"]
        QK_ATTN["共享 Q/K 投影与注意力图计算<br/>A = softmax(q k^T / sqrt(d_h))"]
        IND_V["独立 V 投影与输出变换<br/>o^I = (A v^I) W_o^I,  o^P = (A v^P) W_o^P"]
        MOD_STEP["双向特征调制 FiLM (可选)<br/>P->I 空间调控语义; I->P 语义反馈空间"]
        SPLIT_FFN["分支独立半维度 FFN<br/>FFN^I(m_tilde^I) 与 FFN^P(m_tilde^P)"]

        PRE_LN --> QK_ATTN
        QK_ATTN --> IND_V
        IND_V --> MOD_STEP
        MOD_STEP --> SPLIT_FFN
    end

    subgraph AuxSupervision["训练期分支特定监督 (推理期移除)"]
        direction TB
        IREPA["语义分支 iREPA 监督 (层 k_I=4)<br/>对齐冻结 DINOv3 特征"]
        GEOM["空间分支几何一致性 (层 k_P=10)<br/>基于 DA3 3D点投影的余弦损失"]
    end

    subgraph OutputRender["渲染输出"]
        direction TB
        HEAD["目标视图特征渲染头<br/>(LVSM 线性/卷积头 或 iLRM 3DGS 头)"]
        OUT_IMG["目标视点新视角渲染图像 I_hat"]
    end

    InputEncoding --> DecoupledBlock
    DecoupledBlock -.-> AuxSupervision
    DecoupledBlock --> OutputRender
    HEAD --> OUT_IMG

关键设计（带序号的紧凑段落）¶

1. 独立 V 投影机制（Independent-V Attention）：在保持统一几何寻址的前提下隔离表征更新
传统统一 token 中，单套 $W_v$ 使得语义特征和光线几何在同一更新路径中交叠，光线的网格能量不可逆地注入外观表示。作者对比了“完全独立 Q/K/V”与“共享 Q/K + 独立 V”的设计：如果强行将 Query 和 Key 也完全分立，各分支只能产生局部注意力图，丧失了利用光线几何对齐跨视角外观的能力，导致 PSNR 从 26.70 dB 骤降至 25.90 dB。因此，本文采用输入全 token 拼接后投影得到统一的 $\mathbf{q} = \bar{\mathbf{x}}\mathbf{W}_q$ 与 $\mathbf{k} = \bar{\mathbf{x}}\mathbf{W}_k$，但在 Value 侧使用分离投影 $\mathbf{v}^I = \bar{\mathbf{x}}^I\mathbf{W}_v^I$ 与 $\mathbf{v}^P = \bar{\mathbf{x}}^P\mathbf{W}_v^P$。通过统一注意力图 $\mathbf{A} = \text{softmax}(\mathbf{q}\mathbf{k}^\top / \sqrt{d_h})$ 分别作用于两路 Value，输出拼接为 $\mathbf{o} = [(\mathbf{A}\mathbf{v}^I)\mathbf{W}_o^I, (\mathbf{A}\mathbf{v}^P)\mathbf{W}_o^P]$，既维持了全局几何感知，又从物理上切断了空间伪影向语义特征的传导。

2. 分支独立归一化与半维度前馈网络：消除通道统计耦合与参数冗余
若在注意力层前后使用统一的 Joint-LN 对拼接 token 进行归一化，两分支的均值和方差会重新相互锚定，特征范数出现强相关性（消融实验证实 Joint-LN 会使 PSNR 下降 0.69 dB）。本文为两分支引入独立的 LayerNorm，并在 FFN 阶段将原先隐藏维度为 $rD$ 的单路 FFN 拆分为两个隐藏维度为 $rD/2$ 的半维度 FFN（$\text{FFN}^I$ 与 $\text{FFN}^P$）。这不仅从结构上杜绝了非线性激活中的通道缠绕，而且使得单模块参数量由基线的 $(2r+4)D^2$ 降至 $(r+3)D^2$。以默认 $r=4$ 为例，参数量从 $12D^2$ 降至 $7D^2$，在完全不增加计算量的前提下显著提升了模型效率。

3. 双向特征调制（Bidirectional Feature Modulation）：可控且结构化的跨分支交互
解耦并不意味着绝对孤立。为实现空间几何与外观特征的高效协同，本文在分支 LayerNorm 之后、FFN 之前插入基于 FiLM 的轻量级仿射调制。首先由空间分支特征 $\mathbf{m}^P$ 生成缩放和位移参数作用于语义分支： $$(\boldsymbol{\gamma}^{P\to I}, \boldsymbol{\beta}^{P\to I}) = \mathbf{m}^P\mathbf{W}_{\mathrm{F}}^P + \mathbf{b}_{\mathrm{F}}^P, \qquad \tilde{\mathbf{m}}^I = \boldsymbol{\gamma}^{P\to I} \odot \mathbf{m}^I + \boldsymbol{\beta}^{P\to I}$$ 随后，受调制的语义特征 $\tilde{\mathbf{m}}^I$ 反向生成空间分支的调制参数： $$(\boldsymbol{\gamma}^{I\to P}, \boldsymbol{\beta}^{I\to P}) = \tilde{\mathbf{m}}^I\mathbf{W}_{\mathrm{F}}^I + \mathbf{b}_{\mathrm{F}}^I, \qquad \tilde{\mathbf{m}}^P = \boldsymbol{\gamma}^{I\to P} \odot \mathbf{m}^P + \boldsymbol{\beta}^{I\to P}$$ 所有生成器权重初始化为零，缩放偏置置 1、位移偏置置 0（即恒等映射起点）。这种先 $P\to I$、后 $I\to P$ 的次序高度契合 NVS“以几何引导外观合成，再由内容反馈修正空间结构”的物理先验。

4. 训练期分类解耦监督：针对特异分支施加专用先验
解耦使语义与空间分支拥有明确的物理含义，从而解锁了原本在混合表征上会相互伤害的专项监督（在纠缠基线上施加监督会导致 PSNR 从 26.10 掉至 26.02 dB）。对于语义分支，在第 $k_I=4$ 层通过空间归一化后对齐冻结的 DINOv3 ViT-B/16 特征（iREPA 损失 $\mathcal{L}_{\text{iREPA}}$），引入高级语义感知；对于空间分支，在第 $k_P=10$ 层利用基础几何模型 Depth Anything 3（DA3）离线构建跨视角 3D 对应点，施加特征余弦相似度损失 $\mathcal{L}_{\text{geo}}$。所有监督头与教师模型在推理时全部丢弃，实现零推理负担的纯归纳偏置注入。

理论分析与设计权衡¶

为从机理上量化网格伪影，作者定义了轴对齐网格伪影得分（Grid Artifact Score, GAS）： $$\mathrm{GAS} = 10 \log_{10}\left(\frac{E_{\mathrm{axis}}}{E_{\mathrm{diag}}}\right)$$ 其中 $E_{\mathrm{axis}}$ 为水平与垂直频轴附近的频谱能量，$E_{\mathrm{diag}}$ 为对角频段能量。实验证实：基线模型语义层的 GAS 高达 13.11 dB（第 8 层），且人为注入轴向频谱扰动会以超常比例破坏 PSNR；而解耦设计使第 8 层语义特征的 GAS 大幅压低至 5.06 dB，同时允许空间分支保留高达 19.18 dB 的网格状几何结构，证明“空间与外观物理特性异构，强求一致必生畸变”。

在复杂度与设计权衡方面： - 基础解耦版（Base Decouple）：无需额外参数，Block 参数量减少，在保持 Q/K 矩阵运算完全一致的同时，推理延迟仅为 12.3 ms（基线为 12.2 ms），实现“免费”的 0.60 dB 增益。 - 完整版（Full = Decouple + Mod + Sup）：FiLM 调制在 12 层架构中仅引入 7.1M 参数（单层 $D^2+2D$），推理延迟增幅仅 8%（13.2 ms），但带来总计 1.11 dB 的显著质量提升。

实验关键数据¶

主实验¶

论文在真实场景数据集 RealEstate10K（稀疏 2 视角输入合成 6 目标视点，分辨率 $256\times 256$）及物体级数据集 Objaverse（4 输入、8 目标视点）上与主流通用神经重建/视角合成模型进行了严格可比的评测（相同训练步数 50K 与硬件环境）：

数据集 / 模型配置	方法	参数量 (M)	PSNR ↑ (dB)	SSIM ↑	LPIPS ↓
RealEstate10K (场景级 12L)	MVSplat	11.9	25.48	0.851	0.143
RealEstate10K	DepthSplat	120.7	26.43	0.865	0.127
RealEstate10K	PRoPE (投影位置编码)	85.8	26.79	0.851	0.136
RealEstate10K	LVSM Baseline	85.8	26.10	0.839	0.144
RealEstate10K	LVSM Decouple (基础解耦)	50.1	26.70	0.851	0.138
RealEstate10K	Ours Full (解耦+调制+监督)	57.2	27.21	0.869	0.125
RealEstate10K (深层 24L)	LVSM 24L Baseline	—	26.18	0.842	0.141
RealEstate10K (深层 24L)	Ours 24L	—	27.37	0.867	0.125
RealEstate10K (编解码 Enc-Dec)	LVSM Enc-Dec Baseline	—	24.06	0.775	0.206
RealEstate10K (编解码 Enc-Dec)	Ours Enc-Dec Full	—	25.31	0.806	0.154
Objaverse (物体级 12L)	LGM	57.0	22.61	0.834	0.193
Objaverse	LVSM Baseline	85.8	23.75	0.864	0.150
Objaverse	LVSM Decouple	50.1	25.96	0.880	0.112
Objaverse	Ours Full	57.2	26.46	0.899	0.101

消融实验¶

在 RealEstate10K 上对各核心组件、控制基线及设计细节进行了详尽分解（基准为 12 层 Decoder-Only 模型）：

实验组别	详细配置说明	PSNR ↑ (dB)	SSIM ↑	LPIPS ↓	关键结论 / 机制验证
基线与控制组	Baseline (纠缠表示)	26.10	0.839	0.144	原始 LVSM 架构
	Baseline + Registers (寄存器 token)	26.04	0.835	0.146	证明网格伪影并非额外存储槽缺失所致
	Baseline + Categorized Sup	26.02	0.831	0.148	纠缠表征施加分类监督产生梯度冲突、性能反而下降
解耦与注意力	Independent-Q/K (独立 Q/K)	25.90	0.832	0.148	割裂全局坐标寻址，跨视点匹配失效
	Joint-LN (共享归一化)	26.01	0.830	0.149	跨分支统计量混合导致特征范数重新耦合
	Decouple (基础独立 V+独立 LN)	26.70	0.851	0.138	纯架构解耦，零延迟提升 0.60 dB
监督与调制消融	Decouple + Sup (加分类监督)	26.91	0.857	0.134	解耦使得 DINOv3 与 DA3 几何先验能精准生效
	Decouple + Mod ($I \to P$ 单向)	26.80	0.853	0.136	仅语义反馈空间几何，提升较弱
	Decouple + Mod ($P \to I$ 单向)	26.91	0.856	0.133	空间几何有效引导外观合成
	Decouple + Mod (双向调制)	27.06	0.860	0.131	双向协同达到最佳结构表征
完整模型	Decouple + Sup + Mod (Full)	27.21	0.869	0.125	相比基线全面大幅领先 (+1.11 dB)

关键发现¶

光线几何是网格畸变的罪魁祸首：通过 Plücker-Only 推理实验（输入 RGB 全部置零）和 GAS 频域能量测量，证实伪影直接由光线编码引起，而独立 V 解耦在允许空间分支保留必要几何晶格特性的同时，彻底洗净了语义分支的网格污染。
辅助监督与架构解耦存在强依赖关系：在未解耦的统一 token 上引入 iREPA 或 DA3 几何损失，优化目标相互拉扯导致性能倒退（PSNR 26.10 $\to$ 26.02）；唯有在语义和空间通道彻底解耦后，双监督才能释放潜力（PSNR 26.70 $\to$ 26.91）。
架构泛化性极强：解耦原则不依赖于普吕克光线的特定参数化方式——在纯原生光线图（Raw Raymaps）下，解耦依然带来 25.78 $\to$ 26.82 dB（+1.04 dB）的巨大跃升；此外，在直接回归 3DGS 高斯基元的交互式架构 iLRM 上，解耦与调制同样取得 22.42 $\to$ 23.15 dB 的显著收益。

亮点与洞察¶

精巧的 Independent-V 架构设计：既看透了“全局跨视点交互必须依赖包含几何与外观的完整 Q/K 路由”，又把握了“特征状态更新与 FFN 变换必须严格分支隔离”的分寸，以极简的线性投影切分达成了无损延迟下的性能飞跃。
理论诊断自洽闭环：不仅提出了直觉设计，还构建了频域定量指标 GAS 与受控特征干预实验，因果性地证明了轴对齐网格伪影是导致视角合成质量衰减的直接元凶。
对大重建模型（LRM）范式的普遍启发：当前众多 3D 生成与重建 Transformer 习惯于将各类条件编码（相机位姿、文本嵌入、深度图、法线图）直接 concat 投影；本工作证明异构模态在注意力流中的深度纠缠会产生潜隐表征损伤，为后续多模态 3D 架构设计提供了关键的解耦准则。

局限与展望¶

极端视角与未观测区域的物理极限：在旋转跨度达 180° 或 270° 的极端视点下，输入视点间缺乏重叠区域，所有前馈式确定性模型均受限于不可见区域的幻觉缺失，此时解耦模型带来的 LPIPS 增益有所收窄。
离线几何预处理成本：分类几何监督依赖于 Depth Anything 3 的离线深度估计与 Umeyama 坐标系对齐，训练准备阶段需要额外的缓存开销；未来需探索更轻量或内生自监督的几何对齐机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统剖析前馈 NVS Transformer 中光线引入的表征歧义与网格伪影，提出优雅高效的 Independent-V 解耦范式。
实验充分度: ⭐⭐⭐⭐⭐ 跨 Decoder-Only、Enc-Dec、深层 24L、iLRM、多数据集（RE10K、Objaverse、DL3DV）及频域受控干预，消融极其扎实。
写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣，从问题发现、反例排除到机制设计与量化诊断，逻辑非常清晰。
价值: ⭐⭐⭐⭐⭐ 对前馈视角合成及 3D 大重建模型的底层 Transformer 架构设计具有重要指导意义与高度复用价值。