MACRO: Training-free Multi-plane Attention for Closeup Render Optimization¶

会议: NeurIPS 2026
arXiv: 2607.03875
代码: https://nitzanhod.github.io/MACRO
领域: 重建与渲染
关键词: 特写视角合成, 3D高斯泼溅, 尺度不对齐, 多平面注意力, 零样本增强

一句话总结¶

针对 3DGS 特写渲染严重模糊且基于参考图的扩散增强模型因尺度不匹配产生严重伪影的问题，本文提出无需微调训练的 MACRO 框架，利用场景几何将特写场景解构为多个深度平面，在图像空间对训练集参考图进行尺度匹配裁剪上采样，并配合深度感知注意力掩码，实现了高保真度的特写新视角渲染。

研究背景与动机¶

3D 高斯泼溅（3DGS）凭借逼真的视觉质量与实时渲染速率在神经渲染和新视角合成领域取得了突破性进展，但在虚拟制作、影视特效和沉浸式交互场景中，渲染相机常需推进到远超训练视角拍摄距离的特写（close-up）区域。在远离训练相机分布的极端近景下，3DGS 缺乏细微结构采样，产生严重的模糊与几何崩塌；同时由于原训练视角受限于分辨率或遮挡，这些缺失的微观高频细节无法单凭静态 3DGS 场景表征本身自愈恢复。

为了弥补这一信息缺口，近期学者尝试引入以真实训练视图为参考条件的扩散增强模型，利用大规模 2D 预训练先验与参考图中的真实纹理辅助修复退化的 3DGS 渲染。然而，现有参考引导模型默认目标视角与参考视角的观测尺度大体一致，在特写视线下这一假设彻底破裂。随着物距急剧缩短，场景物体在特写视角呈现巨大的放大倍率，且放大比例随深度呈强烈的空间异构性；预训练 VAE 和 U-Net 缺乏尺度不变性，交叉注意力机制在巨大尺度差下无法建立正确的语义与纹理对应关系。若试图沿渐进轨迹逐步推进视角渲染并反哺重训 3DGS，不仅计算代价极其昂贵（每场景耗时数十分钟），而且累积误差与视角不一致反而会破坏原始 3D 表征。

深入探究该失效机理可以发现，扩散增强骨干网络的特征对缩放极其敏感，且主流 VAE 编码器在数学上并不具备尺度等变性，即先缩放后编码与先编码后缩放潜变量存在显著差异（\(4\times\) 尺度下余弦相似度跌至 0.70），这断绝了在潜空间直接缩放对齐的技术路线。本文的核心 idea 是：将尺度的对齐显式前置到图像空间，利用 3DGS 光栅化深度将特写视图分解为多个离散深度平面，对参考图进行深度引导的尺度匹配裁剪与超分辨率重建，再通过深度感知多平面交叉注意力掩码约束信息流，实现免训练、单步前向的高保真特写渲染优化。

方法详解¶

整体框架¶

MACRO 的整体处理管线旨在不修改任何预训练扩散模型架构、不进行任何模型微调的前提下，将 3D 几何先验精准注入 2D 图像增强先验中。系统输入包含 3DGS 在特写相机位姿 \(\pi_{\text{cu}}\) 下光栅化渲染的粗糙特写视图 \(\tilde{\mathbf{I}}_{\text{cu}}\) 及其对应深度图 \(\mathbf{D}_{\text{cu}}\)，以及训练集相机参数与真实参考图像库。输出为恢复丰富真实纹理、消除模糊与尺度扭曲的高保真特写图像 \(\hat{\mathbf{I}}_{\text{cu}}\)。

整个增强流水线包含四个协同步骤：首先执行贪心视锥与可观测性参考视角筛选，挑出覆盖当前特写视域最好的 \(K\) 张参考图片；其次在倒数深度空间将特写深度图聚类为 \(P\) 个深度平面；然后在图像空间依据各平面的相对深度计算缩放因子，对各参考视图进行视线投影裁剪并超分，得到 \(K \times P\) 个尺度匹配的参考切片；最后将特写图与所有参考切片一同送入 VAE 编码，在扩散模型去噪阶段利用设计的深度平面注意力掩码约束跨视图注意力，单次前向推理完成高质量纹理迁移。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["特写相机位姿 π_cu 与 3DGS 场景"] --> B["3DGS 粗渲染<br/>特写图 I_cu + 深度图 D_cu"]
    A --> C["可观测性参考视角贪心筛选<br/>选取最佳 K 张参考视图 I_ref"]
    B --> D["多平面深度解耦<br/>1/z 倒数深度聚类划分 P 个深度平面"]
    C --> E["尺度匹配图像空间裁剪与超分<br/>反投影定位 + 缩放裁剪 + PFT-SR"]
    D --> E
    E --> F["VAE 潜空间编码<br/>z_cu 与 K×P 个参考切片潜变量"]
    D --> G["构建深度感知注意力掩码 A'<br/>自注意力全通/跨平面互斥/切片间屏蔽"]
    F --> H["掩码引导的单步扩散参考混合<br/>MaskedSelfAttn 统一前向推理"]
    G --> H
    H --> I["VAE 解码输出高保真特写图像 I_hat_cu"]

关键设计¶

1. 多平面深度解耦：化连续空间尺度渐变为分段离散平面

在特写视角下，场景物距分布非均匀，导致前景物体相比远景呈现更剧烈的缩放倍率变化。为了在单一视图中精准对应不同景深的几何尺度，MACRO 拒绝采用全局统一缩放，而是将连续深度场离散化为 \(P\) 个代表性深度平面。针对近景深度变化对视差敏感的物理特性，算法在视差空间（即倒数深度空间 \(1/z\)）对特写深度图 \(\mathbf{D}_{\text{cu}}\) 执行 \(k\)-means 聚类：

\[\{d_1, d_2, \ldots, d_P\} = \texttt{k-means}(\mathbf{D}_{\text{cu}}, P)\]

每个像素点 \(i\) 被分配至距离其最近的聚类中心平面，生成对应的分割掩码 \(\mathcal{M}_p\)。在此基础上，由于全场景训练图像数量众多且大部分无法观测当前特写区域，MACRO 基于光栅化深度执行像素可观测性的贪心集合覆盖算法：将候选训练帧重投影至特写相机，依次贪心选取边际新可视像素最多的 \(K\) 个参考视图，并剔除被遮挡的视点。实验表明，\(K=3\) 与 \(P=3\) 可在覆盖率、几何保真度与计算开销之间达到最优平衡。

2. 尺度匹配图像空间裁剪与超分：破除潜空间不可逆失真

理论与实证分析揭示，预训练 VAE 编码器 \(\mathcal{E}\) 不具备尺度等变性，即 \(\mathcal{E}(\texttt{Resize}_s(\mathbf{x})) \neq \texttt{Resize}_s(\mathcal{E}(\mathbf{x}))\)，直接在潜变量层面上做空间变换会导致高维流形失配。因此，MACRO 坚持在送入 VAE 编码器之前的原始 RGB 图像空间完成尺度匹配。针对每一个深度平面 \(p\) 及其中心深度 \(d_p^{\text{cu}}\)，计算其在参考视图中的等效深度 \(d_p^{\text{ref}}\)，进而得到几何物理缩放倍率：

\[s_p = \frac{d_p^{\text{ref}}}{d_p^{\text{cu}}}\]

算法将属于深度平面 \(p\) 的 3D 点投影至选定的第 \(k\) 个参考相机成像平面上，以此投影质心为中心，在参考图像中截取视场角为 \(1/s_p\) 的局部图像块。为了避免低分辨率切片拉伸造成的模糊，截取得到的切片采用业界领先的图像超分辨率网络 PFT-SR 进行保真上采样，使其与特写视图统一至相同的处理分辨率（如 \(1024 \times 1024\)），生成 \(K \times P\) 个比例严格吻合的参考切片 \(\mathbf{I}_{\text{ref}}^{k,p}\) 并编码为 \(\mathbf{z}_{\text{ref}}^{k,p} = \mathcal{E}(\mathbf{I}_{\text{ref}}^{k,p})\)。

3. 深度感知注意力掩码：硬约束引导跨视图无缝纹理混合

若将所有参考切片与特写图无差别拼接输入扩散模型的联合自注意力层，不同深度的切片特征会互相干扰，甚至导致前景区域错误吸附背景切片的纹理。为此，MACRO 构建了一个严格的跨视图注意力掩码矩阵 \(\mathbf{A}'\) 来引导去噪网络中的参考混合层（Reference Mixing Layers）。对于空间 token 数量为 \(S_l = H_l \times W_l\) 的特征层，特写 token \(i\) 与来自参考图 \(k\)、深度平面 \(p\) 的切片 token \(j\) 之间的交叉注意力准入条件为：

\[\mathbf{A}[i, (k-1)S_l + j] = 1 \iff i \in \mathcal{M}_l^p \text{ 且 } j \in \mathcal{R}_l^{k,p}\]

基于此局部规则构造的全局多视图联合掩码 \(\mathbf{A}' \in \{0, 1\}^{(KP+1)S_l \times (KP+1)S_l}\) 遵循三项硬性准则：特写视图自身及各参考切片内部的自注意力完全放行；所有参考切片之间互不交叉（屏蔽 cross-reference attention）；特写 token 仅被允许单向查询对应相同深度平面的尺度匹配参考切片。注意力矩阵在计算 Softmax 之前与该掩码执行逐元素遮蔽，使单次前向扩散即可无串扰地合成最终特写细节。

损失函数 / 训练策略¶

MACRO 是一个纯粹的零样本免训练（Training-free）推理期优化框架。它无缝挂载于预训练的单步参考扩散修复模型（以基于 SD-Turbo 架构的 Difix 为骨干网络）之上，无需任何参数微调、损失反向传播或测试时优化（TTO）。整个流水线仅需一次单步去噪前向传递（Single Forward Pass），在单张 GPU 上每幅图渲染增强仅耗时 \(34 \sim 104\) 秒，相比渐进式微调 3DGS 的耗时方案（超 30 分钟）实现了数十倍的速度提升。

实验关键数据¶

主实验¶

论文针对特写合成任务缺乏标准化测试集的现状，构建了包含 40 个多样化真实大场景的 DL3DV-Closeup（283 对特写评估样本，平均缩放 \(\times 2.59\)）以及 10 个手机实拍特写场景的 MobileClose-10（39 对评估样本，平均缩放 \(\times 3.24\)）。实验将 MACRO 与纯几何渲染基线（3DGS、Mip-Splatting）、通用生成式视角合成（SEVA）、以及前沿参考引导扩散增强基线（GSFixer、Difix、渐进式微调的 Difix3D/PR-Difix3D）进行全方位对比。

数据集	方法	PSNR ↑	SSIM ↑	LPIPS ↓	DreamSim ↓	DINOv2 ↓
DL3DV-Closeup (40 scenes)	3DGS	16.22	0.514	0.449	0.254	0.458
	Mip-Splatting	16.47	0.528	0.469	0.248	0.431
	SEVA	12.25	0.337	0.549	0.155	0.267
	GSFixer	16.02	0.504	0.373	0.118	0.252
	Difix	15.99	0.491	0.337	0.123	0.203
	Difix3D	14.80	0.437	0.389	0.147	0.245
	PR-Difix3D	15.26	0.444	0.393	0.146	0.252
	MACRO (本文)	16.37	0.519	0.321	0.099	0.145
MobileClose-10 (10 scenes)	3DGS	15.00	0.458	0.605	0.296	0.547
	Mip-Splatting	14.41	0.428	0.667	0.335	0.521
	SEVA	13.91	0.401	0.646	0.270	0.417
	GSFixer	15.37	0.447	0.618	0.254	0.416
	Difix	14.78	0.412	0.559	0.272	0.395
	Difix3D	13.76	0.418	0.582	0.258	0.406
	PR-Difix3D	13.68	0.393	0.563	0.292	0.428
	MACRO (本文)	15.67	0.450	0.480	0.116	0.124

消融实验¶

在 DL3DV-Closeup 基准上对关键设计组件进行了系统的消融实验，验证参考图像数量 \(K\)、深度感知注意力掩码机制、图像上采样方法以及投影裁剪方式的作用。

配置	参考图数量 \(K\)	深度掩码	上采样方案	PSNR ↑	SSIM ↑	LPIPS ↓	DreamSim ↓	DINOv2 ↓	说明
完整模型 (MACRO)	3	✓	PFT-SR	16.37	0.520	0.321	0.099	0.145	完整流水线配置
单参考视角 (\(K=1\))	1	✓	PFT-SR	16.36	0.520	0.341	0.114	0.176	视角互补覆盖受限
无深度注意力掩码	3	—	PFT-SR	16.32	0.515	0.325	0.104	0.161	跨深度产生轻微纹理干扰
Lanczos 双三次插值	3	✓	Lanczos	16.40	0.523	0.352	0.101	0.157	插值高频损失导致感知变差
几何反向重投影变形	3	✓	—	16.21	0.490	0.391	0.203	0.410	单应/流场扭曲破坏微观纹理

关键发现¶

感知指标的大幅跨越：相比未经增强的原始 3DGS，MACRO 在感知质量上实现飞跃，在 DL3DV-Closeup 和 MobileClose-10 上将 DINOv2 距离分别降低了 68.3%（0.458 \(\to\) 0.145）与 77.3%（0.547 \(\to\) 0.124）；相比最佳扩散基线 Difix，DINOv2 距离进一步大幅下降 28.6% 与 68.6%，表明模型能够真正还原一致的物体结构而非凭空臆想。
渐进式微调方案的弊端：渐进式多轮优化基线（Difix3D 和 PR-Difix3D）的 PSNR 与 SSIM 相比单步基线反而下降（如 DL3DV 上 PSNR 跌至 14.80）。这是因为在逐层向近景逼近时，不可避免地会遭遇尺度失配区间，模型生成的不一致纹理反向更新 3DGS 会使高斯球参数受损并产生漂移伪影。
图像裁剪优于几何扭曲变形：直接利用深度反向投影形变（Warping）将参考图像强行对齐到特写视线，会导致 DINOv2 距离剧烈恶化至 0.410。原因在于纯 Warping 存在严重的自遮挡拉伸和插值模糊，彻底破坏了高频细节；而「局部矩形切片 + 超分辨率」策略保留了未经扭曲的原生自然纹理分布。
曝光差异的客观制约：在两个基准的实测场景中，特写与广角训练视角往往伴随着相机测光的自动调整。条件扩散模型在转移纹理时不可避免地继承了参考帧的曝光基准，导致全局像素对齐指标（PSNR）绝对值受到抑制，但感知类指标客观反映了真实的清晰度收益。

亮点与洞察¶

透彻揭示 VAE 尺度非等变性的物理本质：论文没有停留在网络调优层面，而是从理论和实验上证明了预训练视觉编码器对尺度变化的敏感脆弱性（\(\mathcal{E}(\texttt{Resize}_s(\mathbf{x})) \neq \texttt{Resize}_s(\mathcal{E}(\mathbf{x}))\)）。明确指出了在潜空间做尺度拉伸的无效性，为后续基于扩散模型的多尺度神经渲染奠定了理论基石。
以 3D 几何先验解耦 2D 扩散模型的空间尺度依赖：将 3DGS 输出的粗糙几何信息（深度图与相机位姿）巧妙转化为图像空间尺度缩放因子与注意力硬掩码，以最轻量的方式解决了 2D 骨干网络缺乏 3D 尺度不变性的核心短板。
极具实用价值的免训练即插即用架构：全流程无需针对任何场景或通用数据集重新微调扩散模型参数，避开了昂贵的多轮优化，直接以单步前向推理完成高质量增强，便于快速接入工业级视效管线与动态场景渲染。

局限与展望¶

超分辨率切片的高频细节衰减：参考图裁剪后经过超分辨率放大至标准输入尺寸，尽管利用了先进超分模型，在特写倍率过大（如超过 \(5\times\)）时仍不可避免地丢失部分超微观纹理，在模糊平滑与超分辨幻觉之间存在权衡。
固定深度平面数量的刚性约束：当前流水线将深度平面数量固定为 \(P=3\)。对于极深或结构极其复杂的场景，均匀 \(k\)-means 划分可能无法充分解析连续深度的微小尺度差；未来引入根据场景深度梯度自适应选择聚类数 \(P\) 的方案将更具弹性。
对初始光栅化深度质量的依赖：尺度因子计算和掩码构建严重依赖 3DGS 自身光栅化的深度图。当场景存在严重欠采样或稀疏视角盲区时，深度图的破损可能导致切片定位偏移；结合单目深度估计大模型进行几何联合平滑将是很有前景的拓展方向。

评分¶

新颖性: ⭐⭐⭐⭐☆ 深入剖析了扩散特征与 VAE 编码器的尺度非等变性痛点，设计了简洁高效的图像空间尺度匹配与深度注意力解耦机制。
实验充分度: ⭐⭐⭐⭐⭐ 打造了两个权威标准特写测试基准，涵盖 50 个真实场景与数百对特写视角，并在多维度度量指标上全面压制基线。
写作质量: ⭐⭐⭐⭐⭐ 理论分析清晰有力，实验设计严谨自洽，方法动机与设计方案紧密闭环。
价值: ⭐⭐⭐⭐⭐ 为解决 3DGS 虚拟漫游与影视制作中的微观特写渲染瓶颈提供了优雅实用的即插即用解决方案。