MAC-Splat: Multi-Attribute Consistency for High-Fidelity Sparse-View Reconstruction¶

会议: ECCV2026
论文: ECCV 原文
领域: 3D 视觉
关键词: 高斯泼溅、稀疏视角重建、跨视角匹配、语义引导、多属性一致性

一句话总结¶

MAC-Splat 用语义增强的二维匹配连接不同视角预测的三维高斯，联合约束位置、形状和外观，在 ScanNet++ 的 Very Wide 划分达到 21.34 dB PSNR，比 Splatt3R 高 5.18 dB。

研究背景与动机¶

可泛化高斯泼溅希望从少量输入图像直接预测场景表示，避免对每个新场景进行耗时优化。但从稀疏图像预测高斯，并不等于已经确定了正确的三维表面：许多不同的位置、尺度与透明度组合都可能在训练视角产生相似图像。当视角间隔很大时，遮挡和视角相关外观进一步削弱对应关系，训练图像中的低误差也可能掩盖漂浮物、重复表面和细长结构扭曲。 PixelSplat、MVSplat 等方法引入多视角几何，Splatt3R、NoPoSplat 等方法降低对输入位姿的依赖，但仅靠渲染后的二维监督仍难排除这些三维歧义。

补充深度、法线或基础模型特征可以改善重建，却未必直接回答一个问题：两张图像中对应同一处表面的高斯，是否真的具有相容的三维属性？如果只是让两个输出看起来合理，它们仍可能各自形成不一致的局部解释。另一方面，直接对匹配的高斯施加一致性也有风险，因为错误匹配会把不同物体上的基元强行拉到一起。因此本文同时处理监督的两个环节：先提高用于连接基元的匹配可靠性，再让这些连接约束三维参数，而不只约束投影颜色。

作者把 MASt3R 的几何描述子与冻结 DINOv3 的语义特征结合，用少量可信对应点建立跨视角锚点。语义信息在这里不是生成缺失图像，也不是提供物体类别标签，而是帮助描述子区分外观相似却结构不同的位置。随后，一致性监督不仅检查两个中心是否重合，也检查高斯的主轴尺度、透明度和颜色表示是否一致。 核心 idea：把语义增强的二维对应关系变成直接约束三维高斯多种属性的训练信号，让不同视角对同一局部表面的解释相互校正。

方法详解¶

整体框架¶

输入是稀疏场景图像，方法按图像对建立对应关系，并通过前馈网络预测用于新视角合成的高斯表示。 MASt3R 提供几何骨干和跨视角交互，冻结 DINOv3 为每张图像提供稠密语义特征。残差语义融合只修改最后一层解码器的描述子；对应关系筛选从这些描述子中保留相互最近邻且置信度足够高的像素对。高斯预测头同时输出与描述子网格对齐的参数图，包括三维中心、协方差、不透明度和球谐系数。每个保留的像素对从两张参数图中取出一对高斯，将其置于公共世界坐标系后计算多属性一致性。与此同时，高斯渲染的目标视图继续接受图像重建与感知监督，因此三维一致性补充而不是替代二维拟合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["稀疏输入图像"] --> Features["MASt3R 特征<br/>冻结 DINOv3 特征"]
        Features --> Fusion["残差语义融合"]
        Fusion --> Matches["对应关系筛选"]
        Input --> Gaussians["骨干与高斯头<br/>预测参数图"]
        Matches --> Pair["采样对应高斯<br/>转换到世界坐标"]
        Gaussians --> Pair
        Pair --> MAC["多属性一致性"]
        Gaussians --> Render["新视角渲染"]
        MAC -.-> Train["训练时联合监督"]
        Render --> Photo["目标图像监督"]
        Photo -.-> Train

图中的 MAC 分支是训练损失，不是测试时必须反复执行的优化循环。训练时使用真实相机到世界变换来对齐高斯；测试时输入视角位姿由 MASt3R 估计，不需要输入真实位姿或外部 SfM。评测仍使用真实目标相机定义要渲染的新视角，这与“输入无需真实位姿”并不矛盾。最终输出是能够渲染新视角的高斯场景表示，而不是二维匹配列表本身。

关键设计¶

1. 残差语义融合：保留几何描述子，同时补足语义区分能力

MASt3R 原有描述子承担几何匹配，直接用语义特征替换它可能破坏预训练得到的局部对应能力。本文先把 DINOv3 特征双线性缩放到解码器网格，再用线性层投影到描述子维度。随后把几何特征与对齐后的语义特征拼接，输入一个小型 MLP，预测加回原描述子的残差。该 MLP 在所有空间位置共享，并且仅作用于最终解码器层，不是在每一层插入新的语义分支。这种做法把语义信息当作几何特征的修正量，使后续匹配仍沿用原骨干的表示基础。

冻结匹配头并不意味着输出对应关系不变：匹配由输入描述子间的距离决定，而残差融合改变了这些距离。同理，冻结的置信度头接收新描述子后也可以产生不同分数。 DINOv3 本身保持冻结，作者明确训练的是残差融合模块与高斯预测头。论文未充分列清其余所有骨干参数的优化器分组，因此不能据此断言整个 MASt3R 骨干均被更新或均被冻结。这一分支的目标是改善下游三维监督的锚点，而不是增加一个独立的语义分割任务。

2. 对应关系筛选：只让可信像素对连接三维基元

融合后的两张描述子图先按余弦距离寻找相互最近邻。也就是说，第一张图中某个位置的最佳匹配必须反过来也把它选为最佳匹配，单向相似还不足以成为锚点。这种双向约束可剔除一部分重复纹理和遮挡区域中的歧义，但不保证所有剩余匹配都正确。接下来，冻结的逐像素置信度头为两端分别评分，两端分数的乘积作为该匹配的联合置信度。只有联合置信度超过阈值的匹配才保留；同一个乘积还会继续充当 MAC 损失的软权重。因此可靠性控制既有硬筛选，也有保留下来的匹配之间的连续加权。

二维锚点与高斯参数图位于同一网格上，方法通过可微双线性网格采样取出对应位置的高斯参数。这一步把“像素对应”明确转成“参数对应”，使三维属性差异能够反向影响预测分支。但可微采样不意味着离散最近邻选择本身也可微，原文没有宣称后者。每个采样图像对产生自己的匹配集合，多对图像可以给同一高斯提供相互重叠的约束。若筛选后没有任何匹配，MAC 项直接归零，网络退回图像监督，而不是对低可信候选强行施加一致性。作者称阈值选择较鲁棒，但正文未给出阈值扫描表，因此这仍是方法说明而非完整的敏感性证据。

3. 多属性一致性：约束同一表面的不同三维解释

首先要消除坐标系造成的假差异：中心按相机到世界刚体变换旋转并平移，协方差则只随旋转变换。位置项对世界坐标中心之差的 L1 范数施加 Huber 惩罚，并且仅在两端中心都位于各自相机前方时计算。 Huber 的作用是降低大残差相对于纯二次惩罚的影响，避免少数异常对应支配更新。这项监督直接压缩相同局部表面被预测到不同深度位置的自由度，针对的是漂移和重复表面。中心重合却不能保证两个高斯的覆盖范围相容，因此方法另设形状项。形状项比较协方差特征值的对数，以下是原文式 (5) 的可读记法，沿用其 Huber 与 L1 定义：

\[ \ell_{\mathrm{shape}}^{(k)} =\mathcal H\left(\left\|\log\boldsymbol{\lambda}^{1,k} -\log\boldsymbol{\lambda}^{2,k}\right\|_1\right). \]

这里 \(\boldsymbol{\lambda}^{1,k}\) 与 \(\boldsymbol{\lambda}^{2,k}\) 是一对世界坐标协方差的特征值向量，而不是损失权重。对数差比较的是对应主轴尺度的相对比例，因此两端同时发生相同的全局缩放时差异不变。只看特征值也让该项不受旋转影响，但代价是它不会约束高斯主轴方向。还应区分“共同缩放不变”与“只约束各向异性”：两端即使都是各向同性高斯，只要尺度不同，仍会受到惩罚。外观项则把不透明度差与球谐系数差的 L1 惩罚相加，减少中心与形状相容但颜色或透射解释不一致的情况。它是参数级外观约束，并不是把不同视角的最终像素颜色强制设成一样。正文没有充分交代不同坐标系下球谐系数的方向对齐细节，因而这一实现边界需要另行核对。三种属性项按内部权重相加，再按匹配联合置信度加权求和，最后除以置信度总和与一个防零常数之和。这种归一化避免仅因有效匹配数量不同就任意改变损失量级，但权重的可靠性仍取决于描述子与置信度估计。

损失函数 / 训练策略¶

二维部分由目标渲染图像的 L2 重建项和 LPIPS 感知项组成，三维部分采用上述 MAC。依据正文文字，总目标可简记如下；缓存中的原式 (9) 有字符缺失，这里不把损坏排版当作精确公式转录：

\[ \mathcal L_{\mathrm{total}} =\mathcal L_{\mathrm{photo}}+0.25\,\mathcal L_{\mathrm{MAC}}. \]

MAC 内部位置、形状、外观权重分别为 1.0、0.02、0.1，所有实验固定这些设置。训练使用 ScanNet++、4 张 NVIDIA RTX 4090 与 AdamW，学习率为 \(10^{-5}\)。 MASt3R 对应关系辅助损失理论上可加入，但所有报告结果中其权重均为零。这说明论文的改进不能归因于额外显式匹配损失，而来自融合特征与三维一致性配合渲染监督。作者用对数项对小特征值的梯度含有逆特征值因子来解释抗退化效果。不过该效应要求存在非零差异；若匹配的两个高斯一起缩小且保持相同特征值，形状损失仍可为零。因此它更准确地抑制跨视角不一致的退化，不能单独视为保证高斯永不塌缩的屏障。

实验关键数据¶

主实验¶

下表摘自原文表 1，第 10 页；PSNR 单位为 dB，PSNR/SSIM 越高越好，LPIPS 越低越好。指标默认在 sRGB 全图上对目标视图和测试场景求平均，不是可见区域掩码指标。 Close、Medium、Wide、Very Wide 的覆盖阈值 \((\phi,\psi)\) 分别为 \((0.9,0.9)\)、\((0.7,0.7)\)、\((0.5,0.5)\)、\((0.3,0.3)\)，越低表示重叠越少。

划分	方法	PSNR	SSIM	LPIPS
Close	Splatt3R	18.89	0.757	0.233
Close	PixelSplat	23.98	0.817	0.169
Close	MAC-Splat	22.76	0.810	0.146
Medium	Splatt3R	18.79	0.760	0.228
Medium	PixelSplat	20.31	0.783	0.227
Medium	MAC-Splat	22.60	0.816	0.135
Wide	Splatt3R	16.71	0.686	0.289
Wide	PixelSplat	18.46	0.770	0.235
Wide	MAC-Splat	22.09	0.818	0.142
Very Wide	Splatt3R	16.16	0.662	0.289
Very Wide	PixelSplat	15.36	0.673	0.329
Very Wide	MAC-Splat	21.34	0.818	0.158

不同方法沿用官方权重及位姿需求，故这不是统一训练预算、统一输入位姿信息的受控架构比较。 MASt3R 与 DUSt3R 在论文中使用彩色点云渲染，也不应把它们与高斯渲染的差距直接解释为几何估计能力差距。

消融实验¶

下表摘自原文表 4，第 14 页，保留 Close 与 Very Wide 两端难度；其余损失、训练日程和超参数固定。去掉 MAC 时保留标准图像损失；去掉 DINOv3 时仍保留 MAC，只移除残差语义融合分支。

划分	配置	PSNR	SSIM	LPIPS
Close	去掉 MAC	19.94	0.791	0.193
Close	去掉 DINOv3	20.57	0.749	0.237
Close	完整模型	22.76	0.810	0.146
Very Wide	去掉 MAC	17.12	0.695	0.278
Very Wide	去掉 DINOv3	20.23	0.785	0.203
Very Wide	完整模型	21.34	0.818	0.158

原文表 2，第 11 页还报告 DTU 零样本迁移：本文只在 ScanNet++ 训练，不做 DTU 微调，基线使用各自官方预训练模型。所有方法使用 DTU 官方相机内参与共同输入分辨率，指标对所有目标视图求平均。

方法	PSNR	SSIM	LPIPS
PixelSplat	13.33	0.517	0.329
MVSplat	14.03	0.522	0.334
Splatt3R	12.13	0.454	0.437
MAC-Splat	17.32	0.605	0.311

关键发现¶

从 Close 到 Very Wide，MAC-Splat 的 PSNR 只下降 1.42 dB，PixelSplat 下降 8.62 dB；但 Close 上 PixelSplat 的 PSNR 和 SSIM 更高，不能称本文所有设置全指标最优。
Very Wide 去掉 MAC 后比完整模型低 4.22 dB，去掉 DINOv3 后低 1.11 dB；这支持三维约束是宽基线性能的重要来源，但两项消融不能分解三种属性各自的贡献。
表 3，第 13 页的可见区域评测中，Very Wide 的 MAC-Splat/Splatt3R 分别为 19.06/13.04 dB，差 6.02 dB，说明收益不只来自未观测区域的图像补全。
可见性掩码要求像素至少在一个上下文视图可见且满足深度一致性，不能将该结果误称为仅对两输入共同可见交集的评测。

亮点与洞察¶

监督单位从渲染图像下沉到对应高斯，能够直接处罚二维损失难区分的三维解释；二维监督仍负责把整个表示锚定到真实外观。
语义特征服务于“在哪里施加几何约束”，而不是简单增加感知损失，这使基础模型的用途与几何失败模式有明确联系。
匹配硬门控、软置信度和位置/形状 Huber 惩罚共同处理不可靠锚点；空匹配时归零也给出了明确的退化运行路径。

局限与展望¶

作者将未知位姿或动态场景作为进一步拓展方向；当前测试虽估计输入位姿，但训练仍依赖真实位姿，不能据此声称已经完成完全无位姿监督学习。
正文没有单独消融位置、形状与外观项，也未给出直接匹配精度、置信度校准、运行延迟或阈值敏感性的系统量化。
读者分析：特征值一致不代表协方差方向一致，共同塌缩也不一定触发惩罚；可考虑另加方向约束或最小尺度约束，但这些不是本文验证过的结果。
读者分析：无重叠区域缺少可靠锚点时仍主要依靠图像先验，且输入位姿估计错误会影响世界坐标对齐；需要有针对性的位姿扰动与无匹配测试。
缓存中多处公式存在抽取乱码，本文只采用文字和可辨认公式支持的机制；球谐方向处理、具体置信度阈值及若干训练细节仍待实现材料核实。

评分¶

新颖性: 4/5。贡献集中在语义增强匹配与基元多属性监督的组合，模块本身并非全新几何骨干。
实验充分度: 3/5。覆盖重叠难度、可见区域、跨数据集和两项模块消融，但属性级消融与效率证据不足。
写作质量: 3/5。任务与模块关系清楚，但形状不变性和抗退化的解释需要限定，且部分实现细节未充分交代。
价值: 4/5。为低重叠稀疏重建提供了可复用的直接三维监督思路，宽基线结果具有实际参考意义。