LSRM: High-Fidelity Object-Centric Reconstruction via Scaled Context Windows¶

会议: ECCV 2026
论文: ECCV 2026 Poster
领域: 重建与渲染
关键词: 3D重建, 原生稀疏注意力, 逆渲染, 上下文窗口扩展, 序列并行

一句话总结¶

针对前馈式3D重建在精细纹理与外观保真度上难以匹敌密集视图优化的痛点，LSRM通过原生稀疏注意力将物体与图像Token上下文窗口扩展20倍和2倍以上，并结合3D空间感知路由与块感知序列并行，实现了高保真物体网格重建与逆渲染。

研究背景与动机¶

基于大规模Transformer的前馈式3D基础模型近年来取得了长足进步，将物体级3D重建与逆渲染的耗时从传统优化管线的数十分钟压缩至数秒的前馈推理，并在强高光物体上展现出更强的几何鲁棒性。然而，现有前馈方法在恢复精细纹理细节上存在显著短板，诸如模糊文字、涂抹徽标以及面部五官变形等瑕疵频繁出现。尽管后续工作尝试替换3D底层表征（如高斯泼溅或神经辐射场）或引入后处理纹理增强，其生成质量与密视角连续优化方法之间仍存在不可忽视的保真度鸿沟。

造成这一差距的根本症结在于Transformer上下文窗口（Context Window）的物理瓶颈。要在三维空间完整描绘高频微观结构，必须大幅增加有效物体Token与2D高分辨率图像Token的规模；然而，全注意力机制面临随序列长度平方乃至三次方爆炸的显存与计算开销，直接将3D体素或2D特征图拔高分辨率在硬件上难以承受。与此同时，直接套用自然语言处理领域的稀疏注意力算法时，不仅在网络浅层无法建立可靠的2D-3D几何投影关联，物体表面非均匀分布的有效Token还会引发各GPU工作负载严重失衡与训练卡顿。

本文的切入角度是打破注意力全局密集的算力枷锁，在软硬件协同层面重新定制专属于3D重建的稀疏注意力扩展体系。核心 idea：将原生稀疏注意力（NSA）与粗到细残差管线深度融合，以3D空间几何显式投影约束实现空间感知路由，辅以保持块局部性的块感知序列并行与全局All-gather-KV机制，将有效物体Token数扩展20倍并无损恢复超高频几何与材质细节。

方法详解¶

整体框架¶

LSRM采用两阶段粗到细（Coarse-to-Fine）架构：阶段1先由密集重构Transformer在低分辨率下定位出承载几何表面的核心体素，并剪除图像背景Token；阶段2冻结阶段1的密集特征体，将其作为几何先验与网络权重初始化，通过稀疏重构Transformer直接预测高分辨率残差特征体。在推理阶段，射线步进根据有效体素掩码自适应混合高频稀疏体与低频密集体，经轻量MLP解码出SDF几何与RGB辐射场或BRDF物理材质（反照率 \(a\)、粗糙度 \(r\)、金属度 \(m\)）。

整个流水线在跨GPU并行、多尺度残差预测与几何引导选块上协同运作，其数据流向如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["多视角位姿图像<br/>(12-18 views) + Plücker光线"] --> S1["密集重构初始化<br/>低分辨率密集Transformer预测低频体Xd"]
    S1 --> S2A["粗到细残差预测<br/>SDF阈值提取表面稀疏体素并预测高分辨率残差"]
    S2A --> S2B["3D空间感知路由<br/>相机外参显式3D投影与欧氏距离检索相关Token块"]
    S2B --> S2C["块感知序列并行<br/>空间块设备局部化 + All-gather-KV跨GPU负载均衡"]
    S2C --> Out["混合解码渲染<br/>高保真网格/纹理/SDF/BRDF参数输出"]

关键设计¶

1. 粗到细稀疏残差预测：从几何先验锚定高频残差 直接在无约束的高分辨率3D网格上自底向上回归极度困难且收敛缓慢。LSRM设计了两阶段预测策略。阶段1使用分辨率为 \(S_\text{img}^\text{d}=32\) 与 \(S_\text{vol}^\text{d}=16\) 的密集模型生成空间分辨率 \(S_\text{vol}^\text{df}=64\) 的低频密集特征体 \(X_\text{d}\)。阶段2在将其分辨率分别扩展至 \(S_\text{img}=96\) 与 \(S_\text{vol}=96\) 时，先剔除背景图像Token，并在每个3D体素内部均匀采样 \(T=4^3=64\) 个空间点，利用阶段1冻结的 \(X_\text{d}\) 评估连续SDF数值。只有满足距离阈值 \(\tau\) 或跨越零等值面的体素才会被激活生成稀疏Token：

\[M_{i,j,k}^\text{vol} = \mathbb{I}\left(\min_{p_t \in \mathcal{P}_{i,j,k}} |s_t| \le \tau \quad \text{or} \quad \left(\min_{p_t \in \mathcal{P}_{i,j,k}} s_t\right)\left(\max_{p_t \in \mathcal{P}_{i,j,k}} s_t\right) \le 0\right)\]

稀疏Transformer并不从零拟合高分辨率体素，而是直接学习密集预测上采样特征 \(x_\text{d}^\text{up}\) 之上的稀疏高频残差：\(x^{(m)} = \text{NSABlock}^{(m)}\left(x^{(m-1)} + \text{Linear}^{(m)}(x_\text{d}^\text{up}), y^{(m-1)} + \text{Linear}^{(m)}(y_\text{d}^\text{up})\right)\)。输出线性映射为 \(S_\text{vol}^\text{f}=384\) 的稀疏特征体 \(X_\text{s}\)。在最终体渲染进行光线步进时，内部活跃体素直接查询 \(X_\text{s}\) 的高频细节，空白区域保留 \(X_\text{d}\) 的宏观结构，交界处通过线性加权平滑过渡，大幅降低显存开销。

2. 3D空间感知路由：突破纯注意力打分的几何错配 原生NSA在选取KV压缩块时完全依赖低维特征点积注意力分数。然而在3D重建任务的浅层Transformer中，尚未充分聚合全局几何的Token很难单纯靠语义分数找到正确的投影视锥对应块，造成早期层注意力崩溃并损失高频微结构。LSRM提出用阶段1重建的刚性几何与已知相机外参进行显式3D空间路由。

对于体素查询Token，其3D坐标 \(p_\text{vol}\) 取体素中心；对于图像查询Token，其3D坐标 \(p_\text{img}\) 取该 \(8 \times 8\) Patch沿光线在阶段1特征体 \(X_\text{d}\) 中渲染出的最大不透明度表面点。在跨图路由时，系统先利用相机内参和外参将查询点 \(p\) 投影至各输入图像平面，筛选出2D投影距离最近的 \(B_\text{i}\) 个候选图像块；接着计算 \(p\) 与候选块内所有Token在世界坐标系下的最小3D欧氏距离，选取距离最近的块执行注意力。同理，在体素块匹配中直接依据块中心3D几何距离进行拓扑邻域匹配。该策略消除了传统自注意力在前几层的盲目搜索，使文字和五官等精细纹理在浅层即可汇聚对应视图的高清像素线索。

3. 块感知序列并行：保持块局部性与低开销KV汇聚 由于物体表面形态千差万别，稀疏Token在空间呈现高度非均匀分布。不同样本在不同GPU上若采用简单分块，会引发严重的跨卡负载失衡，造成最慢Worker拖慢整机迭代。传统随机重采样丢弃多达三分之一的活跃Token，直接破坏优化稳定性。LSRM提出块感知序列并行（Block-aware Sequence Parallelism）。

在分发Token时，算法以 \(8 \times 8\) 图像块和 \(8 \times 8 \times 8\) 体素块为最小原子单位进行GPU均匀切分，坚决不切断块内部结构。此举确保了块内的窗口自注意力（Window Attention）以及KV特征压缩池化（\(k^\text{cmp}=\text{AvgPool}(\text{ResBlock}(k_t))\)）能够完全在单卡本地独立计算，无任何跨设备通信。为了跨卡执行全局压缩注意力与选块注意力，LSRM利用GQA的高压缩比（32个查询头对应仅2个KV头），在每个NSABlock前使用高效的All-gather-KV通信原语将紧凑的KV缓存全量广播至所有设备，而规模庞大的Query保持本地分片计算。该设计在保持全局感受野的同时，实现了8卡超线性负载均衡，支撑起30万物体Token与10万图像Token的极致扩展。

损失函数 / 训练策略¶

训练采用三阶段课程学习策略： 1. 阶段1（5天）：在600K个3D模型上训练低分辨率密集模型（\(S_\text{vol}^\text{d}=16, S_\text{img}^\text{d}=32\)），使用RGB体渲染损失、前景掩码二元交叉熵损失与深度平滑损失； 2. 阶段2（7天）：冻结阶段1权重，以中等分辨率（\(S_\text{img}=64, S_\text{vol}=64\)）在线训练稀疏残差Transformer，支持大Batch Size与快速特征对齐； 3. 阶段3（3天）：将输入扩展至全尺度（\(S_\text{img}=96, S_\text{vol}=96\)），启用块感知序列并行，在最后500–1000次迭代中引入数值表面法线损失以压制几何伪影。整个管线在128块NVIDIA H100 GPU上完成训练。

在扩展到逆渲染任务时，模型直接加载收敛的NVS检查点，解耦背景光照编码，并将MLP颜色解码头权重迁移至BRDF物理属性预测分支，在真实HDR环境贴图与强几何增强下微调迭代次数减半即可收敛。

实验关键数据¶

主实验¶

在Google Scanned Objects (GSO) 基准数据集上评估新视角合成（NVS）性能，输入为16张均匀采样的 \(768 \times 768\) 图像，测试视角渲染为12张 \(512 \times 512\) 图像，与主流前馈式SOTA方法对比结果如下：

方法	PSNR (↑)	SSIM (↑)	LPIPS (↓)
MeshLRM	28.13	0.923	0.093
GS-LRM	30.52	0.952	0.050
LIRM	30.65	0.949	0.054
LSRM (Ours)	33.08	0.971	0.028

在StanfordORB、DTC与OWL三大逆渲染公开基准上的测试结果（StanfordORB与DTC提供PSNR-H与PSNR-L两种光照评估，CD为倒角距离 \(\times 10^{-2}\)）：

数据集	方法	PSNR-H (↑)	PSNR-L (↑)	SSIM (↑)	LPIPS (↓)	CD (↓)
StanfordORB	NVDiffrecMc (优化)	24.43	31.60	0.972	0.036	0.51
	InvRender (优化)	23.76	30.83	0.970	0.046	0.44
	NeuralPBIR (优化)	26.01	33.26	0.979	0.023	0.43
	LIRM (前馈)	25.09	32.45	0.972	0.025	0.38
	LSRM (Ours, 前馈)	25.47	32.85	0.977	0.022	0.29
DTC	NVDiffrecMc (优化)	27.78	34.55	0.952	0.042	-
	InvRender (优化)	29.52	35.98	0.961	0.037	-
	LIRM (前馈)	27.65	34.84	0.960	0.031	-
	LSRM (Ours, 前馈)	29.67	35.66	0.964	0.025	-
OWL	NVDiffrecMc (优化)	19.82	-	0.730	0.389	-
	InvRender (优化)	23.77	-	0.780	0.369	-
	LIRM (前馈)	23.27	-	0.770	0.322	-
	LSRM (Ours, 前馈)	24.88	-	0.790	0.269	-

在少视角泛化测试中，虽然LSRM仅在12–16视角下训练，但在GSO上仅输入8个视角时仍达到 32.46 dB PSNR 与 0.031 LPIPS，显著超越输入16个视角的LIRM（30.56 dB 与 0.054 LPIPS）。在逆渲染仅输入6个视角时，LSRM在StanfordORB上取得 0.023 LPIPS 与 0.32 CD，优于18视角输入的LIRM（0.025 LPIPS 与 0.38 CD）。

消融实验¶

在GSO数据集上验证上下文窗口尺度与3D空间感知路由的逐步增益：

配置	图像/体素分辨率	3D空间路由	PSNR (↑)	SSIM (↑)	LPIPS (↓)	说明
Stage 1 Dense	\(S_\text{img}=32, S_\text{vol}=16\)	无	28.45	0.934	0.079	粗阶段密集基线
LSRM (较小体素)	\(S_\text{img}=64, S_\text{vol}=48\)	带路由	31.68	0.958	0.044	压缩体素上下文窗口
LSRM (较小图像)	\(S_\text{img}=48, S_\text{vol}=64\)	带路由	31.82	0.959	0.043	压缩图像上下文窗口
LSRM (中等尺度)	\(S_\text{img}=64, S_\text{vol}=64\)	无路由	31.34	0.956	0.045	依赖纯NSA注意力打分
LSRM (中等尺度)	\(S_\text{img}=64, S_\text{vol}=64\)	带路由	31.93	0.962	0.040	验证几何路由有效性
LSRM (全量尺度)	\(S_\text{img}=96, S_\text{vol}=96\)	无路由	32.72	0.968	0.032	扩展上下文但无几何引导
LSRM Full Model	\(S_\text{img}=96, S_\text{vol}=96\)	带路由	33.08	0.971	0.028	完整模型达到最佳表现

关键发现¶

上下文窗口规模是保真度的首要杠杆：将体素与图像分辨率从 \(64 \times 64\) 提升至 \(96 \times 96\)，在无路由条件下PSNR提升达 1.38 dB，LPIPS从 0.045 骤降至 0.032，说明上下文长度直接决定了模型捕获高频信号的信息容量上限。
体素Token扩展贡献大于图像Token：在固定另一方为64的前提下，将 \(S_\text{vol}\) 从64降至48导致PSNR下降 0.25 dB（31.93 \(\to\) 31.68），而将 \(S_\text{img}\) 从64降至48仅下降 0.11 dB（31.93 \(\to\) 31.82），证明三维实体表征的容量在反投影重建中起主导作用。
3D空间路由精准解决文字与面部模糊：无论在中等尺度还是全量尺度下，引入显式几何路由均能带来约 0.36–0.59 dB 的PSNR增益，并将LPIPS进一步压低 11%–12.5%，在视觉上彻底消除易拉罐标签文字和人偶面部的伪影。

亮点与洞察¶

3D显式几何对稀疏注意力的归纳偏置赋能：将传统NLP中依赖参数权重的抽象注意力路由，改换为基于已知外参投影与空间欧氏距离的几何物理索引，既轻量又在网络浅层彻底解决了2D与3D特征的跨模态空间对应难题。
高压缩比GQA与All-gather-KV的硬件级配合：借由GQA仅2个KV头的极致压缩特性，全局广播仅需极小通信带宽，既消除了卡间负载失衡，又保留了全局无损交叉注意力的感受野。
少视角输入下的零样本鲁棒泛化：虽然模型仅在密集输入（12–16视角）下训练，但凭借高维上下文空间构建出的致密几何体，在削减至6–8个视角时依然以大比分压制在该视角专门训练的基线模型，展现出极强的抗遮挡与补全能力。

局限与展望¶

物理逆渲染的全局参数歧义尚未根除：由于光照、反照率与材质高光之间的不适定分解难题，即使LSRM在感知指标LPIPS上超越密集优化基准，在涉及粗糙度（Roughness）和金属度（Metallic）的解耦上仍存在全场系统性偏移，导致像素级PSNR指标提升不及感知指标显著。
微米级极端超分辨率仍有瓶颈：对于饮料罐配料表等极限微小字迹，当前 \(96^3\) 稀疏体素和8卡并行仍显不足，未来需要引入DeepSpeed Ulysses或Ring Attention将Token规模进一步向千万级拓展。
拓展至大尺度动态场景与通用视频生成：当前方法集中于物体中心（Object-centric）静态重建，如何将块感知稀疏注意力与动态时间维度相结合以处理复杂大场景仍待探索。

评分¶

新颖性: ⭐⭐⭐⭐☆ (首次在多视角3D前馈重建与逆渲染中系统性落地原生稀疏注意力与3D感知路由)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖NVS、三大逆渲染基准、多尺度消融与极少视角鲁棒性测试，论证极其详实)
写作质量: ⭐⭐⭐⭐⭐ (问题定义切中核心，架构与并行机制图文对应清晰，推导严谨自洽)
价值: ⭐⭐⭐⭐⭐ (为前馈3D基础模型向高精工业级数字孪生落地迈出了实质性的一步，代码与权重公开)