IRIS: Intersection-aware Ray-based Implicit Editable Scenes¶

会议: ECCV2026
论文: ECCV 原文
领域: 3D 视觉
关键词: 神经锚点、解析射线采样、射线一致性聚合、场景编辑、神经辐射场

一句话总结¶

IRIS 把可移动高斯作为神经特征载体，用解析射线采样和局部特征聚合替代密集采样及逐点三维近邻搜索，在 NeRF Synthetic 上以 32.65 dB PSNR 获得 6.038 FPS，但其优势主要是相对既有可编辑神经场的效率提升，而非所有场景都达到实时渲染。

研究背景与动机¶

NeRF 能连续表示外观和视角相关效果，但渲染时要沿射线反复查询网络；3D Gaussian Splatting 的显式基元容易移动，渲染也快，却采用不同于连续神经场的外观表示。EKS 等混合方法因此让高斯携带神经特征，试图同时保留神经场的细节和显式几何的可编辑性。不过，若仍沿每条射线密集采样，并对每个采样点执行三维 KNN 查询，显式几何并没有真正消除渲染瓶颈。

编辑还暴露出第二个问题：物体已经移动，固定网格、旧占据状态或不恰当的邻域仍可能影响采样与插值。这样既会在空白处浪费网络查询，也可能把移动物体与不相连背景的特征混合，出现拖影或边界污染。IRIS 的目标并不是生成新的物体，而是在已重建场景中让采样位置、局部外观和几何变形共同移动。

本文的切入点是直接利用已有高斯的几何范围决定在哪里查询，再利用同一条射线上的有序候选近似局部邻域。核心 idea：让神经特征附着于可移动锚点，并让采样与聚合追随锚点几何，从源头减少空空间计算和编辑后的错误混合。

方法详解¶

整体框架¶

输入是用于场景重建的多视角图像，优化得到一组携带几何、不透明度和特征的神经锚点，以及浅层解码网络。渲染新视角时，射线交互选择器（RIS）先找到相关锚点对应的采样位置，射线一致性聚合（RCA）再将局部特征组合成网络输入，最后解码并沿深度顺序合成像素。

训练期间使用多分辨率哈希网格组织锚点特征，推理前将特征固化到各锚点中。编辑时改变锚点的几何参数，并校正查询方向，而不重新训练整个神经场；外部物理引擎负责产生变形，IRIS 负责保持变形后的表示和渲染一致。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["多视角图像"] --> Anchors["可移动神经锚点"]
        Anchors --> RIS["射线交互选择器"]
        Camera["目标相机射线"] --> RIS
        RIS --> RCA["射线一致性聚合"]
        RCA --> Decode["几何约束解码<br/>与编辑一致性"]
        Edit["外部几何变形"] --> Decode
        Decode --> Output["新视角或编辑图像"]
        Edit --> Anchors

关键设计¶

1. 可移动神经锚点：把外观代码固定在几何载体上

每个锚点包含高斯中心、协方差、不透明度 logit 和一个可学习特征向量。协方差通过旋转与尺度参数化，旋转用四元数存储，既能表达各向异性影响范围，也方便后续几何操作。特征向量不直接等于 RGB，而是存储由浅层 MLP 解码的局部纹理与材质密度信息。

训练时，特征按锚点中心的位置从多分辨率哈希网格查询，以获得空间一致的初始化和特征组织。推理前将优化后的特征显式存入锚点，切断它与全局网格坐标的依赖。因此，物体搬到新的位置时带走的是自己的外观代码，而不是从新位置的网格读取另一组特征。这里的“无需网格变形”只针对固化后的推理与编辑，不能理解为训练从未使用网格。

2. 射线交互选择器：用几何候选替代盲目的体积采样

传统 proposal sampler 需要辅助网络先估计密度，占据网格需要维护占据状态并遍历体素，粗到细采样则要多次分配射线查询预算。RIS 利用锚点本来就具有显式空间范围这一事实，将问题改为射线与定向椭球的解析交互定位，直接在有意义的位置产生神经查询。

实现采用受 3DGRT 启发的代理几何：用经过仿射变换的二十面体保守包围高斯，通过 OptiX 将交互查找交给 RT 核，并确定沿射线的最大密度位置。候选按深度排序后交给后续聚合，不需要为了定位物体先查询空白区域。高斯没有天然的有限支撑边界，因此这里应理解为基于代理范围的有效交互，而不是对无限高斯分布定义一个普通实体表面。

最大每射线交互数（IPR）限制可保留的候选预算。候选跟着锚点移动，使移出原训练包围盒的物体仍可被采样；但预算过小仍会漏掉必要的深度覆盖，所以“解析”并不意味着任意少的样本都足够。

3. 射线一致性聚合：在有序候选上近似局部三维邻域

只解码单个锚点容易产生离散外观，逐点三维 KNN 又太贵。RCA 在有序采样列表上取对称滑动窗口，通过向量化的 unfolding 一次获得邻居参数。它是沿射线的一维近邻近似，不保证找到与完整三维 KNN 完全相同的邻居集合。

深度序号相邻也不代表物理位置相近。RCA 因此要求候选属于同一条射线，而且采样点到候选锚点中心的欧氏距离小于阈值 \(\tau_{\mathrm{dist}}\)。通过检验的邻居按马氏距离形成 logit，非法候选在 Softmax 前屏蔽为负无穷。下面按原文式 (1) 的文字定义整理了缓存中断裂的排版，没有另设新的权重规则：

\[ w_{kj}=\frac{\exp(l_{kj})}{\sum_{m\in\mathcal W_k}\exp(l_{km})},\qquad \hat{\boldsymbol f}(\boldsymbol x_k)=\sum_{j\in\mathcal W_k}w_{kj}\boldsymbol f_j,\qquad \hat\alpha(\boldsymbol x_k)=\sum_{j\in\mathcal W_k}w_{kj}\alpha^{\mathrm{raw}}_{kj}. \]

这里的 \(\mathcal W_k\) 是窗口，\(l_{kj}\) 是已经应用有效性屏蔽的 logit，\(\alpha^{\mathrm{raw}}_{kj}\) 由高斯衰减和锚点不透明度的 sigmoid 值相乘得到。聚合同时产生连续特征和几何权重：前者给网络提供局部外观，后者告诉网络这个位置是否真的受到显式几何支持，而不是仅把多个不透明度参数做无条件平均。

4. 几何约束解码与编辑一致性：网络给材质，锚点限制空间

浅层 MLP 接收聚合特征与观察方向，输出视角相关颜色和原始密度。原始密度经过带负偏置的截断指数激活，再乘聚合几何权重；这样即使网络预测出高密度，缺乏锚点支持的位置也不会任意成为可见内容。正文采用点式体积合成，密度到不透明度的公式不额外包含射线步长，本笔记保持该约定：

\[ \sigma_{\mathrm{eff}}(\boldsymbol x_k)=\operatorname{trunc\_exp}(\sigma_{\mathrm{mlp}}-1)\hat\alpha(\boldsymbol x_k),\qquad \alpha_k=1-\exp[-\sigma_{\mathrm{eff}}(\boldsymbol x_k)]. \]

随后按深度从前到后累积颜色，后方贡献乘以前方样本剩余透射率。注意聚合几何权重 \(\hat\alpha\) 与最终合成不透明度 \(\alpha_k\) 不是同一个量：后者还包含神经网络预测的材质密度。

刚性或非刚性编辑更新锚点中心及协方差，固化特征仍附着在原锚点。若只搬动几何、却不改变网络的观察方向输入，镜面效果可能不随表面朝向正确变化。IRIS 引入 NeuralEditor 的无穷小表面变换（IST），用局部变形变换修正方向 \(\boldsymbol d'=R_{\mathrm{def}}^{\mathsf T}\boldsymbol d\)，再查询同一外观代码。这是方向一致性校正，不等于重新计算全局光照、阴影或完整物理材质。

一个完整示例¶

以把前景物体弯曲并移离原位置为例：先把锚点绑定到低分辨率代理几何，外部变形驱动中心和形状变化，锚点携带的纹理代码不变。目标相机重新发射射线，RIS 根据移动后的几何生成候选，而不是等待旧占据网格更新。

假如一个采样位置后面紧接着远处墙面的候选，RCA 的距离屏蔽会阻止墙面外观混入前景；真正相邻的锚点则共同提供局部特征。解码时使用 IST 校正后的方向，并由几何权重约束密度，最终合成弯曲后的图像。这个例子说明为何特征固化、几何采样、局部屏蔽和方向校正缺一不可；它是机制示意，不是新增的定量实验。

损失函数 / 训练策略¶

正文描述了可见性感知剪枝：所有锚点的置信度持续衰减，被 RIS 选中的候选得到正向更新，长期未被访问且低于剪枝阈值的锚点被删除。它利用实际采样参与情况抑制冗余锚点和伪影，但不应被表述为作者证明了每个保留锚点都具有重要视觉贡献。

本次缓存包含正文与参考文献，不含正文多次引用的附录。完整损失项、优化器、学习率、训练步数、距离阈值、默认最大 IPR、硬件及评测分辨率未能从缓存确认，因此不补写惯常配置；哈希初始化、几何密度门控、特征固化和可见性剪枝是可确认的训练与推理机制。

实验关键数据¶

主实验¶

原文表 2 为 NeRF Synthetic 数据集平均结果。PSNR 单位为 dB，SSIM 与 LPIPS 无量纲，FPS 为帧/秒；时间保持原表单位。由于缓存缺少硬件和图像分辨率细节，以下应视为论文报告条件下的比较，不能外推为其他设备的绝对性能。

方法	PSNR ↑ (dB)	SSIM ↑	LPIPS ↓	训练时间 ↓	FPS ↑
InstantNGP	29.31	0.939	0.053	7 分 27 秒	1.894
Nerfacto	29.19	0.941	0.095	9 分 38 秒	0.860
NeuralEditor	31.41	0.955	0.036	103 小时 45 分	0.083
EKS	33.12	0.962	0.031	26 小时 2 分	0.183
IRIS	32.65	0.957	0.034	51 分 18 秒	6.038

与 EKS 相比，IRIS 少 0.47 dB，FPS 约为其 33.0 倍，训练约快 30.4 倍，后二者由表中数值计算。相对 InstantNGP 和 Nerfacto，IRIS 的训练时间仍更长；不能把“相对可编辑基线训练加速”扩展为对所有方法都训练更快。

原文表 3 的 Mip-NeRF 360 室内平均 PSNR 为 IRIS 30.85 dB、EKS 28.48 dB、Radiance Meshes 29.29 dB，静态 Mip-NeRF 360 则为 31.72 dB。室外 IRIS 为 24.11 dB，低于 Radiance Meshes 的 24.73 dB，优于 EKS 的 20.70 dB。Radiance Meshes 是作者用官方实现重新评测的结果。

消融实验¶

下表摘自原文表 5 的独立 EKS KNN / RCA 比较区域，训练场景为 Bicycle、Garden、Kitchen，不与该表上方另一组窗口及密度消融混为同一平均值。PSNR 为 dB，显存按原表 GB 报告；未转录缓存中部分粘连、时间单位未明确的列。

聚合配置	PSNR ↑ (dB)	SSIM ↑	LPIPS ↓	FPS ↑	显存 ↓ (GB)
EKS KNN	26.63	0.759	0.187	0.019	20.73
RCA	27.21	0.786	0.168	0.30	9.1

这一独立比较中，RCA 的 PSNR 高 0.58 dB，且速度与显存更优。表 5 上方另一组消融中，窗口大小 3 与完整配置窗口大小 5 的 PSNR 分别为 27.02 和 27.01 dB；去掉有效性屏蔽（NDC）也是 27.02 dB，因此这些全局指标并不支持“屏蔽显著提高平均 PSNR”的强结论，需结合边界与变形可视化理解其作用。

图 10 只提供采样预算与哈希初始化的定性比较：16 IPR 产生几何噪声，64 IPR 改善结构，但完整预算更有利于高频细节；去掉哈希初始化的数值差异被作者描述为较小。缓存没有提供这些设置的完整数值对照，不能凭图补出消融分数。

关键发现¶

原文表 4 的 NeuralEditor 变形基准在 NeRF Synthetic 上平均为 IRIS 25.70 dB、0.932 SSIM、0.056 LPIPS；EKS 为 25.92 dB、0.934、0.055。可编辑性成立，但质量不是全面超过 EKS。
图 6 的采样器吞吐量实验与完整图像 FPS 是不同测量对象。RIS 的批量扩展优势不能用来掩盖表 5 的 0.30 FPS 或将表 2 的 6.038 FPS 描述成稳定的高帧率实时渲染。
室内和室外表现差异与显式锚点覆盖能力有关。不能仅凭 Deep Blending 或室内结果声称所有无界场景都领先。

亮点与洞察¶

优化的对象是“在哪里查询神经场”，而不只是把 MLP 变小。已有显式几何可以同时承担定位样本和约束输出密度的职责，避免表示与渲染流程彼此脱节。
将训练时的空间先验与推理时的可移动表示分开。哈希网格有助于学习，而固化特征使编辑不再被全局坐标绑定，这一分工比简单宣布去除网格更准确。
近邻近似必须带几何约束。排序列表提供高效候选，距离屏蔽补回空间局部性，但这种工程近似不应被当作与完整三维搜索等价的理论保证。

局限与展望¶

作者明确承认有限锚点覆盖会削弱无界室外场景的远场几何质量，RCA 也对窗口大小敏感，可能出现噪声或漂浮伪影。自适应窗口和更好的远场锚点分配是合理方向，但本文未验证它们。
高速主要是相对慢速可编辑神经场而言；主表和大场景分析并不证明普遍实时。OptiX 与 RT 核带来的硬件依赖也需要在跨设备复现时单独评估。
物理演示依赖外部引擎和代理几何，不等于从照片自动推断可靠的物理参数。IST 处理局部观察方向一致性，不能据此宣称编辑后完成物理正确的重新光照。
缓存缺少附录，复现条件和部分消融细节无法核实；排序窗口及硬屏蔽还意味着“连续神经场”的表述不等于对所有邻域切换都有严格平滑性保证，这是阅读者对机制边界的判断。

评分¶

新颖性: 4/5。解析采样与沿射线聚合形成清晰的系统贡献，部分组件继承已有工作。
实验充分度: 4/5。覆盖重建、变形、多数据集及消融，但缓存缺少复现附录和完整编辑效率指标。
写作质量: 3/5。主流程清楚，实时性措辞较强，缓存中的公式和表格存在排版断裂。
价值: 4/5。适合研究可编辑混合神经场的效率优化，使用时应保留场景规模与硬件条件的边界。