RayRoPE: Projective Ray Positional Encoding for Multi-view Attention¶

会议: ECCV 2026
论文: ECCV 原文
项目: RayRoPE
领域: 3D 视觉
关键词: 多视图注意力、旋转位置编码、投影射线、深度不确定性、SE(3)不变性

一句话总结¶

RayRoPE 用查询相机坐标系中的射线片段表示图像 patch，并对预测深度的不确定区间计算期望 RoPE，在不额外监督内部深度的情况下增强多视图几何建模，使小规模 LVSM 在 RE10K 上相对 PRoPE 的 LPIPS 从 0.112 降至 0.085。

研究背景与动机¶

单张图像中，patch 的二维坐标足以告诉注意力“这个内容在哪里”；多视图输入却没有共同的二维网格。同一个像素索引可能来自完全不同的相机，而同一条观测射线又可能因裁剪而对应不同索引。将 Plucker 射线图拼到输入能提供几何信息，但网络仍需自行消化任意世界坐标系带来的变化。把普通 RoPE 直接套在世界坐标下的射线上，也无法消除全局旋转对编码的影响。

CaPE、GTA 和 PRoPE 已经利用相对相机变换实现 SE(3) 不变性，即整组相机和场景一起做刚体坐标变换时，注意力不应改变。但这些编码主要表达“相机如何摆放”，没有根据实际场景判断两条射线在哪里相交。GTA、PRoPE 额外加入的二维 patch RoPE 虽然提供多频率信息，却让裁剪后的同一物理观测得到不同的位置描述，也没有把相机关系本身变成多频率比较。

因此，本文希望同时保留坐标系不变性、同一物理射线表示的一致性、对场景深度的适应能力，以及高低频相似度。这里的“唯一性”针对位置表示，而不是保证所有观察同一物体的 token 都得到完全相同的特征。真正困难在于：一旦用预测深度定位射线上的点，深度误差就会进入位置相位，高频通道尤其敏感。核心 idea：先让每层 token 预测射线上的深度及其不确定范围，再在查询相机坐标系中计算多频率位置编码的期望，让几何关系参与注意力，同时降低不可靠深度对高频编码的干扰。

方法详解¶

整体框架¶

输入是带相机内外参的多视图图像及对应 patch 特征，输出仍是原模型的注意力更新结果，随后由原有任务头生成新视图、深度或 3D Gaussian Splatting 参数。RayRoPE 不先重建一个完整三维场景，而是在注意力内部，逐层把 token 的位置从“相机射线”细化为“可能落在场景中的射线片段”。

流程依次包含深度自适应射线、查询相机投影和不确定性期望编码。前两步确定在什么坐标系里比较什么位置，第三步决定位置不确定时如何处理旋转相位；编码还作用于 value 与输出特征，而不仅修改 query-key 分数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视图特征<br/>相机内外参"] --> B["深度自适应射线"]
    B --> C["查询相机投影"]
    C --> D["不确定性期望编码"]
    D --> E["按查询视图分组<br/>更新注意力"]
    E --> F["原任务头<br/>图像或三维输出"]
    F -.-> G["训练时原任务损失<br/>无额外内部深度监督"]

图中的实线是训练和推理共同使用的数据流，虚线表示训练监督的去向，并非另一个推理模块。普通 RGB 设置下的内部深度由任务损失间接学习；已知参考深度的实验是单独的输入条件，不能混同为所有实验都有深度输入。

关键设计¶

1. 深度自适应射线

每个 patch 先对应从相机中心穿过 patch 中心的射线。只用相机中心与方向，能避免把同一物理射线绑死在裁剪后的 patch 编号上，却无法区别射线命中了近处桌面还是远处墙壁。RayRoPE 因而用相机中心与深度处的点共同表示位置，并在每个注意力层新增一个线性预测头，从当前 token 特征估计深度。层与层之间可以重新判断，而不是强迫浅层特征一次性输出最终几何。

其表示可简记为以下原文明确给出的形式，其中相机中心和射线上的点使用齐次坐标：

\[ \mathbf{x}=(\mathbf{c},\mathbf{p}^{d}). \]

深度决定射线在哪个位置参与匹配，因此不同视图的对应关系可以随场景内容改变；相机中心则保留观测来源，不能把它理解为只编码一个三维表面点。没有可用深度时由特征预测，已知深度时则能直接替换这一内部估计。去掉几何适应性的消融使用无穷远点，即退回只知道方向的射线，并不是把深度值简单设为零。

2. 查询相机投影

射线虽有几何意义，直接在世界坐标系中做多维 RoPE 仍会依赖坐标轴方向。本文选择对每个查询相机建立一个共同的比较坐标系：将各 token 的相机中心用查询外参变换过去，再把射线端点用查询相机的完整投影矩阵投影。中心保留三个空间坐标，端点用两个投影坐标与一个逆深度描述，组合成六维位置。

原文正文对这一六维向量的定义清晰，可写为：

\[ \widetilde{\mathbf{x}}=[c_x,c_y,c_z,u,v,1/d']. \]

这里前三项是在查询相机坐标系中的相机中心，后面三项描述端点投影；\(d'\) 是端点相对查询相机的深度，不应与其来源相机预测的 \(d\) 混为一谈。对这些分量施加多频率 RoPE 后，注意力比较的是同一个查询坐标系内的相对位置。整体世界坐标系变化会被相对几何关系抵消，而高低频通道仍能表达不同尺度的差异。投影引入了内参，所以方法也不只是对外参做旋转编码。

3. 不确定性期望编码

高频旋转会把很小的深度偏差放大成很大的相位偏差。为避免模型过早相信不可靠的浅层深度，线性头同时预测不确定范围，用深度减去和加上该范围得到射线上的两个端点。将这两个端点投影后，方法对各坐标分量采用区间均匀分布假设，解析计算 RoPE 的期望，不需要在每条射线上反复采样。需要注意，这是假设投影后分量在区间内均匀，并不等价于证明均匀深度经过透视变换后仍然均匀。

直观上，一段区间中的旋转相位如果差异很大，平均后会相互抵消，因此不确定位置的高频响应受到抑制；位置越明确，就越接近普通 RoPE。相机中心等确定分量不会被平滑。这个期望是旋转矩阵的平均，一般不再是纯旋转矩阵；本缓存的相关乘积、转置和逆矩阵公式存在排版损坏，因此这里不据此重建实现级恒等式，也不把“平均矩阵的逆”擅自当作“逆矩阵的平均”。

编码同时进入 query、key、value 和输出路径，让几何影响关注谁，也影响如何汇聚信息。实际计算按查询视图分组：同一相机的所有 query 共享投影参照，然后对全部 key/value 做注意力。它不减少注意力 token 数，也不是稀疏注意力算法；效率来自组织计算，并保持与 FlashAttention、KV 缓存等实现方式兼容。原文报告的少量额外耗时只适用于对应测量设置。

一个完整示例¶

以 LVSM 的两张参考图和一个目标相机为例，三组视图 token 一起进行自注意力。设参考图里某个 patch 观察桌子边缘，早期层只能粗略判断它位于射线的哪一段，于是预测较宽的不确定范围。这里描述的是机制示例，不是论文另一个定量案例。

当目标视图 token 发起查询时，两张参考图的射线中心与候选端点都会转换到目标相机的坐标描述中。如果另一参考图看到的是相同边缘，预测端点的投影位置可以提供跨视角对应线索，而各自不同的相机中心仍被保留。与只比较二维 patch 编号相比，这个关系能体现相机之间的运动和物体深度。

如果端点尚不可靠，期望编码先抑制容易受误差扰动的高频部分；后续层用融合后的特征重新预测深度和不确定性，几何位置可能逐渐清晰。注意力始终是软匹配，没有硬性要求两条射线必须相交，也没有额外的显式三角化步骤。最终仍由 LVSM 原任务头生成目标图像，而不是把内部深度图当作渲染器的必需输入。

损失函数 / 训练策略¶

RayRoPE 的内部深度与不确定性预测头随宿主网络联合训练，不新增针对这些内部量的直接监督。这里的“无额外深度监督”不能推广为所有下游任务都不使用深度标签：UniMatch 的最终任务本身就是深度估计，和注意力内部的深度预测是两个层面的变量。

主实验遵循 PRoPE 的 LVSM 比较协议：约 47M 参数的缩小模型从头训练，输入两张带位姿参考图及目标相机，分别在 CO3D、Objaverse、RE10K 上训练和评估。Objaverse 使用带多样内参的高质量 80K 子集渲染数据；PRoPE 与 RayRoPE 均在输入中拼接 CamRay 内参射线图。除扩大规模实验外，结果报告三个随机种子的均值。

扩大规模实验使用约 150M 参数以及 8 倍 batch size，因此只能在同规模行之间比较。已知深度实验给所有方法输入参考深度图，并让 RayRoPE 以真实参考深度替换预测值、将对应不确定性设为零；目标视图仍预测深度与不确定性。缓存正文未附所引用的附录，未据此补写学习率、训练步数或精确数据划分规模。

实验关键数据¶

主实验¶

下表摘取原文表 1 的小规模 LVSM 结果，均为各数据集单独训练后的评估，并非跨数据集零样本结果。PSNR 衡量像素重建保真度，单位 dB、越高越好；LPIPS 衡量感知差异、越低越好。

数据集	方法	PSNR ↑	LPIPS ↓
CO3D	PRoPE	17.49	0.539
CO3D	RayRoPE	18.40	0.461
Objaverse	PRoPE	22.16	0.123
Objaverse	RayRoPE	22.42	0.110
RE10K	PRoPE	24.48	0.112
RE10K	RayRoPE	26.07	0.085

RE10K 的 LPIPS 相对下降约 24.1%，分母是 PRoPE 的 0.112，不是原始 LVSM。相同表中的 RoPE-on-rays 在 RE10K 达到 25.29 dB、0.095，因此不能把相对 PRoPE 的降幅称作相对所有基线中最优者的降幅。扩大模型后，RE10K 的 RayRoPE 与 PRoPE 分别为 28.31/27.77 dB、0.055/0.059 LPIPS。

消融实验¶

下表来自原文表 2，沿用小规模 LVSM 的训练条件；保留 CO3D 与 Objaverse 的 LPIPS，以区分不确定性和几何适应性的作用。

配置	CO3D LPIPS ↓	Objaverse LPIPS ↓	说明
完整 RayRoPE	0.461	0.110	深度、不确定性、多频率及完整特征编码
去掉不确定性	0.594	0.175	只编码预测点，不计算区间期望
去掉几何适应性	0.553	0.111	用无穷远点替代预测深度点
去掉多频率	0.550	0.223	不再以多个频率刻画位置
去掉 value / output 编码	0.510	0.127	仅对 query 和 key 编码

关键发现¶

CO3D 上移除不确定性使 LPIPS 从 0.461 升至 0.594；Objaverse 上损失最大的列示消融是移除多频率，从 0.110 升至 0.223。不同数据集的关键因素并不完全相同。
Objaverse 去掉几何适应性后 PSNR 仍为 22.42 dB，LPIPS 仅从 0.110 变为 0.111；不能把深度预测概括为所有数据集上都贡献巨大。相反，表 3 中加入真实参考深度后，CO3D 的 RayRoPE LPIPS 从 0.461 降至 0.284，但这是增加输入信息的独立实验。
迁移到 UniMatch 时，表 4 的未见 ScanNet 上 Abs Rel 从 PRoPE 的 0.101 降至 0.095，RMSE 从 0.285 降至 0.276；前者是平均绝对相对深度误差，后者是深度误差的均方根，均越低越好。
表 5 的 TokenGS 在 DL3DV-10K 上以四视图训练，六视图评估时 PSNR 从 PRoPE 的 24.09 升至 24.63 dB。该模型的无显式位置 3DGS query 使用特别适配：仅编码图像特征并跳过射线投影，不能声称所有交叉注意力都原样套用查询相机机制。
图 3、§4.4 在总计三视图的 LVSM 设置中报告，相对 PRoPE 训练耗时增加 4%、推理增加 13%；不是加速，也不能推广为任意硬件和视图数上的固定比例。图 5 展示较深层的深度误差与不确定性正相关，但没有给出正式校准误差指标。

亮点与洞察¶

将位置变成逐层可更新的几何变量，而非只由相机和 patch 索引确定的常量。这样几何理解既影响注意力，也能受注意力融合结果改进。
不确定性不是最终输出旁边的置信度分数，而直接改变编码的频率响应。这个思路可用于其他含噪坐标的位置编码，但仍需重新验证分布假设。
查询相机坐标系把全局坐标不变性与多频率比较结合起来。优势来自比较空间的选择，而非单纯添加更大的深度网络。

局限与展望¶

作者在 §6 明确指出，相机矩阵的不确定性尚未纳入建模；无位姿输入或有位姿与无位姿混合输入仍是开放问题。深度不确定性不能自动解决相机标定错误。
本笔记的分析：投影坐标分量上的均匀分布是便于解析计算的近似，不是完整的场景深度后验；多峰深度、遮挡边界和投影奇异位置是否需要更丰富分布，仍需专门实验。
本笔记的分析：内部深度可视化与误差相关性说明几何具有意义，却不能单独证明其尺度精度或不确定性已校准。论文未在当前正文提供所有复现细节，性能增益也不能替代实现级验证。

评分¶

新颖性: 4/5。查询相机中的射线位置与不确定性期望编码形成了连贯的多视图 RoPE 设计。
实验充分度: 4/5。覆盖多个任务、消融、规模和泛化设置，但相机误差及不确定性校准仍缺专门验证。
写作质量: 4/5。设计目标和消融对应清楚；当前全文缓存的部分公式损坏，正文也留有未解析图引用，降低复现可读性。
价值: 4/5。适合已知相机参数的多视图模型，可在有限额外计算下增强几何归纳偏置。