Invaria: Learning Scale and Density Invariance in Point Clouds via Next-Resolution Prediction¶

会议: NeurIPS 2026
arXiv: 2605.15923
论文: https://arxiv.org/abs/2605.15923
代码: https://birdy666.github.io/projects/invaria/
领域: 3D表示与场景理解
关键词: 点云编码器, 尺度不变性, 密度不变性, 下一分辨率预测, 三维语义分割

一句话总结¶

针对三维点云编码器严重过拟合训练特定采样密度与物体尺度的痛点，Invaria提出下一分辨率隐空间预测与感受野动态校准机制，解耦分辨率与语义特征，在点云分辨率降低3倍时ScanNet语义分割mIoU相对现有模型提升56.0%，且参数量降低45%、输入token减少40%。

研究背景与动机¶

人类视觉能够自然地在不同距离、不同分辨率和不同尺寸下识别物体本质结构，现代二维图像编码器（如CLIP、ViT）也已基本实现语义表征与图像分辨率的解耦，能够无缝进行跨分辨率与域迁移。然而在三维点云感知领域，这一关键泛化能力至今严重缺失。现有的主流点云骨干网络（包括稀疏卷积Sp.Mink、Point Transformer系列乃至依赖海量无监督预训练的Sonata、Concerto、Utonia等）在面临测试时输入点云采样密度变化或物体尺度缩放时，均表现出剧烈的性能崩溃。在实际机器人与自动驾驶部署中，传感器硬件规格差异、探测距离变化以及动态延迟约束会导致点云分辨率和局部密度极度不均匀，模型的这种脆弱性成为了落地的核心瓶颈。

造成这一敏感性的根源在于现有模型普遍依赖的两类结构性“捷径”（shortcuts）：其一是尺度依赖（Scale Dependency），池化、相对位置编码与稀疏卷积等算子均硬性绑定离散化网格尺寸 $\tau$ 来定义空间邻域，网格尺寸直接决定了算子的物理感受野大小，一旦物体缩放或网格缩放，模型感知的相对物理体积就会按比例缩放，导致学到的特征与特定绝对尺度深度绑定；其二是密度捷径（Density Shortcut），基于 $k$-NN 或固定窗口注意力的局部聚合算子具有固定的点数或窗口大小，当点云稀疏化时，为了凑齐固定 $k$ 个点，感受野被迫扩张到巨大的物理空间，从而捕捉完全不一致的上下文。因此，深度网络极易选择最具局部效率的优化捷径——直接利用特定采样密度和感受野模式来记忆物体类别，而非学习真实物体的拓扑几何不变性。

现有自监督预训练和参数缩放路线尝试通过更庞大的数据集和模型容量来掩盖这一问题，但付出了巨大的显存与算力代价，且在极端分辨率偏移下依旧无法根除尺度敏感性。本文的核心切入角度是：无需盲目扩大模型参数，而是从训练范式与感受野机制切入，迫使模型学会跨分辨率的不变几何表征。核心 idea：通过下一分辨率隐空间特征预测（Next-Resolution Prediction）配合动态感受野校准（Receptive Field Calibration），以自回归渐进超分辨率为自监督任务解耦点云分辨率与语义表征，并在推理期采用非对称编码策略以稀疏输入换取宽感受野与超高计算效率。

方法详解¶

核心机制¶

Invaria 的核心逻辑不是显式地在三维空间中重建稠密点云坐标，而是将“下一分辨率预测”作为一种表征学习的辅助自监督目标。传统网络单向输入固定分辨率点云并直接监督最终任务，导致隐空间表征被该分辨率绑定。Invaria 将输入点云通过随机子采样构建出多级分辨率序列，迫使编码器在隐空间学习从粗糙分辨率逐步推断并预测出更高分辨率级别的特征表示。为了消除离散网格对物理尺度的硬编码，模型在每个分辨率级别上通过锚点近邻统计动态校准内部网格尺度，确保空间邻域聚合算子在任何点密度下覆盖一致的物理几何上下文。

整体框架与流程¶

整个 Invaria 架构由 U-Net 式点云编码-解码骨干（基于 PTv3 架构改良）、隐空间跨分辨率对齐模块以及轻量级下一分辨率预测器（Predictor）组成。训练阶段对输入点云构建多分辨率金字塔，骨干网络提取多尺度特征，瓶颈层施加一致性对齐损失，预测器则在隐空间逐级上采样并重构高分辨率特征；推理阶段则执行非对称编码策略，仅将下采样后的稀疏点云输入 U-Net 骨干以降低 token 开销并增大感受野，随后通过预测器一次性还原出稠密语义预测。

%%{init: {'theme': 'base', 'themeVariables': {'fontSize': '12px', 'lineColor': '#2B6CB0'}}}%%
flowchart TD
    In["输入点云 P<br/>(连续场景离散采样)"] --> RFC["感受野动态校准<br/>计算锚点平均近邻距离并生成内部自适应网格"]
    RFC --> Pyr["多分辨率序列采样<br/>构建粗到细点云层级 {P_m}"]
    Pyr --> UNet["U-Net 主干编码解码<br/>稀疏卷积 + 注意力提取隐空间多尺度表征"]
    UNet --> Align["跨分辨率瓶颈对齐<br/>约束不同密度瓶颈 Token 的空间近邻余弦相似度"]
    UNet --> Pred["下一分辨率隐空间预测器<br/>坐标插值 + 稀疏卷积与MLP提炼高分辨率特征"]
    Pred --> Sup["联合多分辨率监督<br/>各级语义分割损失(CE+Lovász)与对齐损失"]
    Sup --> Out["输出语义分割结果<br/>尺度与密度不变的点级类别预测"]

关键设计（带序号的紧凑段落）¶

1. 感受野动态校准：打破固定网格对有效物理感受野的硬绑定 针对常规稀疏卷积与局部聚合算子 $\Omega$ 中归一化网格距离 $d(c, i)/\tau \le \mathcal{K}$ 随网格尺寸 $\tau$ 剧烈变化的问题，Invaria 放弃使用预设的静态网格尺寸，提出基于点云局部几何自适应推断内部网格尺寸 $g = \psi(\mathcal{P})$。具体机制为：从输入点云 $\mathcal{P}$ 中均匀随机抽取少量锚点集合 $\mathcal{P}_a \subset \mathcal{P}$（锚点数量 $N_a \ll N$），计算每个锚点到其最近邻相异点的欧氏距离 $d_i = \min_{p \in \mathcal{P} \setminus \{a_i\}} \|a_i - p\|$，随后通过缩减函数 $\rho(\cdot)$ 聚合距离并乘以缩放因子 $\alpha$： $$\psi(\mathcal{P}) = \alpha \cdot \rho\left(\{d_i\}_{i=1}^{N_a}\right)$$ 在缩减函数的选取上，作者证明虽然理论上网格划分应由最小邻距 $\rho_{\min}$ 决定，但由于三维空间中相邻体素面/边/角处的点距离可任意小，$\rho_{\min}$ 会严重低估理想体素大小；采用均值聚合 $\rho_{\text{mean}}$ 能极其鲁棒地反映真实的局部采样间隔。该设计无需先验物理尺度标注，即可在任意稀疏度下使卷积核覆盖物理意义一致的空间体积。

2. 下一分辨率隐空间预测：以自回归上采样任务解耦分辨率与语义 受大语言模型 Next-Token Prediction 及视觉自回归模型（VAR）的启发，Invaria 将跨尺度表征学习具象化为自回归特征预测。给定稀疏输入 $\mathcal{P}_i \subset \mathcal{P}$ 经骨干网络输出的隐空间特征 $\mathcal{F}_i = \mathcal{D}(\mathcal{E}(\mathcal{P}_i)) \in \mathbb{R}^{N_i \times C}$，预测器 $\Phi$ 的目标是合成更高分辨率点集 $\mathcal{P}_{i+1}$ 对应的语义特征 $\mathcal{F}_{i+1} \in \mathbb{R}^{N_{i+1} \times C}$。新增点的空间坐标使用真值高分辨率坐标（可用时）或空间插值确定，其初始特征由 $\mathcal{F}_i$ 通过最近邻插值获得，随后输入包含稀疏卷积、MLP 与 Norm 的多层精炼块迭代更新： $$\mathcal{F}_{i+1} = \Phi(\mathcal{F}_i) = \{\hat{x}_j\}_{j=1}^{N_{i+1}}$$ 这一目标逼迫骨干网络在编码稀疏点云时不能依赖低分辨率表象，必须捕获物体的全局拓扑与几何不变性，从而具备“脑补”稠密几何语义的能力。

3. 跨分辨率瓶颈对齐：消除不同密度输入在隐空间的表征漂移 即便引入感受野校准，当骨干网络分别处理极端稀疏和稠密点云时，仍可能分化出互不兼容的特征子空间。为约束表征一致性，Invaria 提取各分辨率级别 $m \in \{1, \dots, M\}$ 经过骨干编码后的瓶颈层 token 集合 $\mathcal{Z}^{(m)}$（每个 token 附带空间坐标 $c(z) \in \mathbb{R}^3$）。对于任意分辨率对 $(m, l)$（$m < l$），在三维空间中检索空间最近邻 $\pi_l(z) = \arg\min_{z' \in \mathcal{Z}^{(l)}} \|c(z) - c(z')\|$，并最小化成对余弦距离： $$\mathcal{L}_{\text{align}} = \frac{1}{\binom{M}{2}} \sum_{m=1}^{M-1} \sum_{l=m+1}^M \frac{1}{|\mathcal{Z}^{(m)}|} \sum_{z \in \mathcal{Z}^{(m)}} \left(1 - \cos\left(z, \pi_l(z)\right)\right)$$ 该损失函数有效拉近了同一点云在不同采样密度下的高阶抽象表征，使各分辨率在瓶颈处实现无缝对齐。

4. 非对称特征编码推理：以低分辨率输入换取大感受野与高计算效率 当模型具备尺度与密度不变性后，作者在推理期提出反直觉的非对称策略：不再将原始稠密点云直接送入复杂的 U-Net 主干，而是主动降采样输入稀疏点云，主干提取特征后再经预测器恢复稠密分割结果。由于点云算子在固定近邻数 $k$ 下的有效物理覆盖范围 $\mathcal{R}$ 与采样密度紧密相关，稠密点云的物理感受野反而剧烈收缩，阻碍了长程空间依赖的建立；稀疏输入使得主干具有天然宽广的感受野，同时降低了约 40% 的输入 token 数量，使得一个 25.5M 参数的紧凑模型能以极低的 FLOPs 取得超越超大模型的表征效果。

理论分析与设计权衡¶

论文对三维特征提取中“高分辨率反而掉点”的现象给出了清晰的理论刻画：对于在网格尺寸 $\tau$ 下聚集 $k$ 个邻居的算子，局部物理覆盖范围满足三维尺度缩放规律： $$\mathcal{R} \propto \tau \cdot \sqrt[3]{k}$$ 当点云极度稠密时（即 $\tau$ 变小），若算法保持固定的 $k$（如主流 Point Transformer 中的设定），算子覆盖的物理立方体体积急剧缩小为原先的几分之一，导致网络丧失宏观场景上下文。另一方面，针对类别不平衡问题，作者尝试引入 Focal Loss 进行动态重加权，实验却发现 Focal Loss 反而导致 mIoU 显著下降（从 76.2% 跌至 75.1%）。深入分析表明，三维场景中窗户、图画、门等平板状结构（planar objects）极易与墙面发生几何混淆，强行对这些难样本施加高权重导致模型在平整墙面上大量误报，从而恶化整体 IoU。因此，采用渐进增权的分类损失配合 LayerNorm 成为更优的收敛选择。

实验关键数据¶

主实验¶

主实验在室内数据集 ScanNet（默认网格 $\tau^*=2\text{cm}$）和室外激光雷达数据集 nuScenes（默认网格 $\tau^*=5\text{cm}$）上全面评估了模型在极端采样分辨率与场景尺度变化下的鲁棒性。

ScanNet 跨分辨率与效率综合对比（$\tau^* = 2\text{cm}$）：

模型	参数量 (M)	额外预训练 (SSL/MD)	$0.5\tau^*$ mIoU (%)	$\tau^*$ mIoU (%)	$2\tau^*$ mIoU (%)	$3\tau^*$ mIoU (%)	FLOPs (G)
Sonata (CVPR'25)	124.8	✓	59.9	72.6	62.3	34.2	691
Concrt-L (NeurIPS'25)	207.7	✓	67.9	78.6	72.5	46.0	1248
Utonia (2026)	157.7	✓	73.0	76.6	71.7	47.3	874
Sp.Mink (CVPR'19)	39.2	-	36.6	75.6	47.8	19.4	-
PTv3 (CVPR'24)	46.1	-	50.5	77.6	60.4	20.5	352
Invaria-s (Ours)	16.3	-	73.1	73.3	72.2	70.7	230
Invaria (Ours)	25.5	-	75.5	76.2	75.7	73.8	267

场景整体尺度缩放对比（ScanNet val mIoU %）：

模型	$\times 2$ 放大	$\times 1$ 原尺度	$\times 1/2$ 缩小	$\times 1/3$ 缩小
Sonata	61.6	72.6	66.9	44.8
Concrt-L	68.2	78.6	75.4	61.4
Utonia	74.4	76.6	69.7	42.2
Sp.Mink	33.4	75.6	42.9	14.7
PTv3	47.2	77.6	23.2	9.4
Invaria-s	73.9	73.3	74.0	73.9
Invaria	75.6	76.2	75.6	73.8

消融实验¶

在 ScanNet 上对各核心组件进行消融验证（各分辨率下 mIoU %）：

配置 / 变体	$0.5\tau^*$	$\tau^*$	$2\tau^*$	$3\tau^*$	核心结论
完整模型 (Full)	75.5	76.2	75.7	73.8	在各分辨率及尺度下均保持极高稳定性
w/o 感受野校准 $\psi(\cdot)$	55.7	76.0	74.5	69.7	稠密输入下暴跌 19.8%，稀疏输入下掉 4.1%
w/o 下一分辨率预测 (NRP)	45.4	76.5	21.7	9.5	丢失自监督信号后在 $3\tau^*$ 崩塌至 9.5%（掉 64.3%）
w/o 隐空间对齐 $\mathcal{L}_{\text{align}}$	74.9	75.4	75.0	73.3	对齐损失系统性提升所有分辨率 0.5~0.8%
损失权重: Uniform (vs 增权)	75.2	75.9	75.7	74.0	向高分辨率倾斜权重综合增益更明显
引入 Focal Loss	-	75.1	-	-	难样本过度激进导致平板物体假阳性激增，掉 1.1%
归一化: BatchNorm (vs LayerNorm)	-	74.8	-	-	点云批次波动大，BN 比 LN 降低 1.4% mIoU

关键发现¶

下一分辨率预测是抗过拟合的决定性支柱：当去除 NRP 训练任务时，模型在原始网格上仍有 76.5% 的极高表现，但在 3 倍降分辨率下直接暴跌至 9.5%，充分印证了常规监督训练下模型几乎完全依赖特定网格点密度的局部记忆；NRP 强制模型提取了超越局部采样率的结构不变性。
大模型并不能天然解决尺度敏感性：超过 2 亿参数且使用海量多数据集无监督预训练的 Concrt-L，在场景缩小至 1/3 时 mIoU 仍从 78.6% 剧烈滑坡至 61.4%，而仅 25.5M 的 Invaria 依然坚挺在 73.8%。
物体复杂度的两极分化崩溃：细分类分析显示，马桶（Toilet）、沙发（Sofa）、水槽（Sink）等复杂非刚体或细长几何体在分辨率降低时，基线模型性能下降 90%~100%；同时挂画（Picture）、冰箱（Fridge）等平板物体因几何退化易与墙面混淆，而地板因天然高度 $Z$ 坐标先验成为抗稀疏性最强的类别。

亮点与洞察¶

反向利用生成式自回归作为判别式表征约束：不执着于生成高质量三维点云的高昂代价，而是将 VAR 式的尺度递进预测作为隐空间正则项，优雅地解耦了尺度/密度与高维语义。
动态均值邻距校准化解算子物理失配：用极其低廉的锚点采样统计 $\rho_{\text{mean}}$ 重新校准内部离散化步长，直击池化与稀疏卷积感受野漂移的底层数学机理。
非对称推理开辟低算力落地范式：推翻“高分辨率输入一定带来更高精度”的直觉，证明在点云中稀疏输入拥有更大物理覆盖视野；以低分辨率输入换取计算量节省 40% 且维持高精度的思路可直接复用到机器人端侧边缘计算。

局限与展望¶

共面扁平几何体辨识困难：由于缺乏颜色与高频纹理约束，纯几何点云在分辨率降低后，门、窗、挂画等物体极易退化成无特征平面，与墙壁难以区分。
极端类别不平衡下的对抗性博弈：现有重加权损失（如 Focal Loss）会导致互斥类别的假阳性激增，未来结合三维生成模型对极稀缺类别做真实几何数据合成是破局方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从下一分辨率预测切入点云尺度与密度不变性，思想清晰巧妙
实验充分度: ⭐⭐⭐⭐⭐ 涵盖室内外数据、极端缩放与稀疏化压力测试，消融分析细致深刻
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，对三维感受野衰减与算子数学机理剖析透彻
价值: ⭐⭐⭐⭐⭐ 为轻量化三维骨干网络设计与真实机器人端侧低延时感知提供了极具启发性的范式