PointLAM: Local Attentive Mamba for Efficient Point-based 3D Object Detection

会议: ECCV 2026
论文: ECCV 原文
代码: https://pointlam.github.io/
领域: 自动驾驶
关键词: 3D目标检测, 点云, Mamba, 状态空间模型, 局部注意力门控

一句话总结

针对点云 3D 目标检测中点基（point-based）方法计算延迟高与体素化方法量化失真的两难困境，PointLAM 提出了基于离散拉普拉斯高通滤波与双重排序的下采样器 LPS，并结合瞬态网格路由与阿达马门控聚合器 LHA 及双向 Mamba 模块，在保持点云精细几何结构的同时实现了接近体素级的高推理效率。

研究背景与动机

基于车载激光雷达点云的 3D 目标检测是自动驾驶环境感知的核心任务，长期以来受制于几何保真度与计算效率之间的基本权衡。以 3D 稀疏卷积（SpCNN）和稀疏 Transformer 为代表的体素基（voxel-based）方法，通过规则网格化实现了极高的推理吞吐，但体素量化不可避免地破坏了物体的细粒度几何边缘与拓扑细节，在远距离稀疏目标与小尺寸障碍物上性能损失显著。相反，以 PointNet 和 3DSSD 为代表的点基（point-based）方法直接在原始无序点集上操作，完全规避了几何量化误差，却因其系统性计算瓶颈在工业界落地受阻。

传统点基检测器的系统性瓶颈主要体现在两方面：第一，下采样瓶颈。主流的最远点采样（FPS）时间复杂度高达 \(O(N^2)\)，迭代式的欧氏距离计算延迟极高且对前景几何结构完全无感；而基于语义预测的下采样策略不仅带来额外的重型网络开销，还缺乏对高频几何特征的稳健先验。第二，局部几何建模瓶颈。传统的最近邻搜索（k-NN）和连续球查询计算极其耗时，且在稀疏区域极易拉入遥远的不相关背景点造成特征污染；此外，复杂的连续相对位置编码进一步加剧了推理延迟。

近期兴起的状态空间模型（Mamba）虽为长序列建模带来了线性复杂度，但一维因果扫描本质上破坏了三维点云的空间局部性，直接用于点云极易引发空间上下文断裂。为此，本文摒弃重型连续几何查询和耗时的启发式排序曲线，从离散几何分析和局部-全局拓扑解耦的角度切入。核心 idea：通过构建离散拉普拉斯高通偏差网络与双重排序采样（LPS）高效保留前景骨架，并利用瞬态网格路由与阿达马门控聚合器（LHA）在序列化前后持续锚定局部拓扑，使双向 Mamba 在极低延迟下实现全局上下文感知与精细几何保真的协同。

方法详解

整体框架

PointLAM 采用端到端的纯点基检测架构，主要由两大部分构成：负责极速结构感知下采样的拉普拉斯点采样器（Laplacian Point Sampler, LPS），以及由 \(N=4\) 个局部注意力 Mamba 块（Local Attentive Mamba, LAM Block）堆叠而成的分层 3D 主干网络。

整个检测流程如下：首先，输入的原始激光雷达点云送入 LPS，通过偏差网络提取各局部区域的高频几何偏差特征，再通过双重排序采样（DSS）在保留空间均匀分布的同时极速选出高显著性的前景骨架点；随后，下采样后的点送入级联的 LAM 块中，在每个块内部，先通过 X 轴或 Y 轴双向 Mamba 建立长程序列依赖，接着利用基于瞬态网格路由的局部阿达马聚合器（LHA）持续约束并增强局部几何拓扑，防止 1D 扫描造成的空间结构漂移；最后，经过多阶段特征抽象的点特征被投影为鸟瞰图（BEV）特征，输入检测头完成类别预测与 3D 边界框回归。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["原始激光雷达点云<br/>N 个无序连续点"] --> DevNet["偏差网络（DevNet）<br/>计算局部均值偏差提取拉普拉斯响应"]
    DevNet --> DSS["双重排序采样（DSS）<br/>全局显著度与区域空间覆盖双重排序"]
    DSS --> Backbone["3D 主干网络：N 个级联 LAM Block"]
    subgraph LAM["局部注意力 Mamba 模块（LAM Block）"]
        direction TB
        BDM["双向 Mamba（BDM）<br/>轴向连续序列扫描建立全局依赖"] --> LHA["局部阿达马聚合器（LHA）<br/>瞬态网格路由 + 阿达马特征门控"]
    end
    Backbone --> LAM
    LAM --> BEV["鸟瞰图投影（BEV Projection）<br/>点特征转化为 2D BEV 空间表示"]
    BEV --> Head["3D 检测头（Detection Head）<br/>类别分类与 3D 边界框回归"]

关键设计

1. 偏差网络（DevNet）：离散拉普拉斯高通滤波与高频几何感知

针对传统点特征网络（PFN）普遍采用最大池化（Max-Pooling）导致的低通平滑效应与梯度稀疏性（非极大值点梯度为零，导致微弱的前景边缘信号被背景淹没），DevNet 构造了一种隐式离散拉普拉斯高通滤波器。对于局部空间分区内的各点特征 \(h_i \in \mathbb{R}^D\)，DevNet 不取极大值，而是计算该点特征与局部空间均值 \(\bar{h}\) 之间的空间偏差向量：

\[\delta_i = h_i - \bar{h} = h_i - \frac{1}{N}\sum_{j=1}^N h_j\]

该偏差操作在数学上完全等价于离散拉普拉斯算子。由于拉普拉斯算子本质是衡量局部粗糙度的空间二阶导数，平坦的低频背景表面（如地面、墙面）各点响应高度趋近于零（\(h_i \approx \bar{h}\)），而物体拐角、轮廓边缘等高频几何奇点处则产生显著的绝对模长。更重要的是，该公式在反向传播时为所有点赋予了连续密集的协同梯度：

\[\frac{\partial \mathcal{L}}{\partial h_i} = \frac{\partial \mathcal{L}}{\partial \delta_i}\left(1 - \frac{1}{N}\right) - \frac{1}{N}\sum_{j \neq i} \frac{\partial \mathcal{L}}{\partial \delta_j}\]

这一闭式梯度迫使网络主动对比局部差异，将几何显著点的特征方差最大化。最后，将原始特征 \(h_i\) 与拉普拉斯偏差特征 \(\delta_i\) 拼接得到增强特征 \(F'_{p_i} = \text{Concat}(h_i, \delta_i)\)，为后续结构感知筛选提供了扎实的物理依据。

2. 双重排序采样（DSS）：全域显著度与局部空间覆盖的轻量筛选

为彻底消除最远点采样（FPS）多轮距离迭代导致的严重延迟，DSS 模块利用 DevNet 输出的拉普拉斯模长计算显著性得分 \(S(p_i) = \|F'_{p_i}\|_2\)，并将下采样任务转化为高效的并行双重排序操作。算法首先按 \(S(p_i)\) 降序对点集进行全域排序，随后利用各点所在的粗粒度区域索引 \(r'_j\) 进行稳定排序，保证每个局部区域内几何最显著的点排在首位。

在得到双重排序序列后，DSS 采用确定的滑动窗口过滤规则直接截取保留点：若序号 \(j < k\) 则直接保留；若 \(j \ge k\)，仅当当前点的区域索引与其前第 \(k\) 个保留点的区域索引不同时（\(r'_j \neq r'_{j-k}\)）才予以保留。该规则将下采样的时间开销缩减至纯粹的排序复杂度，既强制保证了全场景在三维空间上的均匀覆盖，又将有限的点预算严格倾斜分配给车辆拐角、行人轮廓等关键前景骨架，兼顾了极速采样与高结构保真度。

3. 局部阿达马聚合器（LHA）：瞬态网格路由与拓扑感知门控

传统点基方法中的 k-NN 邻域搜索计算繁重，且在点云稀疏区域因强制拉取固定数量邻居而引入虚假背景点污染。LHA 提出利用离散的“瞬态网格”（transient grid）充当确定性的空间路由器。每个连续点 \(p_i\) 映射为其网格体素坐标 \(v_i = \mathcal{V}(p_i)\)，邻域 \(\mathcal{N}(i)\) 严格限定为以 \(v_i\) 为中心的局部核窗口内（如 \(3\times 3\times 3\)）。重要的是，点特征在网格内绝不进行池化合并，而是保持独立的点实体，利用稀疏卷积核权重 \(W\) 直接在连续点集上执行局部特征汇聚：

\[f^{local}_i = \sum_{j \in \mathcal{N}(i)} W(\mathcal{V}(p_j) - \mathcal{V}(p_i)) f_j\]

在得到局部上下文表征 \(c_i = \text{Linear}(f^{local}_i)\) 后，LHA 彻底弃用了高延迟的连续相对位置编码，转而引入阿达马门控（Hadamard Gating）。通过并行的全连接层将原始点特征 \(f_i\) 映射为门控向量 \(g_i\)，计算两者之间的元素级阿达马乘积并叠加残差连接：

\[f^{out}_i = (g_i \odot c_i) + f_i\]

该操作以近乎零的参数与计算代价，实现了拓扑自适应的通道级幅度调制，既保证了物理邻域的绝对空间隔离，又动态放大了高频几何拓扑特征。

4. 双向 Mamba（BDM）与局部拓扑锚定协同：低延迟全局感知与空间结构保真

标准 Mamba 具有线性计算复杂度的长序列感知能力，但将非结构化的 3D 点云拍平为 1D 序列后，必然破坏点与点之间的连续欧氏近邻关系。现有方法常用的希尔伯特曲线（Hilbert）或 Z 序曲线排序不仅计算开销极大（单步耗时达 5-11 ms），且无法根除序列化引起的高维几何退化。

PointLAM 提出了 LAM 模块的协同范式：摒弃复杂的空间填充曲线，直接采用计算延迟仅为 0.1 ms 的简单坐标轴排序（Axis Sort）。在一个 LAM 块内，首先沿 X 轴对连续点序列进行双向 Mamba 扫描以建立全场景上下文依赖；随后穿插 LHA 模块，利用其瞬态网格与阿达马门控在连续空间中重新锚定局部几何拓扑，恢复被一维扫描弱化的空间临近信息；最后再沿 Y 轴进行第二轮 Mamba 扫描与 LHA 细化。这种交错级联的结构消除了深层网络中序列化误差的累积，使模型对序列扫描顺序具备了天然的鲁棒性。

损失函数 / 训练策略

PointLAM 在模型训练上遵循统一的单阶段监督范式。在 nuScenes 数据集上，模型在 NVIDIA A800 GPU 上采用无 CBGS（Class-Balanced Grouping and Sampling）策略进行 36 个 epoch 的训练（总共 63,324 步优化迭代，远低于传统 20 epoch CBGS 方案的 154,480 步，训练开销显著降低）；在 Waymo 数据集上则采用标准的 24 个 epoch 训练配置。LPS 的局部空间分区在 nuScenes 上设置为 \(0.3\text{m} \times 0.3\text{m} \times 0.25\text{m}\)，在 Waymo 上设置为 \(0.32\text{m} \times 0.32\text{m} \times 0.1875\text{m}\)，每个区域保留 \(k=1\) 个显著点。LHA 将 \(5\times 5\times 5\) 的几何感受野因式分解为两个连续的 \(3\times 3\times 3\) 稀疏卷积，以极小的邻域索引代价获得大范围空间上下文。

实验关键数据

主实验

PointLAM 在自动驾驶两大主流公开基准 nuScenes 与 Waymo Open Dataset 上均取得了与最顶尖体素方法相媲美的检测精度，并大幅刷新了纯点基检测器的精度上限。

数据集 / 榜单	指标	PointLAM (本文)	代表性基准 / 之前 SOTA	表现对比与增益
nuScenes Val	NDS / mAP	72.2 / 67.8	DSVT (71.1 / 66.4) LION (72.1 / 68.0) UniMamba (72.6 / 68.5)	超越经典体素 Transformer DSVT (+1.1 NDS)；超越 Mamba 基准 LION (+0.1 NDS)
nuScenes Test	NDS / mAP	73.0 / 68.8	3DSSD (56.4 / 42.6) DSVT (72.7 / 68.4) Voxel Mamba (73.0 / 69.0)	较前代点基检测器 3DSSD 提升 +16.6 NDS / +26.2 mAP；完全持平 Voxel Mamba
Waymo Val	L1 / L2 mAPH	79.7 / 73.6	DSVT (78.2 / 72.1) HEDNet (79.4 / 73.4) Voxel Mamba (79.6 / 73.6)	超过 DSVT (+1.5 L2)，超过 HEDNet (+0.2 L2)，与 Voxel Mamba 持平
Waymo Test	L1 / L2 mAPH	79.8 / 74.4	SAFDNet (79.8 / 74.6) Voxel Mamba (79.6 / 74.3)	达到与顶级完全稀疏体素网络同等水平，行人细粒度检测达 75.2 L2 APH

在模型轻量化与推理吞吐（单张 NVIDIA A800 测试）方面，PointLAM 展现出强大的效率优势：

模型方案	架构类型	参数量 (M)	FLOPs (G)	延迟 (ms)	nuScenes NDS	Waymo L2 mAPH
VoxelNeXt	spCNN	15.5	97.5	192.9	66.7	70.1
HEDNet	spCNN	4.6	106.2	96.7	71.4	73.4
DSVT-voxel	Transformer	2.7	108.6	115.6	-	72.1
LION	Mamba	10.1	165.8	195.3	72.1	74.0
Voxel Mamba	Mamba	15.1	246.2	109.8	71.9	73.6
PointLAM (Ours)	Point	8.6	90.7	93.1	72.2	73.6

相比基于 Mamba 的体素检测器 LION，PointLAM 计算量缩减 45%（90.7G vs 165.8G），推理速度提升超 2 倍（93.1ms vs 195.3ms）；相比 Voxel Mamba，PointLAM 仅需其 37% 的 FLOPs 即可达成同等精度。

消融实验

论文系统剖析了核心模块的有效性与内部设计选择（nuScenes 验证集，18-epoch 快速训练流程）：

消融维度	具体配置	mAP (%)	NDS (%)	关键机制与影响说明
LPS 模块解耦	PFN + Pooling (传统基线)	67.41	71.42	标准点特征编码与区域平均/最大池化
	DevNet + Pooling	67.82	71.59	引入拉普拉斯偏差特征，高频几何信息带来 +0.17 NDS
	PFN + DSS	67.77	71.56	替换为双重排序采样，骨架点保持带来 +0.14 NDS
	DevNet + DSS (完整 LPS)	68.14	71.82	软硬件结合达到最佳，较基线净增 +0.40 NDS
LHA 聚合机制	加法聚合 (Addition)	67.13	70.98	简单的特征相加，特征交互能力受限
	拼接投影 (Concatenation)	67.63	71.51	通道拼接，引入额外参数但交互仍较生硬
	差值聚合 (Subtraction)	67.51	71.53	特征差分形式
	阿达马门控 (Hadamard)	68.14	71.82	元素级拓扑门控调制，较最佳备选方案高 +0.29 NDS
LAM 架构协同	仅保留 LHA (无 BDM)	64.37	69.40	缺失全局长程感知，性能严重受限
	仅保留 BDM (无 LHA)	64.87	69.58	纯 1D 序列扫描破坏三维空间结构，严重过拟合序列伪影
	BDM (X轴) + LHA	67.26	71.23	单向长程感知与局部拓扑初步协同
	完整 LAM (BDM X+Y + LHA)	68.14	71.82	双向长程扫描加局部拓扑锚定，较单模块实现 +2.24 NDS 跃升

此外，在空间索引与扫描顺序的消融中： 1. 邻域查询路由（Waymo 1/5 子集）：传统连续 k-NN 查询耗时高达 44.5 ms（74.61 L1 mAPH）；PTv3 基于复杂空间曲线的邻域序列化耗时 11.2 ms（72.52 L1 mAPH）；而本文基于瞬态网格的确定性路由将延迟骤降至 2.7 ms，同时取得最高精度 75.95 L1 mAPH。 2. Mamba 扫描序列比较：复杂的 Hilbert 曲线（71.26 NDS, 耗时 5.5ms）与 Z-order 曲线（71.23 NDS, 耗时 5.6ms）虽然空间聚集性好，但排序开销巨大；本文采用的简单轴向排序 Axis Sort 耗时仅 0.1 ms，精度达到完全相同的 71.23 NDS；即使是随机乱序（Random Scan）仍能达到 71.08 NDS，证明了 LHA 局部锚定对全局扫描几何扰动的高容忍度。

关键发现

• LHA 与 BDM 的正交互补性：纯 Mamba 序列模型在非结构化点云上表现脆弱（单独使用仅 69.58 NDS），而一旦结合 LHA 进行局部拓扑约束，精度瞬间跃升超 2.2 个百分点，表明点云序列化必须由连续几何算子提供局部锚点。
• 极端稀疏与细小物体检测优势显著：当全局点云密度降采样至 1/16 时，PointLAM 仍保有 21.86 L2 mAPH（体素代表 LION 为 20.60）；在单目标点数低至 5-10 个点的极端稀疏工况下，PointLAM 达到 19.76 L2 mAPH（显著优于 LION 的 18.39）；在尺寸仅 \(1.0\text{m}^3\) 的微小实例上，PointLAM 相比 k-NN 基线带来 +1.24 L1 mAPH 的显著涨幅，充分证明了瞬态网格截断遥远噪声与纯点特征保留对小目标的保真价值。

亮点与洞察

• 拉普拉斯算子的高通滤波直觉：传统点云池化只保留数值最大的低频能量，导致大量低对比度的前景几何拐角与边缘被平滑掉。将均值差分形式重构为拉普拉斯高阶导数，以极简的数学形式赋予网络密集且具备对比学习特性的反向传播梯度，是极度优雅的物理先验建模。
• 瞬态网格路由与阿达马门控解耦：彻底破除了“网格化必定导致特征量化”的传统思维。将体素纯粹作为 \(O(1)\) 的瞬态邻居寻址路由索引，内部点特征依然保持独立且连续更新，既规避了 k-NN 的动态高延迟，又避免了体素插值的几何精度损失。
• 轴向扫描即可解耦 3D 拓扑：证明了在长程序列模型处理 3D 数据时，无需迷信耗时的空间填充分形曲线（如 Hilbert），通过局部算子在层间不断校准局部拓扑，极简的坐标轴排序即可在 0.1 ms 内达成相同甚至更优的全局感受野。

局限与展望

• BEV 投影层仍存在投影坍缩：虽然在 3D 主干网络阶段完整保留了纯点特征，但网络末端为了对接经典检测头，依然将多阶段点特征投影至 2D 鸟瞰图网格，导致垂直高度维度的精细信息在最后阶段发生部分压缩，未来可探索完全基于无网格查询（Grid-free Queries）的纯点检测头。
• 固定网格分辨率的自适应性限制：瞬态网格在近距离密集点云与远距离超稀疏点云中采用固定核尺寸，面对自动驾驶超视距感知（>150m）时，固定感受野可能在远端捕获点数过少，结合距离自适应动态步长（Dynamic Stride）是值得尝试的方向。

相关工作与启发

• vs 3DSSD / PointNet++：早期纯点方法严重受困于 FPS 的 \(O(N^2)\) 延迟以及连续 k-NN 的内存爆炸，导致检测效率极低。PointLAM 提出 LPS 双重排序与瞬态网格路由，将两者完全降维为排序和常数时间索引，不仅速度媲美体素网络，更在 nuScenes 上实现了 +16.6 NDS 的代际跨越。
• vs DSVT / Voxel Mamba：体素 Mamba 与体素 Transformer 在体素化过程中丢失了微小几何边界，且计算量普遍在 150G-250G FLOPs 之间。PointLAM 在保持点级几何高保真度的前提下，以仅 90.7G FLOPs 和 8.6M 参数量实现了精度对标，为自动驾驶小目标和长尾稀疏障碍物检测提供了更具算力优势的技术路径。
• vs PTv3：PTv3 借助分块与 Hilbert 空间填充曲线实现邻域序列化，虽然相比稠密注意力显著加速，但空间曲线构建仍需 11.2 ms 额外开销。PointLAM 证明通过局部阿达马门控的拓扑锚定，直接采用 0.1 ms 的轴向扫描即可达成相当的上下文感知，更加契合车规端侧芯片的实时部署要求。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 成功将离散拉普拉斯高通先验与阿达马门控引入点云下采样与特征建模，构思精巧且理论自洽。
• 实验充分度: ⭐⭐⭐⭐⭐ 详尽覆盖了 nuScenes 与 Waymo 双榜，并设置了极端稀疏、小尺寸目标以及详细消融对比，证据确凿。
• 写作质量: ⭐⭐⭐⭐⭐ 架构图与数理推导层层递进，动机阐释清晰，图文呼应紧密。
• 价值: ⭐⭐⭐⭐⭐ 打破了点基检测器在自动驾驶工业界难以落地的效率壁垒，为轻量化高性能 3D 感知开拓了新范式。

相关论文

• [ECCV 2026] Event-LiDAR: 3D Eventification for Efficient Point Cloud Processing
• [ECCV 2026] DeGuNet: Depth-Guided Ultra-Compact Backbones for Efficient LiDAR-Camera 3D Detection
• [CVPR 2025] Trajectory Mamba: Efficient Attention-Mamba Forecasting Model Based on Selective SSM
• [ECCV 2026] PLOT: Pseudo-Labeling via Object Tracking for Monocular 3D Object Detection
• [ICCV 2025] Robust 3D Object Detection using Probabilistic Point Clouds from Single-Photon LiDARs