CRISP: Fixing Flying Pixels in Latent LiDAR Generation via Diffusion Decoding¶

会议: NeurIPS 2026
arXiv: 2610.11376
代码: https://andrea25512.github.io/CRISP/
领域: 自动驾驶
关键词: 激光雷达点云生成, 潜在扩散解码, 飞行像素伪影, 深度不连续性, 支撑掩码预测

一句话总结¶

针对隐式激光雷达生成中卷积 VAE 解码器平滑深度边界引发"飞行像素"的瓶颈，CRISP 提出了一种骨干无关的即插即用扩散解码器，在保持编码器与生成器完全冻结的前提下显著修复边界几何并压低 50% 以上的感知误差。

研究背景与动机¶

激光雷达（LiDAR）为自动驾驶提供了至关重要的三维几何基石，广泛支撑着场景感知、仿真仿真系统以及安全规划。随着自动驾驶系统的规模化扩展，合成激光雷达数据在覆盖长尾极端工况和稀缺场景中扮演着不可替代的角色。现代激光雷达生成管线通常先将稀疏点云投影为圆柱形距离图（range map），利用卷积变分自编码器（VAE）压缩为紧凑的潜在表示，并在潜在空间中进行扩散生成。这些解码器主要来自两个流派：一类是直接借用通用视频 VAE（如 SVD、Wan2.1）并迁移到距离图；另一类则是针对传感器 360° 方位角环绕特性引入循环卷积的激光雷达专用自编码器（如 LiDM）。

然而，无论借用视频 VAE 还是专用自编码器，基于卷积的解码器都暴露出一个顽固的几何退化顽疾——"飞行像素"（flying pixels）。卷积核在滑窗解码时不可避免地跨越了物体边缘剧烈变化的径向深度不连续面，在前景物体与远景背景交界处输出了连续平滑的插值深度值。当这些被平滑的距离图通过传感器内外参反投影回 3D 欧氏空间时，虚假插值的边界像素便在三维空间中形成悬浮在两个真实物理表面之间的杂散点云。即使是 LiDM 采用 1×4 扁平卷积核与水平重采样，依然无法消除沿扫描线径向深度跳变处的平滑泄漏。

这一失败的核心矛盾在于：学界此前普遍将生成失真归咎于潜在模型容量、语义条件或先验对齐，不断加码复杂的潜在扩散架构；但事实上，冻结的潜在表示中本身已经保留了丰富的结构信息，反而是末端的卷积解码器构成了根本性的几何重建瓶颈。在稀疏、各向异性且伴随大量未命中射线的激光雷达距离图上，解码器的平滑破坏在三维反投影后被急剧放大。本文的核心 idea 是：将解码器完全解耦为一个即插即用的像素级扩散解码模块（CRISP），通过骨干无关的适配器、双层注入的 DiT 去噪网络与专用的有效返回支撑掩码预测器，在保持编码器和潜在扩散生成器完全冻结的条件下，直接从潜在表示中复原高频锐利深度边界并彻底消除飞行像素。

方法详解¶

整体框架¶

CRISP 将潜在激光雷达距离图解码解构为两分支解耦预测架构：一个分支负责密集连续深度的高保真去噪，另一个分支负责预测传感器有效光线返回的二值支撑掩码（support mask）。给定任意预训练且完全冻结的编码器 $\mathcal{E}_\omega$，输入的对数归一化距离图 $\tilde{y} \in [-1, 1]^{H \times W}$ 被映射到潜在张量 $z = \mathcal{E}_\omega(\tilde{y})$。潜在适配器 $\mathcal{A}_\psi$ 首先将具有不同通道数与空间分辨率的异构潜在特征统一投影并对齐为离散条件标记序列 $\tau$。随后，级联扩散变换器（DiT）解码器 $\mathcal{D}_\theta$ 从纯高斯噪声开始，在适配标记 $\tau$ 的早期与中期多级注入引导下，执行单步/少步反向扩散，解码出无空洞的密集连续深度图 $\hat{y}_d$。与此同时，支撑掩码预测器 $\mathcal{M}_\phi$ 结合潜在张量 $z$ 的全局语义布局与解码深度 $\hat{y}_d$ 的高频几何线索，输出有效返回的伯努利概率场并采样生成二值掩码 $\hat{m}$。最终的稀疏激光雷达距离图由二者元素乘合成输出：$\hat{y} = \hat{m} \odot \hat{y}_d - (1 - \hat{m})$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入激光雷达距离图 y<br/>经对数归一化映射至 [-1, 1]"] --> B["冻结编码器 E_omega<br/>支持通用视频 VAE 或专用 LiDM"]
    B --> C["潜在张量 z"]
    C --> D["异构潜在适配器<br/>通道投影 W_c 与标记重排 W_s 映射为 tau"]
    C --> G["双分支条件交互支撑掩码预测器<br/>融合潜在特征 z 与解码深度线索 y_d"]
    D --> E["双尺度级联 DiT 像素扩散解码器<br/>在粗尺度与细尺度早期注入条件标记 tau"]
    E --> F["密集连续深度估计 y_d<br/>通过速度参数化单步/多步反向去噪"]
    F --> G
    G --> H["有效返回支撑掩码 m_hat<br/>多尺度损失与伯努利概率场建模"]
    F --> I["稀疏化合成输出<br/>y_hat = m_hat * y_d - (1 - m_hat)"]
    H --> I

关键设计¶

1. 异构潜在适配器：统一异构潜在表示与解耦解码器架构

现有的自动驾驶激光雷达模型既包含专门针对 360° 视场定制的专用自编码器（如 LiDM），也包含借用自然视频生成先验的通用大型视频 VAE（如 SVD、Wan2.1）。不同架构在潜在通道数、下采样率和空间维度上截然不同。为了使解码器具备通用的即插即用特性，潜在适配器 $\mathcal{A}_\psi$ 将异构的潜在张量 $z$ 投影为统一长度和维度的条件标记序列： $$\tau = \mathcal{A}_\psi(z) = \mathbf{W}_s \, \mathrm{Flat}(\mathbf{W}_c \cdot z)$$ 其中 $\mathbf{W}_c$ 是在每个空间位置独立操作的点向通道投影矩阵，用于对齐隐藏维度；随后将空间标记展平并通过线性投影 $\mathbf{W}_s$ 调整为匹配 DiT 输入长度的标记序列。这种设计将下游几何去噪过程与特定上游骨干的网络拓扑完全解耦，使得无论是 3 通道视频潜在特征还是专用单通道潜在特征，都能转换为标准化的条件流。

2. 级联 DiT 像素扩散解码器与双阶段早期潜在融合

传统单目扩散深度估计通常依赖整张清晰的 RGB 引导图作为强结构先验；然而在潜在激光雷达解码任务中，输入起点是纯高斯噪声 $x_t \sim \mathcal{N}(0, I)$。如果像标准扩散模型那样仅在注意力层施加交叉注意力或自适应层归一化（adaLN），网络在初始阶段极难直接捕捉全局场景拓扑，导致解码局部几何出现错位。CRISP 采用 24 层 DiT 架构并构建由粗到细的级联重构机制：前 12 层在 $\frac{H}{16} \times \frac{W}{16}$ 的粗粒度分辨率下运算，利用轻量级双层 MLP 在 patch 嵌入后立即进行早期特征融合 $h_0 = \mathrm{Fuse}_{\mathrm{early}}(\mathrm{Tok}(x_t), \tau)$；在第 12 层网络中心处，特征序列通过 Pixel-Shuffle 上采样展开为 $\frac{H}{8} \times \frac{W}{8}$ 的细粒度分辨率，并再次通过三层 MLP 进行中期融合 $h_{K/2} \leftarrow \mathrm{Fuse}_{\mathrm{mid}}(\mathrm{Block}_{1:K/2}(h_0, t), \tau)$。这种“早期确立全局宏观布局、后期细化微观局部几何”的非对称注入机制，使去噪网络能够在无外部图像引导的极端条件下稳定收敛，准确还原锐利的几何边缘。

3. 双分支条件交互的支撑掩码预测器与射束丢弃建模

激光雷达不同于稠密相机图像，由于光束发散、材质吸收、镜面反射以及射向天空等物理因素，存在大量的无效返回（ray drop）。若强行让连续扩散过程在全图包含空洞的区域拟合 $-1$ 占位符，深度估计与空洞拟合的统计冲突会迫使网络在边界妥协，产生弥散模糊。CRISP 将有效返回的判别任务剥离给基于 U-Net 架构的支撑掩码预测器 $\mathcal{M}_\phi$。该预测器采用双输入分支：一条分支利用双层卷积处理潜在张量 $z$ 并双线性上采样，提取宏观语义布局；另一条浅层卷积分支处理 DiT 当前输出的单通道解码深度 $\hat{y}_d$，提取高频几何边缘。二者拼接后送入三层 U-Net 编码-解码栈，输出伯努利概率分布图 $\pi_\phi = \sigma(r_\phi)$。在确定性高置信区域输出接近 0 或 1 的明确有效性，而在植被、稀疏线缆等不确定区域允许适度随机采样，精准实现了几何深度解耦与真实点云稀疏化。

4. 结构加权与多阶差分正则化的几何感知损失函数

在平坦地面或平整墙面上产生微小深度误差，反投影后仅表现为轻微表面浮动；而在前景物体边缘处产生微小径向偏差，反投影后却会呈乘数级发散为大范围悬浮的飞行像素。为了对边缘误差施加惩罚，CRISP 提出了基于有效掩码归一化滤波（validity-normalized filtering）的局部结构显著度加权： $$\bar{y} = \frac{G_\sigma * (m \odot \tilde{y})}{G_\sigma * m + \epsilon}, \quad w = m \odot \Bigl(1 + (\lambda_{\max} - 1)\,\mathrm{Norm}(|\tilde{y} - \bar{y}|)\Bigr)$$ 其中高斯核参数设为 $5 \times 5, \sigma=2.0, \lambda_{\max}=1.5$。平坦有效区域权重为 1，而深度跳变不连续边缘的权重最高升至 1.5。配合针对激光雷达水平激光扫描与垂直线束各向异性物理特性的水平/垂直一阶斜率差分（$\mathcal{L}_{dx}, \mathcal{L}_{dy}$）与二阶曲率差分（$\mathcal{L}_{d2x}, \mathcal{L}_{d2y}$）正则化，全面压制去噪过程引发的表面波纹，迫使扩散流精准对齐锐利边缘。

损失函数 / 训练策略¶

CRISP 的总训练目标由连续深度重构损失 $\mathcal{L}_{\mathrm{depth}}$、支撑掩码损失 $\mathcal{L}_{\mathrm{mask}}$ 以及编码器自适应时的 KL 散度约束构成： $$\mathcal{L} = \mathcal{L}_{\mathrm{depth}} + \lambda_{\mathrm{mask}}\mathcal{L}_{\mathrm{mask}} + \lambda_{\mathrm{KL}}\mathrm{KL}(q_\omega(z \mid \tilde{y}) \,\|\, p(z))$$ - 深度分支目标：$\mathcal{L}_{\mathrm{depth}} = \mathcal{L}_{\mathrm{vel}} + \mathcal{L}_{\mathrm{der}} + \lambda_{\mathrm{grad}}\mathcal{L}_{\mathrm{grad}} + \mathcal{L}_{\mathrm{vel,raw}} + \lambda_{x0}\mathcal{L}_{x0}$。其中 $\mathcal{L}_{\mathrm{vel}}$ 是结构加权的速度回归目标，采用 $v$-parameterization 参数化（$v^\star = \alpha_t \epsilon - \sigma_t \tilde{y}$）；$\mathcal{L}_{\mathrm{vel,raw}}$ 作为非加权基准项稳定梯度；$\mathcal{L}_{x0}$ 针对低噪声步实施直接 $L_1$ 深度拟合惩罚；$\mathcal{L}_{\mathrm{der}}$ 涵盖水平与垂直的 4 项一阶及二阶差分损失。 - 掩码分支目标：$\mathcal{L}_{\mathrm{mask}} = \lambda_{\mathrm{focal}}\mathcal{L}_{\mathrm{focal}} + \lambda_{\mathrm{dice}}\mathcal{L}_{\mathrm{dice}} + \lambda_{\mathrm{edge}}\mathcal{L}_{\mathrm{edge}} + \lambda_{\mathrm{lap}}\mathcal{L}_{\mathrm{lap}} + \lambda_{\mathrm{hard}}\mathcal{L}_{\mathrm{hard}} + \lambda_{\mathrm{ds}}\mathcal{L}_{\mathrm{ds}}$。采用 Focal BCE 克服前景稀疏类不平衡，Soft Dice 强化细小连通分支召回，边缘一阶对齐与拉普拉斯二阶平滑抑制单像素射线噪点，同时辅以难例挖掘（hard-pixel mining）和深层监督（deep supervision）。 - 训练阶段安排：在冻结编码器设置（$\times 3$）下执行两阶段训练（Stage F1 仅训练 DiT 扩散分支以 $L_2$ 速度损失冷启动；Stage F2 切换为 $L_1$ 目标，引入支撑掩码分支并提升差分正则化权重）。在编码器微调适配设置（$\times 1$）下执行三阶段递进训练（A1 联合预热 $\to$ A2 引入掩码并约束梯度 $\to$ A3 冻结编码器精细微调）。优化器选用 AdamW，配合梯度截断（阈值 1.0）防止 64 线雷达剧烈边缘造成梯度爆炸。

实验关键数据¶

主实验¶

论文在 KITTI 家族（KITTI-360、SemanticKITTI 64线）与 nuScenes（32线）基准上评测了统计分布、特征感知以及 3D 几何重构指标。在冻结编码器（$\times 3$ 通道复制）及专用骨干设置下的核心表现如下表所示（摘自原文 Table 1 与 Table 2）：

骨干配置	解码器	全局 CD (m)↓	全局 [email protected]↑	边缘 CD (m)↓	边缘 [email protected]↑	FSVD↓	FPVD↓	FRID↓
SVD $\times 3$ (nuScenes)	原始基线	1.331	0.678	8.691	0.095	156.49	153.60	–
SVD $\times 3$ (nuScenes)	CRISP (本文)	0.640	0.805	7.364	0.238	40.24	36.85	–
Wan $\times 3$ (nuScenes)	原始基线	0.770	0.732	5.861	0.104	100.92	113.38	–
Wan $\times 3$ (nuScenes)	CRISP (本文)	0.465	0.826	5.645	0.285	32.53	31.07	–
LiDM (KITTI-family)	原始基线	0.160	0.939	7.913	0.378	20.20	16.15	2.24
LiDM (KITTI-family)	CRISP (本文)	0.142	0.943	4.052	0.479	16.69	17.03	0.64

在预训练世界模型中的即插即用（Zero-shot Swap）测试中（保持 LiDM 潜在生成器与动态先验完全不动，仅替换解码器，原文 Table 3）： - FSVD 改善: 从 37.70 降低至 31.87（降幅 15.5%）；FRID 从 137.81 降至 132.36（降幅 4.0%）。 - 边缘几何: 边缘 Chamfer 距离从 96.41 骤降至 79.55（降幅 17.5%），表明世界模型生成的潜在序列直接搭载 CRISP 解码器即可立刻获得边界保真度收益。

消融实验¶

在 SVD $\times 3$ 骨干与 nuScenes 数据集上，对核心模块（早期融合、独立掩码预测分支）以及 Euler 扩散采样步数的系统消融（汇总自 Table 14 与 Table 15）：

配置 / 变体	全局 CD (m)↓	全局 [email protected]↑	边缘 CD (m)↓	边缘 [email protected]↑	FSVD↓	JSD↓	说明
CRISP 完整模型 (5步采样)	0.639	0.804	7.364	0.238	40.30	0.071	完整双分支与双级融合
无早期融合 (w/o Early Fusion)	1.134	0.753	8.030	0.192	119.56	0.120	缺失全局拓扑，CD恶化+15%
无掩码分支 (全图强行回归扩散)	0.660	0.797	8.083	0.193	42.56	0.109	缺少支撑约束，JSD恶化+35%
掩码预测：仅输入深度 (无潜在z)	–	–	–	–	–	–	掩码 IoU 从 0.788 暴跌至 0.630
扩散步数：2 步 Euler 采样	0.499	0.825	–	–	94.20	–	均值回归致CD低但感知极其模糊
扩散步数：5 步 Euler 采样 (选定)	0.639	0.804	7.364	0.238	40.30	0.071	几何与感知质量的最佳平衡点

关键发现¶

边缘几何提升显著高于全局平均：在全部 5 种实验设置下，边缘区域的 F-score 平均暴涨了 107%，而全局 F-score 仅提升 9%；边缘 CD 在 LiDM 上下降了 48.8%。这强有力地证实了卷积 VAE 的主要缺陷并非均匀的重构模糊，而是极端集中在径向深度不连续面上的平滑插值，被 CRISP 的扩散机制精准修复。
平滑区域与锐利边缘两全其美：平滑区域的 Chamfer 距离平均降低了 23%，证明通过扩散解码锐化边缘并没有以牺牲平坦表面（如地面、墙壁）的平整度为代价。
异构视频解码器的算力红利：在 Wan2.1 骨干上，原始视频 VAE 解码器耗时 9.71 ms/帧，而 CRISP 仅需 3.84 ms/帧（2.5 倍加速），端到端吞吐率从 57 fps 反超提升至 86 fps，表明用单通道激光雷达专用扩散头替换臃肿通用的视频多通道反卷积头，可同时达成“画质暴增 + 推理变快”。

亮点与洞察¶

解码器是独立且被低估的瓶颈：以往研究过度聚焦于训练更强大的潜在生成网络或先验表征，本文首次用坚实的控制变量实验指出——冻结潜在中早已具备高保真边界线索，只是被末端卷积解码器抹平了；单一替换解码器即可兑现巨大的几何质量增量。
解耦“连续深度生成”与“离散光线返回支撑”：将不可导且具物理偶然性的 ray drop 剥离为独立的条件 U-Net 掩码分支，解除了扩散模型同时兼顾平滑测距与离散截断的表征冲突，显著提升了点云空洞边界的保真度。
结构自适应加权机制（Validity-Normalized Filtering）：在稀疏且带空洞的距离图上不能直接使用普通 Sobel 算子，作者引入归一化滤波计算几何结构方差并设计动态加权损失，这一操作在处理稀疏深度补全与雷达生成任务中极具通用复用价值。

局限与展望¶

单通道与物理反射率（Remission/Intensity）缺失：目前 CRISP 仅建模单一连续几何深度，未联合生成激光反射强度（intensity/remission），而反射率对下游检测与语义分割同样关键。
多帧时序抖动（Flicker）潜在风险：当前解码器为逐帧单帧独立扩散，缺少显式的时序跨帧注意力或连续性约束，在连续序列长程 rollout 仿真时，纤细薄壁结构可能出现帧间高频闪烁。
高线束激光雷达下的延迟权衡：对于 64 线雷达（LiDM/KITTI），5 步扩散解码带来约 23 ms/帧的计算开销（吞吐率降至 41 fps），对超高帧率在线闭环仿真稍显偏重，未来亟待引入渐进式蒸馏（progressive distillation）将扩散收敛压缩至 1-2 步。

评分¶

新颖性: ⭐⭐⭐⭐☆ [精准定位了潜在激光雷达生成中被长期忽视的解码器瓶颈，提出兼顾通用骨干适配与稀疏支撑建模的即插即用扩散解码管线]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 3 大基准、3 种跨度极大的异构骨干，包含统计/感知/子点云边缘几何深度拆解，并成功验证了预训练世界模型的零样本替换]
写作质量: ⭐⭐⭐⭐⭐ [逻辑链条极其紧密清晰，问题剖析一针见血，附录中的超参、消融和复现细节异常严谨]
价值: ⭐⭐⭐⭐⭐ [即插即用属性极具工程实用价值，为自动驾驶世界模型及高保真仿真器消除“飞行像素”提供了标准化通用插件]

骨干配置	解码器	全局 CD (m)↓	全局 [email protected]↑	边缘 CD (m)↓	边缘 [email protected]↑	FSVD↓	FPVD↓	FRID↓
SVD \(\times 3\) (nuScenes)	原始基线	1.331	0.678	8.691	0.095	156.49	153.60	–
SVD \(\times 3\) (nuScenes)	CRISP (本文)	0.640	0.805	7.364	0.238	40.24	36.85	–
Wan \(\times 3\) (nuScenes)	原始基线	0.770	0.732	5.861	0.104	100.92	113.38	–
Wan \(\times 3\) (nuScenes)	CRISP (本文)	0.465	0.826	5.645	0.285	32.53	31.07	–
LiDM (KITTI-family)	原始基线	0.160	0.939	7.913	0.378	20.20	16.15	2.24
LiDM (KITTI-family)	CRISP (本文)	0.142	0.943	4.052	0.479	16.69	17.03	0.64