Reflection-Aware Reasoning for Non-Line-of-Sight Pedestrian Localization¶

会议: ECCV 2026
论文: ECCV 原文
项目: Project Page
代码: GitHub
领域: 自动驾驶 / 多模态VLM
关键词: 非视距感知, 毫米波雷达, 多径反射推理, 跨模态融合, 自动驾驶避障

一句话总结¶

针对自车运动引发雷达多径传播严重畸变与噪声的挑战，本文提出一种端到端反射感知的多模态学习与物理光线追踪框架，通过融合相机与毫米波雷达BEV特征解耦高阶反射并重构反射面，在实车动态测试中将NLOS行人定位误差降至1.23米并提前0.77秒预警。

研究背景与动机¶

在复杂密集的城市道路环境中，建筑物、围墙及隔音屏障等刚性结构会形成大量的视距遮挡盲区（Non-Line-of-Sight, NLOS）。在窄路盲区与丁字路口，横穿的行人极易在自车进入交叉口前被完全遮挡，待其突然出现在视野中时往往已越过碰撞安全制动距离。据统计，城市道路中行人交通事故致死率居高不下，超过80%的行人伤亡事故发生在结构复杂的遮挡区域，直接视距（LOS）传感器在应对此类突发盲区目标时面临无法规避的物理感知上限。

为实现转角盲区超视距感知，现有研究主要探索了三条技术路线：基于V2X车联网的协同感知、基于声学回波的被动/主动听觉感知，以及基于毫米波雷达（mmWave Radar）多径反射信号的主动探测。V2X依赖昂贵且普及受限的路侧基础设施；声学感知在风噪与多车混叠的实际道路中信噪比极低，难以稳定测距；而77 GHz车载毫米波雷达虽然穿透力强且具备高精度测距能力，能够利用墙面多次反弹的间接反射波捕捉遮挡区域的目标，但传统雷达多径方法大多依赖预先测绘的规则几何先验、理想墙面法线假设或纯规则启发式判决，且几乎全部在静止静态平台或受控室内受限环境中验证。

当感知系统部署于真实道路上的移动自车（Ego-dynamic）时，核心物理矛盾急剧放大：自车运动使得多帧雷达点云发生严重的运动畸变、虚警杂波与测量多普勒扰动，导致直接反射点、环境多径点与遮挡行人反弹点严重混叠；更致命的是，信号经过多次反射折返传感器，行人雷达观测点在鸟瞰图（BEV）空间呈现严重的空间几何镜像畸变，无法直接映射为真实物理坐标。核心 idea：将多模态数据驱动表征与经典几何光学物理先验深度耦合，利用前视视觉结构先验引导雷达多径反射阶数分类与各向异性反射面概率热图回归，再通过逆向光线追踪与几何镜像确定性还原NLOS行人的真实空间坐标。

方法详解¶

整体框架¶

本文框架由“反射感知表征学习（Reflection-Aware Representation Learning）”与“物理引导光线追踪（Physics-Guided Ray Tracing）”两大阶段级联构成。输入包括移动自车前向摄像头采集的前视RGB图像 $I_t$ 以及经自车轮速编码器运动补偿后累积的近 $K$ 帧2D毫米波雷达点云序列 $\{R_{t-\tau}\}_{\tau=0}^{K-1}$。在表征学习阶段，图像通过基于Lift-Splat-Shoot（LSS）的视觉编码器投影为相机BEV特征，雷达点云通过雷达编码器提取雷达BEV特征，二者通过以雷达特征为Query的交叉注意力机制生成跨模态融合特征 $F_{\mathrm{fused}}$。基于融合特征，模型并行预测点级反射阶数分类标签与BEV反射面存在概率热图。在物理光线追踪阶段，确定性几何算法对3阶候选反射点簇进行自车光线投射，并在预测的反射面热图上寻优反射边界法线与交点，最后通过平面镜像几何变换还原NLOS行人的真实物理空间坐标。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：前视图像与运动补偿毫米波雷达点云序列"] --> F1["时空对齐的多模态BEV特征融合<br/>LSS视锥投影与雷达-相机交叉注意力交互"]
    F1 --> F2["反射阶数感知的雷达点云语义分割<br/>解耦一阶LOS反射与三阶NLOS目标反射"]
    F1 --> F3["各向异性高斯散射的反射面分布估计<br/>时域多帧聚类先验与长轴法向异性热图回归"]
    F2 --> F4["几何镜像驱动的物理引导光线追踪<br/>射线寻优最优反射平面并解析计算镜像源位置"]
    F3 --> F4
    F4 --> Out["输出：空间聚类合并后的NLOS行人精确坐标与预警"]

关键设计¶

1. 时空对齐的多模态BEV特征融合：消除跨模态异构与自车运动导致的空域失真

雷达观测在单帧下存在极度稀疏与方位向测量噪声，且缺乏丰富的语义纹理；相机图像拥有密集的环境结构与几何轮廓，但无法在遮挡区域直接获得定量深度。为此，系统首先利用轮速计与自车位姿对历史 $K$ 帧雷达点云进行逐点自车运动补偿，消除行进动态引入的坐标偏移并对齐到当前时刻 $t$。视觉分支利用 LSS 结构预测像素级深度分布并将前视图像特征投影构建相机BEV特征图 $F_{\mathrm{cam}} \in \mathbb{R}^{C \times H_{\mathrm{bev}} \times W_{\mathrm{bev}}}$，雷达分支则将补偿后的点云栅格化为雷达BEV特征图 $F_{\mathrm{rad}} \in \mathbb{R}^{C \times H_{\mathrm{bev}} \times W_{\mathrm{bev}}}$。为了让稀疏的雷达测量有效检索视觉中的几何边界，设计了以雷达特征为Query、视觉特征为Key/Value的跨模态Transformer注意力模块： $$Q = W_Q F_{\mathrm{rad}}, \quad K = W_K F_{\mathrm{cam}}, \quad V = W_V F_{\mathrm{cam}}$$ $$F_{\mathrm{fused}} = \mathrm{Softmax}\left(\frac{Q K^\top}{\sqrt{d}}\right) V$$ 这种交叉注意结构使雷达信号能够直接关联由视野边缘推断出的拐角墙体、路口轮廓等物理表面结构，为后续多径解构奠定了稠密的空间上下文。

2. 反射阶数感知的雷达点云语义分割：将杂乱多径信号解耦为物理可解释的阶数路径

在毫米波传播中，根据信号在发射和接收之间经历的反射次数，雷达点可归纳为一阶（直接目标/墙体反射）、二阶与三阶（经墙体反弹至行人再折返墙体/接收机）等路径。由于高阶衰减显著，系统建模重点聚焦于三阶反射点。传统方法使用启发式能量或多普勒门限，极易被多径虚警杂波干扰。本文利用融合特征 $F_{\mathrm{fused}}$ 在每个雷达点 $r_{t,i}$ 的空间坐标处采样特征，通过轻量级多层感知机（MLP）分类头 $g_\theta$ 预测每个点的反射属性： $$\mathbf{p}_{t,i} = g_\theta(F_{\mathrm{fused}}(r_{t,i})), \quad \hat{y}_{t,i} = \arg\max_{c \in \mathcal{C}} \mathbf{p}_{t,i}^{(c)}$$ 类别集合 $\mathcal{C}$ 不仅细分反射阶数（一阶、二阶、三阶），还显式区分信号来源于动态行人（Object-originated）还是静态建筑表面（Surface-originated）。通过区分这两种物理源头，算法能够从杂乱的原始点云中精准筛选出承载NLOS行人多径信息的三阶行人反射点集 $\mathcal{P}_t^{(3)}$ 与直接可视的一阶点集 $\mathcal{P}_t^{(1)}$。

3. 各向异性高斯散射的反射面分布估计：无先验高精重构反射介质几何约束

仅识别出高阶反射点尚无法恢复行人的物理位置，因为镜面多径传播严格依赖反弹介质的位置与法线朝向。针对传统方案预先设定水平/垂直墙体网格的严苛限制，本文由 $F_{\mathrm{fused}}$ 通过卷积预测头 $h_\phi$ 直接回归整个BEV平面上的反射面概率分布图 $\hat{S}_t \in [0, 1]^{H_{\mathrm{bev}} \times W_{\mathrm{bev}}}$。在监督训练中，由于单帧雷达表面点极度稀疏，算法离线聚合前后时域窗口（前 $K_h$ 帧与后 $K_f$ 帧）中被分类为一阶表面反射的雷达点集合 $\tilde{R}_t$，并通过各向异性高斯散射（Anisotropic Gaussian Splatting）生成连续伪真值表面热图： $$S_t(u, v) = \max_{j} \exp\left(-\frac{1}{2}\left[\frac{d_{\parallel, j}^2}{\sigma_\parallel^2} + \frac{d_{\perp, j}^2}{\sigma_\perp^2}\right]\right)$$ 其中 $d_{\parallel, j}$ 与 $d_{\perp, j}$ 分别代表网格点 $(u, v)$ 到候选表面点沿切线方向和法线方向的欧氏投影距离，超参数满足 $\sigma_\parallel > \sigma_\perp$。这种沿物理表面长轴拉伸、法向严格约束的高斯核，有效保留了建筑物连续墙面的直线特性，同时抑制了垂直方向的虚假扩散。

4. 几何镜像驱动的物理引导光线追踪：基于光学反射对称性的解析级坐标还原

在获取离散点分类 $\hat{y}_{t,i}$ 与连续反射面概率图 $\hat{S}_t$ 后，系统放弃不可解释的端到端黑盒回归坐标，采用符合电磁波几何光学的物理算子 $\mathcal{T}$ 确定性推算目标。首先使用 DBSCAN 对三阶行人反射点集进行空间聚类提取代表性聚类中心 $\bar{r}_m^{(3)}$。由于三阶折返信号必定入射自某处反射墙面，雷达原点 $o$ 与该虚像中心 $\bar{r}_m^{(3)}$ 连线的方向向量即为自车发射线向量： $$\mathbf{d}_m = \frac{\bar{r}_m^{(3)}}{\|\bar{r}_m^{(3)}\|_2}$$ 算法沿此射线在反射面概率图 $\hat{S}_t$ 上积分采样，寻找概率局部峰值对应的物理交点 $c_m$ 及对应局部平面的单位法向量 $n_m$。最后根据平面反射几何对称原理，将虚像点关于该反射平面执行解析镜像映射： $$\hat{\mathbf{x}}_m^{(3)} = \bar{r}_m^{(3)} - 2\left((\bar{r}_m^{(3)} - c_m) \cdot n_m\right) n_m$$ 镜像反转后的坐标直接对应 NLOS 行人在世界/自车坐标系下的真实物理位置。最后将直接检出的一阶LOS中心与镜像还原的NLOS点集空间聚类合并，输出全局行人集合 $\hat{X}_t$。

损失函数 / 训练策略¶

模型的表征学习网络采用多任务联合监督端到端训练。总损失函数由雷达点级反射分类损失、BEV反射面回归损失以及辅助视觉语义分割损失加权组成： $$\mathcal{L} = \mathcal{L}_{\mathrm{pt}} + \lambda_{\mathrm{surf}} \mathcal{L}_{\mathrm{surf}} + \lambda_{\mathrm{sem}} \mathcal{L}_{\mathrm{sem}}$$ - 点级分类损失 $\mathcal{L}_{\mathrm{pt}}$：对单帧内 $N_t$ 个雷达点的反射类别应用标准交叉熵损失： $$\mathcal{L}_{\mathrm{pt}} = \frac{1}{N_t}\sum_{i=1}^{N_t} \ell_{\mathrm{CE}}(\mathbf{p}_{t,i}, y_{t,i})$$ - 反射面回归损失 $\mathcal{L}_{\mathrm{surf}}$：对BEV网格上预测概率图与各向异性高斯伪真值图计算二值交叉熵（BCE）损失： $$\mathcal{L}_{\mathrm{surf}} = \ell_{\mathrm{BCE}}(\hat{\mathbf{S}}_t, \mathbf{S}_t)$$ - 辅助视觉语义损失 $\mathcal{L}_{\mathrm{sem}}$：在相机编码器后接轻量语义分割头计算交叉熵，迫使视觉分支在无深度真值监督下捕获更鲁棒的路面、墙壁和建筑边缘特征，在推理阶段该头被直接剪除，不引入任何推理时延。

实验关键数据¶

主实验¶

评估在搭建的室外真实丁字路口（T-junction）测试场展开，测试车搭载 77 GHz 毫米波雷达（TI AWR2944EVM）、前视RGB相机、LiDAR与轮速计，并在路口上方悬挂俯视顶置全景相机获取绝对高精真值坐标。涵盖盲区强遮挡丁字路口（B1，前方封闭阻挡墙）与开放丁字路口（B2，直行或右转通路），并在静态自车（静止）与动态自车（最高车速 22.00 km/h，NLOS最大探测距离达 17.92 m）两种工况下对比。评价指标采用平均欧氏定位误差（Average Euclidean Error, AE，单位：m）。

算法 / 对比方案	传感器输入	自车静止 LOS 误差 (m)	自车静止 NLOS 误差 (m)	自车行进 LOS 误差 (m)	自车行进 NLOS 误差 (m)
Scheiner et al. [27] (CVPR 2020)	Radar + LiDAR	1.02	2.36	1.36	4.74
Park et al. [24] (IROS 2025)	Radar + Camera	0.89	1.69	1.41	3.23
本文方法 (Proposed)	Radar + Camera	0.44	1.01	0.54	1.23

在自车静止工况下，本文将NLOS行人定位误差由Park等人的1.69 m显著降至1.01 m（相对降幅达 40.2%）；在极具挑战的自车动态行进工况下，由于传统方法无法处理车速抖动引发的多径失真，基线误差剧增至 3.23 m 和 4.74 m，而本文方法保持了高度鲁棒性，NLOS定位误差仅为 1.23 m，相比对比基线降幅超过 61.9%。

消融与分析实验¶

1. 雷达点级反射路径分类性能对比
考察不同模型将点云准确识别为3阶NLOS行人反射点的性能（NLOS定位的决定性输入）。

算法模型	测试场景配置	整体准确率 (Acc)	Macro-F1	3阶NLOS反射精确率 (Precision)	3阶NLOS反射召回率 (Recall)	3阶NLOS反射 F1-score
Kraus et al. [14] (ITSC 2020)	静止工况 (Static)	0.686	0.661	0.757	0.639	0.693
Kraus et al. [14] (ITSC 2020)	行进工况 (Dynamic)	0.677	0.635	0.553	0.863	0.674
Wu et al. [34] (PTv3, CVPR 2024)	静止工况 (Static)	0.930	0.890	0.884	0.931	0.907
Wu et al. [34] (PTv3, CVPR 2024)	行进工况 (Dynamic)	0.610	0.481	0.250	0.501	0.334
本文方法 (Proposed)	静止工况 (Static)	0.946	0.915	0.897	0.935	0.916
本文方法 (Proposed)	行进工况 (Dynamic)	0.899	0.814	0.744	0.718	0.731

2. 反射面几何估计精度与整机运行时延
以LiDAR点云RANSAC拟合的墙面为真值，评估预测反射面的反射点位置误差（RPE，单位：m）与反射平面法向角度误差（RAE，单位：度）。

自车状态	场景布局	反射点位置误差 RPE (m)	反射法向角度误差 RAE (deg)	计算子阶段	阶段耗时 (ms)	系统整机性能
静止 (Static)	B1 (阻挡墙)	0.280	7.175°	表征学习模块	55.22 ms	总时延: 72.02 ms
静止 (Static)	B2 (开放路)	0.415	6.698°	物理光线追踪	16.80 ms	吞吐量: 13.85 FPS
行进 (Dynamic)	B1 (阻挡墙)	0.285	7.207°	参数量	1.17 M	计算量: 55.04 GMACs
行进 (Dynamic)	B2 (开放路)	0.357	5.997°	辅助语义头	推理剪除	提前预警时间: 0.77 s

关键发现¶

多模态时空先验在动态工况下是抗衰减的关键：如表2所示，纯雷达三维点云网络（Point Transformer v3 [34]）在自车静止时性能良好（Macro-F1 0.890），但在自车移动时性能急剧崩溃（Macro-F1 断崖式降至 0.481，3阶点精确率跌至 0.250），原因在于运动导致多径雷达点空间几何特征完全离散化，而本文方法依托相机密集几何线索与时空运动补偿维持了高鲁棒性（动态 Macro-F1 达到 0.814）。
反射面法向精度决定了NLOS重构下限：实验指出，仅有准确的雷达点分类是远远不够的，若反射面的角度误差（RAE）或位置误差（RPE）发散，镜像映射会将误差成倍放大。本文方法将反射点误差稳定控制在 0.28–0.42 米以内，法向误差小于 7.3°，奠定了亚米级镜像还原的物理基础。
超视距预警具有重大主动安全价值：相较于等待行人步入LOS区域产生一阶直接雷达波观测，本文系统通过捕捉转角墙面折射的三阶多径波，平均可提前 0.77 秒 捕获并定位潜在碰撞目标，为城市自动驾驶紧急刹车（AEB）提供了关键的时间窗口。

亮点与洞察¶

数据驱动与电磁物理的解耦融合：没有盲目使用端到端网络直接从图像+雷达回归三维包围框，而是让神经网络专注于其擅长的表征与分类任务（识别反射阶数、生成反射面概率图），将对噪声敏感的坐标变换交给绝对确定性的几何镜像光线追踪，彻底规避了黑盒过拟合。
高阶多径信号由“被动干扰噪声”转变为“主动感知信息”：传统雷达目标检测通常将墙面虚假反弹点视为Ghost目标进行滤除，本文反其道而行之，利用多层感知机挖掘三阶非视距跳跃路径中蕴含的隐藏行人空间指纹，实现了“见所未见”的超视距探测。
轻量低功耗的高频实时部署架构：模型总参数量仅 1.17M，单帧计算开销仅 55.04 GMACs（在 RTX 3090 上端到端时延仅 72 ms，达到 13.85 FPS），辅以完全无损的推理期辅助头剪枝设计，具备直接迁移到车载计算平台的工程实用价值。

局限与展望¶

场景几何假设依赖平整反射介质：当前光线追踪与各向异性高斯平滑基于局部平坦镜面反射模型（如混凝土墙面、玻璃屏障等），若在野外遇到粗糙度极高引发漫散射的粗糙石墙或非平整灌木丛，多径信号能量衰减严重且法线发散，会导致反射面估计失败。
高车速与多目标混叠工况下的关联挑战：当前实车实验验证的车速上限为 22 km/h，在更高车速（如 40-60 km/h 城市干道）下，多普勒模糊与帧间运动位移将加剧；且当盲区内存在多个动态行人且轨迹交叉时，三阶虚像点到不同实体的聚类归属容易发生关联混淆。
未来方向：探索粗糙表面的双向反射分布函数（BRDF）可微分光线追踪模型，并将时序多目标多假设跟踪（MHT）滤波引入光线追踪之后，实现高速复杂路况下的连续多径轨迹平滑。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将雷达多径高阶传播物理与相机跨模态学习结合，完成自车动态下NLOS行人定位的突破]
实验充分度: ⭐⭐⭐⭐⭐ [搭建了具备顶置全景相机真值系统的真实移动车辆室外丁字路口测试集，包含静止与行进双工况充分横向对比]
写作质量: ⭐⭐⭐⭐⭐ [问题形式化严谨，从电磁波反射物理建模到网络设计再到几何解析闭环连贯]
价值: ⭐⭐⭐⭐⭐ [解决城市自动驾驶视野盲区突发碰撞的致命痛点，提前0.77秒预警具有极高的工程落地与安全应用价值]