跳转至

HybridSim: A Physics–Learning Hybrid Digital Twin for mmWave Human Sensing

会议: ECCV 2026
论文: ECCV 原文
代码: https://weitao-xiong.github.io/HybridSim/
领域: 3D视觉
关键词: 毫米波雷达、人体感知、物理学习混合仿真、微表面BRDF、3D高斯泼溅

一句话总结

针对毫米波人体感知仿真中高阶多径射线追踪计算爆炸与神经隐式场纠缠运动微多普勒的瓶颈，HybridSim 将电磁波传播解耦为基于微表面逆向渲染的直射径与基于代理虚拟接收器 3D 高斯泼溅的间接多径，实现了高保真、低开销的动态人体中频毫米波信号合成。

研究背景与动机

毫米波（mmWave）雷达因对极端光照、恶劣天气的强鲁棒性以及天然的隐私保护特性，已成为视觉人体姿态估计与动作识别的重要互补或替代模态。然而，深度学习雷达感知模型高度依赖覆盖多样化人体形态与动作的大规模带标签数据集，在物理现实环境中采集和精细标注此类数据成本极其高昂。通过电磁与运动学仿真合成高保真毫米波信号，是扩充训练数据、缩小跨域差距的关键技术路径。

然而，现存的毫米波雷达仿真方案在处理连续动态人体时面临两难困境。传统基于物理几何光学的全射线追踪（Ray Tracing）方法虽然具备电磁传播严谨性，但在计算高阶多径反射（如人体-墙面、墙面-墙面）时计算复杂度随反射次数呈指数级暴增，难以支持连续动作的规模化生成，且极度依赖高精度扫描的室内网格几何；而新兴的神经射频辐射场（NeRF2）或 3D 高斯泼溅（RF-3DGS）虽然擅长静态信道建模，却将人体动态表面的直射散射与环境静态多径反射严重纠缠在一起，导致由肢体运动诱发的微多普勒特征严重模糊失真，在单传感器配置下泛化能力急剧劣化。

本文的切入视角在于：毫米波信号的物理本质可以被清晰拆分为两部分——人体表面的一阶视距散射决定了细粒度的人体运动运动学微多普勒特征，而环境的高阶多径反射决定了特定场地的干涉纹理与信道底色。核心 idea：将毫米波人体电磁传播显式解耦为“微表面逆向渲染直射径”与“虚拟边界代理 3D 高斯间接多径”，直射径由微表面 BRDF 约束表面镜面散射与运动相位，间接径通过墙面虚拟接收器将复杂多跳路径转化为可微三段式代理，端到端在对数距离-多普勒域优化物理真实度。

方法详解

整体框架

HybridSim 以连续人体 SMPL 动态网格和粗粒度房间几何参数（收发机到六面墙体的标量距离）为输入，输出高保真中频（IF）毫米波雷达信号及距离-多普勒（Range-Doppler, RD）热图。系统整体流程分为三阶段：第一阶段提取标准姿态下的三平面神经特征，并通过隐藏点消除算法动态解算运动中的视距遮挡关系；第二阶段并行解算直射径与间接径，直射径通过带掩码 GCN 结构正则化与微表面 BRDF 解码器计算一次反射波，间接径通过展平的表面 2D 高斯图元配合墙面虚拟代理接收器构建三段式多径多散射体代理；第三阶段将直射与间接复数波形相干叠加并注入可学习底噪，在对数 RD 谱域实施端到端监督。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：SMPL动态网格 + 房间标量几何"] --> B["三平面神经特征提取 & HPR动态可视性剔除"]
    B --> C["直射径：基于正则化微表面逆向渲染的直射径建模<br/>GCN图卷积平滑 + 微表面BRDF参数解码"]
    B --> D["间接径：基于几何约束3D高斯与虚拟边界代理的多径多散射体替代模型<br/>2D展平高斯贴片 + 墙面代理接收器三段式传播"]
    C --> E["相干叠加与可学习复高斯噪声注入"]
    D --> E
    E --> F["幅度域对数RD热图监督与自适应可学习底噪注入<br/>2D-FFT变换 + 20 log10(·) 对数刻度MSE损失"]
    F --> G["输出：高保真中频mmWave雷达信号与RD热图"]

关键设计

1. 基于正则化微表面逆向渲染的直射径建模：解决人体微多普勒被多径平滑淹没的问题

直射信号路径严格限定为发射天线射向目标并直接反射回接收天线的一阶单跳散射（1-bounce LoS）。为保证人体表面电磁散射的物理一致性，HybridSim 将标准人体姿态 SMPL 网格映射至正交三平面（Triplane）特征空间以解耦姿态形变。然而，微表面 BRDF 参数（表面粗糙度、金属因子、复折射率等）对局部几何梯度极其敏感，若将网格各顶点视为独立散射点，梯度更新极易集中在少数剧烈运动的顶点上，引发瞬时显存尖峰与高频材质伪影。

为此，系统引入图卷积网络（GCN）实施拉普拉斯平滑传播，并在训练阶段施加随机特征掩码模拟局部几何自遮挡。GCN 仅作为训练期的空间结构正则化器，强制人体表面材质参数呈现分段平滑的物理先验，避免逆向渲染发散；而在推理阶段则直接前向解码隐空间特征，确保动态运动引起的高频微多普勒不被过度平滑滤波。对于可见散射中心 \(p \in \mathcal{P}_{\text{dir}}\)，其散射振幅 \(L_p\) 由微表面 BRDF 与复数菲涅尔方程联合确定，其相位由传播距离精确决定：

\[\tau_p(t) = \frac{\|\mathbf{x}_{\text{tx}} - \mathbf{x}_p(t)\| + \|\mathbf{x}_p(t) - \mathbf{x}_{\text{rx}}\|}{c}\]

最终直射复信号为所有可见点关于载频 \(f_0\) 与调频斜率 \(S\) 的相干叠加：

\[\text{Sim}_d(t) = \sum_{p \in \text{vis}} \frac{L_p \cdot \exp\left(j 2\pi \left(f_0 \tau_p(t) + \frac{1}{2} S t \tau_p(t)\right)\right)}{\|\mathbf{x}_{\text{tx}} - \mathbf{x}_p(t)\| \cdot \|\mathbf{x}_p(t) - \mathbf{x}_{\text{rx}}\|}\]

分母项严格遵循自由空间路径衰减，确保雷达点汇聚（Point Sink）效应下的物理守恒。

2. 基于几何约束3D高斯与虚拟边界代理的多径多散射体替代模型：解决高阶多径光线追踪指数级爆炸

间接多径（\(\ge 2\) 次反射）包含人体到墙壁、地面再到接收天线的多次反射。若采用几何光线追踪，高阶路径搜寻计算复杂度呈指数暴增且不可导；若直接用自由无约束 3DGS 拟合，高斯球体会向自由空间非物理膨胀。

HybridSim 提出了兼具物理刚度与可微学习能力的统一多散射体替代方案。首先，将人体网格顶点与由房间标量界限生成的六面墙体点云离散化为全局散射集合 \(\mathcal{P}_{\text{ind}} = \mathcal{P}_{\text{human}} \cup \mathcal{P}_{\text{env}}\)。为防止体积膨胀，所有高斯图元均被强制沿表面法向量压平，主轴严格对齐网格局部切平面，形成贴合拓扑的 2D 表面高斯片。其次，在每个室内边界表面 \(k \in \mathcal{K}\) 上离散布置代理虚拟接收器 \(\mathbf{x}_{w,k}\)，将任意复杂的多次反射积分简化为确定的三段式可微光路：\(\mathbf{x}_{\text{tx}} \to \mathbf{x}_p(t) \to \mathbf{x}_{w,k} \to \mathbf{x}_{\text{rx}}\)。3DGS 解码器输出朝向虚拟接收器的球谐方向振幅 \(SH_{p,k}\)，全局间接信号表示为：

\[\text{Sim}_{\text{ind}}(t) = \sum_{k \in \mathcal{K}} \sum_{p \in \text{vis}(k)} \frac{SH_{p,k} \cdot \exp\left(j 2\pi \left(f_0 \tau_{p,k}(t) + \frac{1}{2} S t \tau_{p,k}(t)\right)\right)}{\|\mathbf{x}_{\text{tx}} - \mathbf{x}_p(t)\| \cdot \|\mathbf{x}_p(t) - \mathbf{x}_{w,k}\| \cdot \|\mathbf{x}_{w,k} - \mathbf{x}_{\text{rx}}\|}\]

其中 \(\tau_{p,k}(t) = (\|\mathbf{x}_{\text{tx}} - \mathbf{x}_p(t)\| + \|\mathbf{x}_p(t) - \mathbf{x}_{w,k}\| + \|\mathbf{x}_{w,k} - \mathbf{x}_{\text{rx}}\|)/c\)。该结构将多径环境的几何传播时延硬编码入运动导数 \(d\tau/dt\)，将复杂的非理想电磁衰减交给可微高斯球谐拟合，消除了离散光线搜寻开销。

3. 幅度域对数RD热图监督与自适应可学习底噪注入：解决毫米波相位亚毫米级失真与极端动态范围优化困境

在时域对复数中频信号直接计算均方误差极其脆弱，因为载频 77 GHz 下毫米波波长仅约 3.9 mm，次毫米级别的网格形变或动作重建误差就会导致复数相位完全反向（180度误差），引发梯度完全随机。同时，雷达反射能量具有数十分贝的极端动态范围，若在线性尺度计算损失，极强的镜面主反射峰值将完全霸占梯度更新，导致微弱的肢体多普勒信号被彻底忽略。

HybridSim 采用双重应对机制：第一，放弃时域复数绝对相位对齐，通过二维快速傅里叶变换（2D-FFT）将相干合成信号投影到距离-多普勒谱域 \(\mathcal{F}_{\text{RD}}(\text{Sim})\)，仅对其幅度进行监督；第二，在时域叠加自适应复高斯底噪 \(\mathcal{CN}(0, \sigma^2)\)，其标准差 \(\sigma\) 由信号均值振幅乘上一个可学习速率动态调节，模拟真实物理雷达射频前端热噪声与杂波；第三，在谱域对幅度执行分贝化对数变换 \(20 \log_{10}(|\mathcal{F}_{\text{RD}}|)\)，平衡大动态范围差异。

损失函数 / 训练策略

网络的整体优化目标为对数谱域均方误差损失（Logarithmic RD Heatmap MSE）：

\[\mathcal{L} = \frac{1}{N} \sum_{n=1}^{N} \left| 20 \log_{10}\left(\left|\mathcal{F}_{\text{RD}}(\text{Sim})\right|_n\right) - 20 \log_{10}\left(\left|\mathcal{F}_{\text{RD}}(\text{GT})\right|_n\right) \right|^2\]

其中 \(N\) 为打平后的距离-多普勒热图网格总数，\(\mathcal{F}_{\text{RD}}\) 表示沿快时间（距离维）和慢时间（多普勒维）依次进行的 2D-FFT 运算。整个框架在单张 NVIDIA RTX 4090 GPU 上进行端到端优化，显存峰值约 20 GB，训练用时约 7 小时；推理合成速度低于 1 秒/帧。

实验关键数据

主实验

实验基于标准毫米波人体动作公开基准 mmMesh（采用 TI AWR1843BOOST 雷达，3TX-4RX 单站阵列）展开，包含 8 种典型动作，与领域最先进的物理增强仿真器 mmGPE 及可微扩散生成仿真器 RF-Genesis 展开对比。主评测包含热图质量重建（PSNR、SSIM、LPIPS）与纯仿真到真实数据（Sim-to-Real）的下游人体动作识别（HAR）准确率评测。

评估设置 方法 PSNR (dB) ↑ SSIM ↑ LPIPS ↓ HAR Acc (%) ↑ HAR F1-Score ↑
帧内泛化 (Intra-Subject) RF-Genesis 20.03 0.219 0.274 — —
mmGPE 20.09 0.221 0.261 — —
HybridSim (Ours) 22.30 0.262 0.089 — —
跨人泛化 (Cross-Subject) RF-Genesis 20.02 0.218 0.271 30.68 0.2584
mmGPE 20.09 0.220 0.253 54.22 0.4990
HybridSim (Ours) 22.29 0.262 0.084 92.07 0.9216

在纯合成数据训练、真实雷达数据测试的跨人下游动作识别任务中（采用 mmAP 网络作为骨干），HybridSim 达到 92.07% 准确率，相较于此前 SOTA mmGPE 的 54.22% 实现了 37.85% 的巨大绝对增益。

消融实验

1. 渲染架构解耦机制消融 对比将直射与间接径完全混入无显式 BRDF 的单一耦合 3DGS 变体（Coupled 3DGS，仅依靠低阶球谐拟合所有波与表面交互）：

渲染配置 PSNR (dB) ↑ SSIM ↑ LPIPS ↓ HAR Acc (%) ↑ HAR F1-Score ↑ 说明
耦合全高斯模型 (Coupled 3DGS) 19.12 0.252 0.099 85.61 0.8492 缺乏物理BRDF，高阶球谐难表征镜面直反射
完整解耦架构 (HybridSim Full) 22.29 0.262 0.084 92.07 0.9216 显式解耦一阶与多阶多径，保持运动语义

2. 背景噪声模拟机制消融 探究雷达仿真底噪注入对 Sim-to-Real 泛化性能的决定性作用：

噪声注入策略 HAR 准确率 (%) ↑ HAR F1-Score ↑ 说明
无噪声 (w/o noise) 72.79 0.6790 信号背景过于干净，分类器严重过拟合人造无底噪环境
固定噪声 (w. fixed noise) 90.51 0.9068 采用与 Baseline 相同的经验恒定底噪，已优于基线
动态可学习噪声 (w. learnable noise) 92.07 0.9216 学习与信号振幅成比例的统计复高斯底噪，最贴合实测分布

3. 多径建模方案对比消融 - 去除间接径：移除间接多径后，下游 HAR 识别率从 92.07%（F1 0.9216）下降到 88.96%（F1 0.8874），证明间接径虽然不主导人体微多普勒，但提供的场地干涉特征对于虚实对齐至关重要。 - 理想二次镜面反射光线追踪（2-bounce Ray Tracing）：单帧渲染耗时高达 3.44 秒（HybridSim 低于 1 秒，速度提升超 70%），且因经验反射系数无法拟合真实材质吸收与衰减，产生非物理虚假强多径，导致 HAR 准确率崩溃至 41.6%。

关键发现

  • PSNR 指标与雷达感知任务脱节：雷达热图中人体微多普勒区域占据的像素比例极小（大部分是平坦背景底噪），因此 HybridSim 在跨人测试中 PSNR 虽仅从 20.09 dB 提升到 22.29 dB（提升 10.9%），但 LPIPS 实现了从 0.253 到 0.084 的断崖式下降，下游动作识别准确率飙升 37.85%。这表明下游感知任务对结构化微多普勒特征极其敏感，LPIPS 与下游任务准确率是比 PSNR 更能反映雷达仿真真实度的核心指标。
  • 显式微表面 BRDF 不可或缺：耦合高斯模型在跨人泛化中识别率骤降 6.46%，主要原因是低阶球谐函数无法建模毫米波掠射角下强烈的高度定向镜面反射，且将运动人体与静态背景混合会导致网络过拟合特定训练动作的多径干扰。
  • 可学习底噪是跨越虚实鸿沟的低成本利器：相比理想无噪仿真（72.79%），注入自适应底噪使模型泛化提升近 20 个百分点，弥合了真实雷达 RF 前端的热噪声分布。

亮点与洞察

  • 物理与学习解耦的精妙平衡：直射径将运动引起的传播时延 \(\tau_p(t)\) 作为硬编码物理先验，用微表面 BRDF 约束反射包络；间接径利用边界代理虚拟接收器将无限多跳积分转化为有限几何约束的三段式传播，既消除了传统射线追踪的组合爆炸，又避免了纯隐式表征无法分离运动与场景的黑盒缺陷。
  • GCN 训练正则与推理剪枝的工程智慧：将人体网格图卷积作为训练期的拉普拉斯平滑正则项，既稳定了微表面高敏感参数的反向传播梯度，又在推理时直接去除图扩散，保护了高速肢体运动产生的真正高频散射特征。
  • 可借鉴的跨模态思想：将连续不可导的多跳物理问题通过“边界虚拟锚点/代理接收器（Proxy Receivers）”转化为三段式神经网络图元汇聚结构，这种设计模式可广泛推广至室内声学仿真、水下声呐建模以及室内超宽带（UWB）射频定位中。

局限与展望

  • 单场景过拟合与新场景迁移成本：当前静态场景特征及代理墙面接收器参数是针对特定室内房间过拟合训练的，切换到全新房间布局需要重新微调训练，尚未实现针对任意未见房间的 Zero-shot 零样本泛化。
  • 人体模型缺乏手指与衣物细节：当前人体驱动依赖标准 SMPL 网格，未能刻画宽松衣物织物的电磁散射各向异性与手指等末梢部位的高频微动。
  • 未来方向：作者指出可结合广义通用神经场景先验（Generalized Neural Scene Priors），解耦房间几何结构与材料射频响应，实现无需微调的跨场景即插即用毫米波雷达数字孪生。

相关工作与启发

  • vs mmGPE / RF-Genesis：mmGPE 依赖经验物理散射增强，RF-Genesis 结合了传统射线追踪与扩散模型，但多径计算开销大且多径干涉失真。HybridSim 首次在单站单传感器下实现了毫秒级物理-神经解耦仿真，在真实下游任务上以 92.07% 碾压两者的 54.22% 和 30.68%。
  • vs NeRF2 / RF-3DGS：NeRF2 和 RF-3DGS 侧重静态场景全息信道建模，依赖多角度分布式天线，且将人体运动与环境多径纠缠。HybridSim 专为连续动态人体感知设计，通过几何代理接收器彻底解决了动静态电磁解耦难题。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 巧妙提出直射径微表面逆向渲染与间接径 3DGS 代理接收器的物理学习解耦架构。
  • 实验充分度: ⭐⭐⭐⭐⭐ 包含跨帧、跨人、跨场景、下游实际动作识别任务以及详尽的各模块消融与时延测算。
  • 写作质量: ⭐⭐⭐⭐⭐ 物理机理解释深刻透彻，图表表意清晰，问题意识直击领域痛点。
  • 价值: ⭐⭐⭐⭐⭐ 极大推进了低成本、高保真毫米波雷达人体感知数据的合成与虚实对齐落地。