WiFi-JEPA: Self-supervised Learning for WiFi-CSI 3D Human Pose Estimation¶
会议: ECCV 2026
论文: ECCV 原文
领域: 人体理解
关键词: WiFi 感知、3D 人体姿态估计、自监督学习、JEPA、仿真预训练
一句话总结¶
WiFi-JEPA 把 CSI 张量按 (信道 C、时间 T、链路 L) 结构保留下来做 CSI 专属 token 化，掩码整条 Tx–Rx 天线链路并让 JEPA 在潜空间预测被掩码链路的表征（而非重建含硬件伪影的原始信号），再用光线追踪仿真生成的几何基元场景（sim-object）补充预训练数据；在 PiW3D 上单人/多人 MPJPE 达 76.8/93.5 mm、超过全部 WiFi 基线，跨环境均值误差较基线降 48.2%，而 SimMIM/MAE/BYOL/MoCoV3 四个视觉原生 SSL 目标在相同骨干与协议下全部低于从头训练。
研究背景与动机¶
摄像头在三个常见场景里不可用：墙或障碍物遮挡、光照不足、以及隐私与法规禁止拍摄的敏感空间。WiFi CSI 是天然的替代感知通道——信号穿墙、人运动调制多径传播、CSI 是按子载波（频率）、时间、多条 Tx–Rx 天线链路因子化的复值测量。PiW3D 已证明商用 WiFi 能做多人物 3D 姿态估计（约 90K 帧数据、误差约 100 mm 量级），但稳健的 WiFi 姿态估计仍有三个瓶颈：跨域泛化脆弱（收发器摆放、家具变化就掉点）、标注扩展性差（CSI 姿态数据依赖相机标注管线、少量房间、固定硬件）、CSI 本身带噪声且强依赖硬件。更糟的是常见做法把 CSI 塑形成图像式 2D 网格去套 ViT/CNN：这种轴混合把子载波、时间、链路三根物理轴搅在一起，patch 频繁跨越链路边界与幅度-相位边界，诱导模型依赖设备特定伪影而非姿态相关动态。
标注管线是更深的瓶颈：CSI 姿态数据要同步的相机/动捕标注，采集规模天然受限；而原始 CSI 里的时钟偏移、量化噪声等硬件伪影是下游任务不需要的。MAE 类掩码重建在像素空间重建输入，把这些伪影一并保留；JEPA 的潜空间预测目标天然适合 CSI——预测目标不需要保留与任务无关的失真。核心问题是：把 JEPA 用到 CSI 上，掩码策略应该按什么物理轴设计？作者的回答是按链路轴掩码——9 条链路是从不同空间视角观察同一物理场景的多视图，掩掉整条链路强迫模型用跨链路空间冗余做预测，这正是 3D 空间结构可恢复性的来源。核心 idea：按 CSI 的 (C,T,L) 物理结构做专属 token 化 + 链路掩码，让 JEPA 在潜空间跨链路预测被掩码表征；同时用随机化几何基元的光线追踪仿真生成免标注预训练数据，验证"信道动态多样性比散射体几何保真更重要"的假设。
方法详解¶
整体框架¶
方法分两个 Phase。Phase 1（自监督预训练）：输入是真实 CSI（PiW3D 约 90K 帧）加仿真 CSI（sim-object 约 90K 帧），经 CSI 专属 token 化展开成 T×L=180 个 token（T=20 时间步、L=9 条空间链路，子载波 C=60 作通道维），加可分离 2D 正弦位置编码；链路掩码按比率 r=0.6 随机掩掉 5/9 条链路的所有时间步，context encoder 只处理可见 4 条链路的 token，predictor 拿 context 嵌入拼上可学习掩码 token 预测目标表征，target encoder 处理全部 token、只在被掩码位置取表征做目标，最小化 Smooth L1 损失；目标编码器用 EMA 更新（动量 0.996→1.0 余弦调度）。Phase 2（监督微调）：预训练 encoder 接 PETR 风格解码器（5 层、256 维、8 头），经 512→256 线性投影对齐维度，在真实 CSI 上端到端微调；差分学习率——encoder 用 0.1× 基础学习率以保留预训练特征，解码器与回归头用 1.0×。输出 N 个人的 14 个 3D 关键点（N×14×3），匈牙利匹配分配 query，解码器经交叉注意力在编码 CSI 特征上细化预测。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["真实 + 仿真 CSI<br/>PiW3D 与 sim-object"] --> B["CSI 专属 token 化<br/>T×L 网格 180 token"]
B --> C["链路掩码<br/>掩 5/9 条链路全部时间步"]
C --> D["JEPA 潜空间预测<br/>Smooth L1 + EMA 目标编码器"]
D --> E["PETR 解码微调<br/>差分学习率端到端训练"]
E --> F["3D 姿态输出<br/>N 人 × 14 关键点"]关键设计¶
1. CSI 专属 token 化：拒绝把时间轴和链路轴拍平成一张图
PiW3D 原始 CSI 张量形状为 \(N_{rx}\times N_{ant}\times T\times N_c = 3\times3\times20\times30\)；按 [28] 直接用幅度、相位经 PhaseFi 去噪后得到实值张量 3×3×20×60（60 = 30 幅度 + 30 去噪相位通道）。原做法把张量拍平成 (60, 180) 的 2D 频谱图，6×6 patch 嵌入下 patch 频繁跨越链路边界与幅度-相位边界，物理上不相干的分量被并进同一个 token。WiFi-JEPA 重排为 (C, T, L) = (60, 20, 9)：L=9 是 3 个接收机 × 每接收机 3 天线构成的空间链路，各自从不同空间视角观察同一物理场景；C=60 是子载波通道维，T=20 是时间。patch 大小 (1,1) 的线性嵌入作用在 (T, L) 平面上，产出 T×L=180 个 token，每个 token 对应一个精确的时空坐标。消融显示仅这一改动就把 MPJPE 从 111.85 降到 97.10（−14.75 mm）。
2. 链路掩码：以跨链路空间冗余定义前置任务
JEPA 里掩码策略定义了前置任务，进而决定学到表征的语义质量。链路掩码掩掉 (T, L) 网格的整列：按 r=0.6 随机选 round(0.6×9)=5 条链路作目标，其余 4 条作 context，被掩链路的所有时间步同时移除。模型必须从可见链路预测"从未见过的接收-天线对"的完整时间信号——这是多视角学习的直觉：9 条链路是同一物理场景的不同空间视角，跨链路相关性正是身体空间位置的信息载体。对照的三个替代（时间掩码、I-JEPA 式随机多块掩码、逐 token 随机掩码）都只利用同一链路内或局部邻域的连续性，不强迫跨视角推理。消融中链路掩码 MPJPE 97.10，比随机掩码好 8.04 mm、PCK@50 高 4.52 个百分点，且跨环境评测的减半表现与它一致。
3. 潜空间预测目标：不重建原始 CSI，绕开硬件伪影
MAE/SimMIM 类掩码重建要在像素（这里即原始 CSI 值）空间重建输入，硬件伪影（时钟偏移、量化噪声）也被迫重建，encoder 因此偏向设备特定模式。WiFi-JEPA 的目标是潜空间预测：context encoder 编码可见 token，predictor 在被掩码位置预测目标编码器的表征，损失为
其中 \(p_{\mathcal{M}}\) 是被掩码位置的位置嵌入、\(\text{sg}[\cdot]\) 是停梯度、LN 作用于目标表征；目标编码器 \(\bar{f}_\theta\) 用 EMA 更新（动量 0.996→1.0 余弦调度）。context 与 target encoder 共享同一 ViT 骨干（12 层、512 维、8 头），predictor 是更浅的 ViT（8 层、512 维、16 头）——限制预测器容量是 JEPA 的经典手法，逼 context encoder 学可迁移、姿态相关的特征，而不是把预测任务外包给高容量预测器。
4. sim-object 仿真管线：用几何基元而非人体模型造预训练数据
大规模 CSI 采集要专用室内环境、同步接收机和共置动捕标注；作者用两阶段仿真绕开。Stage 1（纯 Python、CPU、每 clip 不到 1 秒）随机生成室内场景：房间边长 3–8 m、高 2.5–4 m，墙面取 ITU 标准材料（混凝土/石膏板/木/玻璃），场景含 1–4 个几何基元（球/立方体/圆柱/椭球，半径 0.1–0.5 m），按物理轨迹运动（初速至 3 m/s、超典型室内速度、弹性墙面反射）。收发配置对齐目标基准 SIMO 配置（1 Tx + 3 接收机 × 3 天线 = 9 链路）。Stage 2 用 NVIDIA Sionna RT 做射线追踪，关键选择是每帧 20 次独立光线追踪：每次 pass 对一个静态场景快照算信道，在约 50 ms 测量窗内取 20 个子帧位置采样——不做这一步单次透追的信道时间轴近恒定，时间掩码会失效。输出 \(H\in\mathbb{C}^{20\times30\times3\times3}\) 分解为幅度+相位，得实值张量 (60, 20, 9) 供 token 化。90K 帧约 10 GPU 小时（单张 RTX 4090）。假设层面：5.64 GHz 波长约 5 cm，球与人体散射行为差异巨大，但作者赌的是"SSL 需要的是时空信道变化多样性，不是人体特有多径的忠实再现"——实验用 sim-object 对比 sim-human 直接检验。
损失函数 / 训练策略¶
预训练 100 epochs，AdamW（batch 64、lr 5×10⁻⁴、weight decay 0.05），Smooth L1 作用在层归一化的目标表征上；掩码比率固定 0.6。微调 100 epochs，AdamW（base lr 2×10⁻⁵、weight decay 10⁻⁴），encoder lr 缩至 0.1×。预训练数据两种配置：仅真实（PiW3D 90K 帧）与真实+仿真（90K+90K）；全部训练在单张 RTX 4090 上完成，仿真生成另计约 10 GPU 小时。
实验关键数据¶
主实验¶
PiW3D 是唯一带多人物 3D 姿态标注的公开 WiFi-CSI 基准：三个室内环境（办公室/教室/走廊，各约 4×3.5 m），1 Tx + 3 台 Intel 5300 接收机（各 3 天线）、5.64 GHz、30 子载波；训练集 89,946 帧，测试集 7,824 帧含单人 2,586、双人 3,184、三人 2,054。指标为 MPJPE（主指标，预测与真值 3D 关节欧氏距离均值）、PA-MPJPE（Procrustes 对齐去除全局平移/旋转/尺度，隔离关节构型精度）、PCK@20/50。对比的五个基线里，WiPose/MetaFi++/HPE-Li/DT-Pose 不报多人结果（†号数值取自原文）。
下表摘录原文 Table 1（PiW3D，单人/多人）：
| 方法 | 单人 MPJPE↓ | 单人 PA↓ | 单人 PCK@20↑ | 多人 MPJPE↓ | 多人 PCK@20↑ |
|---|---|---|---|---|---|
| WiPose (MobiCom'20) | 101.8 | — | — | — | — |
| MetaFi++ (IoT-J'23) | 132.0 | 75.8 | 62.0 | — | — |
| HPE-Li (ECCV'24) | 120.2 | 69.5 | 59.1 | — | — |
| DT-Pose (arXiv'25) | 90.0 | 58.7 | 72.1 | — | — |
| PiW3D baseline (CVPR'24) | 91.7 | 55.1 | 69.3 | 107.2 | 58.1 |
| WiFi-JEPA (real) | 78.2 | 53.9 | 74.5 | 97.1 | 59.3 |
| WiFi-JEPA (real+sim) | 76.8 | 54.0 | 75.9 | 93.5 | 61.5 |
单人 MPJPE 比此前最好的 DT-Pose（90.0）降 13.2 mm（−14.7%），多人比 PiW3D（107.2）降 13.7 mm（−12.8%）至 93.5；仅用真实数据预训练的版本（78.2/97.1）已超过全部基线，加仿真再各降 1.4/3.6 mm。跨环境（原文 Table 2，leave-one-environment-out）：预训练与微调均排除留出环境，WiFi-JEPA 在 Office/Classroom/Corridor 分别 248.4/428.2/296.0 mm，均值 324.2 mm，比 PiW3D 基线 626.4 mm 降 48.2%；少样本设置下用 10% 目标环境标签，超过 Supervised+DANN（171.3 对 208.6 mm，−17.9%）。逐人数（原文 Table 3）：1P 76.8、2P 96.0、3P 110.7，随人数增长优雅退化。四肢细分（原文 Table 4）：基线最难的肘/手从 160.5 降到 64.7 mm（−59.7%），手部深度误差从 92.9 降到 26.4 mm。
消融实验¶
下表摘录原文 Table 5，预训练数据对照（全部行共享同一 encoder/解码器/微调协议，仅换预训练数据；Δ 相对从头训练 102.4 mm）：
| 预训练数据 | 真实帧 | 仿真帧 | MPJPE↓ | Δ |
|---|---|---|---|---|
| 无（从头训练） | — | — | 102.4 | — |
| sim-object | — | 90K | 100.1 | −2.3 |
| sim-human | — | 90K | 110.3 | +7.9 |
| 仅真实 | 90K | — | 97.1 | −5.3 |
| 真实 + sim-object | 45K | 45K | 97.2 | −5.2 |
| 真实 + sim-object | 90K | 90K | 93.5 | −8.9 |
下表摘录原文 Table 6 + Table 7 + Table 8（相同 ViT 骨干与 PETR 解码器、90K 真实帧预训练 100 epochs、相同微调）：
| 对照项 | MPJPE↓ | PCK@50↑ |
|---|---|---|
| SimMIM (MIM) | 145.6 | 84.3% |
| MAE (MIM) | 130.3 | 87.4% |
| BYOL (自蒸馏) | 144.4 | 84.1% |
| MoCo v3 (对比) | 141.5 | 84.9% |
| WiFi-JEPA w/o pretrain | 102.4 | 91.8% |
| WiFi-JEPA w/ pretrain | 97.1 | 93.0% |
| 掩码-随机 | 105.14 | 88.48% |
| 掩码-多块 (I-JEPA) | 102.06 | 90.54% |
| 掩码-时间 | 104.24 | 88.22% |
| 掩码-链路 | 97.10 | 93.00% |
token 化消融（原文 Table 8）：CSI 专属 token 化 (60×20×9) 对 2D 频谱图 (1×60×180, 6×6 patch) 使 MPJPE 111.85→97.10（−14.75 mm）、PA-MPJPE 70.98→67.20（−3.78 mm）。
关键发现¶
- 四个视觉原生 SSL 目标全部负迁移。 SimMIM/MAE/BYOL/MoCo v3 预训练后（130.3–145.6 mm）全部差于从头训练 102.4 mm——MIM 被迫重建硬件伪影，自蒸馏/对比学习依赖的图像增强缺乏 CSI 物理依据；只有按物理结构定制的 JEPA 一致提升（−5.3 mm）。
- 动态多样性胜过几何保真。 几何基元（sim-object 100.1）比人体网格（sim-human 110.3）好 10.2 mm，且 sim-human 是负迁移（+7.9）；固定动捕序列缺乏轨迹变化，随机物理轨迹（速度、弹性反射）才是信道特征泛化的来源。
- 仿真数据与真实数据互补而非替代。 sim-object 单独预训练（100.1）已接近仅真实（97.1），差距仅 3.0 mm；两者合并把改善从 −5.3 扩到 −8.9，仿真补充了真实数据没有的房间几何与墙体材料变化。
- 跨环境仍远差于同环境。 LOO 均值 324.2 mm 虽比基线减半，但绝对误差高——链路掩码带来环境鲁棒性，但没有消除域差距。
- 增益集中在全局定位而非关节构型。 PA-MPJPE 与从头训练接近（67.2 对 65.1），MPJPE 的大幅下降主要来自全局位置估计改善。
亮点与洞察¶
- 按物理轴定义 token 边界。 (C, T, L) 结构化 token 化让每个 token 是一个精确时空坐标，杜绝 patch 跨物理边界；这一原则适用于任何因子化信号（雷达、超声、多麦克风阵列），不限于 CSI。
- 掩码策略即归纳偏置。 掩整条链路 = 强迫跨视角推理，把"多链路 = 多空间视角"这一 CSI 独有结构写进前置任务，比通用随机/块掩码信息量大。
- "仿真为预训练、真实为微调"的分工。 仿真只提供免标注信道变化多样性，最终微调仍用真实数据对齐硬件分布；sim-object 每帧 20 次 RT 透传是让时间轴有真实变化的必要设计。
- 潜空间目标与去噪天然契合。 JEPA 不要求保留原始信号里的硬件失真，这是它对 CSI 的核心适配；四个视觉 SSL 的系统性失败反过来支持"模态原生 SSL"这个方向。
局限与展望¶
- 单数据集、固定硬件。 评测只在 PiW3D（1 Tx、3×3 Intel 5300、5.64 GHz）上做，跨天线配置与频段的泛化未验证。
- PA-MPJPE 无改善。 全局定位大幅提升但相对关节构型精度停滞，作者也承认这一点。
- 跨环境绝对误差仍高。 LOO 均值 324.2 mm 距可用还有距离，链路掩码是必要非充分条件。
- 仿真域差距未拆解。 sim-object 与真实数据的信道分布差异（如材料电磁参数、天线方向图建模误差）没有单独量化，"动态多样性更重要"的结论只在仿真侧内部成立（对 sim-human）。
- 单人/多人混训未消融。 没有单独报告单人-only 或多人专用训练的效果，多人收益可能部分来自训练分布。
相关工作与启发¶
- 对比 DT-Pose： 唯一先前的 WiFi 姿态 SSL 方法，MAE 预训练 + 时间对比 + GCN-Transformer 骨架约束解码器；本文把预训练目标换成 JEPA、token 化按物理轴展开，且在对比中固定解码器架构以隔离预训练目标的影响（DT-Pose 有解码器归纳偏置而本文 PETR 没有，作者主动控制了这一变量）。
- 对比 PiW3D： 首个多人 3D WiFi 基准与监督基线，本文复用其数据与评测协议，显示 SSL 预训练可直接叠加在同类解码器上。
- 对比 MAE / SimMIM / BYOL / MoCo v3： 同骨干同数据下全部负迁移，说明"图像 SSL 目标直接搬到 CSI"不可行，掩码结构必须贴合物理轴。
- 对比 CIG-MAE / AM-FM / SSLCSI： 已有 CSI-SSL 工作或用图像增强/掩码或按 patch 信息密度分配掩码，但都不区分 CSI 三轴物理语义、也都不做多人物 3D 姿态；WirelessJEPA 处理原始 IQ 流用于通信/RF 分类，与面向感知的估计 CSI 目标不同。
- 对比 FractalDB / Dead Leaves： 非语义视觉预训练的先例，本文把"结构多样性胜过几何保真"移植到无线信道域并用 sim-human 对照验证。
评分¶
- 新颖性：4/5。CSI 专属 token 化 + 链路掩码 + 光线追踪仿真预训练的组合是新的，且"动态多样性胜过几何保真"的假设检验有直接实验支撑；JEPA 本身非首创。
- 实验充分度：4/5。主表、LOO 跨环境、DANN 对比、逐人数与逐关节细分、SSL 目标对照、掩码/token 化/预训练数据三组消融，覆盖全面；但仅单数据集。
- 写作质量：4/5。三问驱动的实验设计清晰，假设检验路径明确；仿真与真实数据成本口径略有混用。
- 价值：4/5。对相机受限场景的姿态感知有直接实用价值；仿真管线（90K 帧约 10 GPU 小时）可复用为其他 WiFi 感知任务的预训练数据源。