AmbientFM: A Foundation Model for Ambient Sensing¶

会议: NeurIPS 2026
arXiv: 2602.11200
OpenReview: https://openreview.net/forum?id=RxX10wg674
论文: https://arxiv.org/abs/2602.11200
代码: https://ai-sensing.github.io/ambient-fm/index.html
领域: 自监督学习
关键词: WiFi感知, 无线信道状态信息 (CSI), 基础模型, 自监督学习, 泛化感知

一句话总结¶

AmbientFM 在 439 天涵盖 20 类商用 IoT 设备采集的 920 万条未标注真实 WiFi CSI 信号上预训练统一骨干，融合自适应频率聚合、无线定制对比学习、掩码重构及自相关函数预测目标，仅凭轻量级微调即可跨 9 项下游感知任务取得 0.90 以上的 AUROC。

研究背景与动机¶

环境智能（Ambient Intelligence）致力于在物理空间中持续感知与理解人体的存在、活动与生理体征，是智能家居、老年跌倒看护及被动健康监测的核心支柱。在各类感知介质中，商用 WiFi 基础设施具有穿透墙壁障碍、不受光照条件制约、无须被动穿戴传感器以及天然保护视觉隐私等独特优势。遍布家庭与工作环境的海量接入点、智能音箱与 IoT 节点在常规通信过程中持续产生信道状态信息（CSI），为无额外硬件开销的全天候环境感知提供了极具吸引力的物理基质。

然而，传统的 WiFi 感知研究几乎完全依赖针对单一任务独立从头训练的专用模型。每扩展一个新任务（如从跌倒检测转向微动作手势识别或空间定位），研究者都需要重新定制网络架构、花费昂贵成本采集并标注特定场景数据，且不同任务与设备间学到的表征无法复用。尽管机器视觉与语音领域已证明大规模自监督预训练基础模型能显著降低标注门槛并支持广泛迁移，直接将现成方案搬到 WiFi 感知却面临质的物理阻碍：WiFi 本质上是通信系统，商用芯片在运行时会动态调整频宽、频段与天线模式，产生异构且非平稳的输入维度；全向天线引入强烈的多径反射，环境静态多径能量常高于人体微扰 10 到 100 倍；且 MAC 层的自动增益控制与非均匀发包时间间隔更会破坏纯视觉模型假设的时空平滑性。

为解决 WiFi 信道表征的结构失真与任务碎片化矛盾，本文提出首个面向泛在 WiFi 环境感知的通用基础模型。核心 idea：构建包含自适应子载波查询聚合与相对时序偏置的时频编码器，并在涵盖 20 类真实商用硬件的千万级无标注 CSI 语料上，联合优化物理自相关函数预测、无线扰动对比学习与掩码重构目标，打造能以极低标注成本适配多元感知与密集空间重建的单一骨干网络。

方法详解¶

整体框架¶

AmbientFM 的核心设计目标是打破通信协议与射频多径对环境感知的负面干扰，提取对动态人体语义敏感、对环境与硬件差异鲁棒的时空特征表示。系统首先对不同带宽与天线形态的原始 CSI 振幅进行统一维度规整（填充至 \(F_{\max}=112\) 频带、固定 \(T=500\) 采样窗口即 100 Hz 下 5 秒序列），随后送入特征编码骨干。骨干包含两个核心阶段：首先通过自适应频率交叉注意力模块将异构的子载波自适应压缩至统一的隐式频带空间，再通过融入相对位置偏置的 6 层 Transformer 编码器提炼时序演变特征。在预训练阶段，模型通过对比学习、全频带掩码重建与物理自相关函数（ACF）预测三大互补目标进行多任务联合监督；在下游适配时，冻结主干或引入瓶颈适配器，以极轻量的参数量适配分类或密集空间成像任务。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始 WiFi CSI 振幅输入<br/>X ∈ R^(B×1×T×F) (T=500, F=112)"] --> B["自适应频率聚合<br/>可学习频率查询引导的交叉注意力压缩"]
    B --> C["相对时序编码与 Transformer 骨干<br/>6层 Transformer (d=256) 注入相对时延偏置"]
    C --> D{"预训练 / 下游适配分流"}
    D -->|自监督联合预训练| E["多目标无线表征学习<br/>对比对比学习 + 掩码全谱重构 + 物理自相关预测"]
    D -->|下游轻量化迁移| F["任务自适应探测与重构<br/>时序探测 (TP) / 瓶颈适配器 (BA) + LSTM"]
    F --> G["9项下游多尺度感知任务<br/>跌倒检测 / HAR / 手势识别 / 定位 / WiFi成像等"]

关键设计¶

1. 自适应频率聚合：解耦硬件差异与多径衰落的频域压缩

商用 WiFi 芯片在不同协议（如 802.11n/ac）、带宽（20/40/80 MHz）和天线多输入多输出（MIMO）配置下，可用的有效正交频分复用（OFDM）子载波数量剧烈波动，且室内频率选择性衰落导致不同频带上的信噪比严重不均。如果直接将所有子载波拉平输入网络，不仅维度不一致，还会引入大量低质量或死载波的噪声。为此，AmbientFM 设计了基于交叉注意力的频域压缩模块，预设 \(F'=10\) 个可学习的频率查询向量 \(\mathbf{q} \in \mathbb{R}^{F'\times d_q}\)（配置 \(c=16\) 个通道），与输入的 \(F\) 个子载波及对应的正弦频率编码 \(\mathbf{p}_f\) 进行注意力加权：

\[\mathbf{z}_{t}=\sum_{f=1}^{F}\alpha_{tf}\left(\mathbf{W}_{v}\mathbf{x}_{tf}+\mathbf{p}_{f}\right),\quad\alpha_{tf}=\text{softmax}_{f}\left(\frac{\mathbf{q}^{\top}(\mathbf{W}_{k}\mathbf{x}_{tf}+\mathbf{p}_{f})}{\sqrt{d_{q}}}\right)\]

该机制允许模型根据当前信道的多径响应质量，动态为高信噪比、对人体反射更灵敏的子载波赋予更高权重，在实现 5 到 11 倍频域无损降维的同时，将不同硬件和带宽规格映射到固定的隐式特征空间。

2. 相对时序偏置编码：消除动作起始时间敏感性的时序建模

在连续日常感知中，人体的动作（如走动、跌倒、手势挥舞）可以在 5 秒采样窗口内的任意时间点发生。传统的绝对正弦位置编码强行将动作与特定的时序索引绑定，导致在时间轴上产生轻微平移的相同动作被映射为迥异的特征向量。AmbientFM 在 6 层 Transformer（隐层维度 \(d=256\)，8 个注意力头）的自注意力计算中抛弃绝对位置编码，改用相对位置偏置：

\[\mathrm{Attn}_{ij}=\mathrm{softmax}\left(\frac{\mathbf{q}_{i}^{\top}\mathbf{k}_{j}}{\sqrt{d_{k}}}+b_{ij}\right)\mathbf{v}_{j},\quad b_{ij}=f_{\theta}(j-i)\]

其中偏置标量 \(b_{ij}\) 仅取决于帧索引之差 \(j-i\) 的非线性映射。这种相对时序建模赋予了表征网络平移不变性，使模型能够专注于连续多径相位的多普勒频移轨迹本身，无论动作在时间窗口的头部、中部还是尾部触发，均能提取一致的动力学模式。

3. 物理自相关辅助预测：提炼多普勒节律与抑制静态多径

室内 WiFi 感知最大的难点在于环境静态反射能量（墙壁、地板、静止家具）通常比人体微弱扰动高出 10 至 100 倍，纯粹依靠数据驱动的特征重构容易让网络陷入拟合强背景信号的陷阱。根据电磁统计散射理论，运动目标引起的多径调制在时序自相关函数（ACF）上具有独特的衰减与周期特性，能直接反映人体的多普勒频移和运动速度分布，且 ACF 对硬件增益跳变具有天然的不变性。AmbientFM 计算归一化 CSI 能量 \(s_t=\mathbb{E}_f[\mathbf{X}_{tf}^2]\) 在时间滞后 \(k\) 上的自相关函数：

\[\mathrm{ACF}[k]=\frac{\sum_{t=0}^{T-k-1}s_t s_{t+k}}{\sum_{t=0}^{T-1}s_t^2}\]

模型利用全局池化表征通过一个 MLP 预测前 \(K=50\) 个滞后步长（涵盖 100 Hz 下 0.5 秒的多普勒演变），并计算均方误差损失 \(\mathcal{L}_{\text{ACF}}=\|\widehat{\mathrm{ACF}}-\mathrm{ACF}(\mathbf{X})\|_2^2\)。这一物理引导的先验目标强制网络剥离静态直射径，精准捕获人体动作引起的周期性与非平稳动力学特征。

4. 无线定制对比与全谱掩码重建：兼顾判别性语义与多径细节

标准的图像自监督学习策略直接迁移至无线信号会导致灾难性失效（例如随机裁剪会彻底截断具有时序延续性的手势多普勒签名）。为此，AmbientFM 构建了涵盖加性高斯噪声、模拟自动增益控制跳变的小幅度增益调制、频域抖动、时间切片掩码等 9 类符合射频信道物理规律的数据增强操作，并利用 NT-Xent 损失优化对比学习目标 \(\mathcal{L}_{\text{CL}}\)，使模型对无线接收机热噪声与硬件时钟抖动保持不变性。与对比学习互补，模型随机掩蔽 10% 的时间块和 10% 的频带以模拟丢包和多径衰落，但与传统 MAE 仅计算掩码区域不同，AmbientFM 采用 3 层解码器对整个全谱信号计算重构均方误差 \(\mathcal{L}_{\text{REC}}=\|\hat{\mathbf{X}}-\mathbf{X}\|_2^2\)，迫使骨干网络同时建立跨子载波的相干相关性与时序补全能力。总预训练损失为 \(\mathcal{L} = \mathcal{L}_{\text{CL}} + 4\mathcal{L}_{\text{REC}} + \mathcal{L}_{\text{ACF}}\)。

损失函数 / 训练策略¶

骨干模型预训练采用 AdamW 优化器，学习率设为 \(5\times 10^{-5}\)，权重衰减 \(10^{-4}\)，在前 10 个 epoch 进行线性热身，之后采用余弦退火衰减。训练在 8 张 NVIDIA A100 40GB GPU 上基于 PyTorch DDP 混合精度（FP16/BF16）运行，总批量为 80（每卡 10 个样本），预训练持续 100 个 epoch（约 165 小时）。针对下游任务，设计了两种轻量化适配方案：（1）时序探测（TP）：完全冻结骨干编码器，仅在输出特征序列后级联单层 LSTM 和分类头，检验冻结特征的线性可分与时序完整性；（2）瓶颈适配器（BA）：冻结 5.57M 主干参数，仅在 Transformer 的注意力输出和 FFN 线性层旁插入瓶颈降维-升维旁路（\(r=192\) 并引入 GELU 激活与零初始化上采样），仅引入 2.37M 可训练参数，在微调时极大防止在小样本下游任务上发生过拟合。

实验关键数据¶

主实验¶

在涵盖生理监测（跌倒）、行为理解（活动识别 HAR、运动源识别 MSR）、空间推理（定位、房间占用、距离感知）、生物特征（用户识别 UID）、精细微动作（SignFi 手势识别，276 类）以及密集空间重建（WiFiCam 成像）共 9 个任务的跨领域下游基准上，AmbientFM 展现出了跨越多种物理感知尺度的极强迁移能力。

下游感知任务	类别数 / 样本规模	评估指标	从头监督基线 (Supervised)	AmbientFM + 时序探测 (TP)	AmbientFM + 瓶颈适配 (BA)	性能增益 (BA vs Supervised)
跌倒检测 (Fall)	2 类 / 6,700	AUROC	0.916 (0.899, 0.932)	0.873 (0.851, 0.893)	0.919 (0.902, 0.935)	+0.003 (少样本显著超越)
人体活动识别 (HAR)	5 类 / 41,503	AUROC	0.527 (0.513, 0.541)	0.915 (0.906, 0.922)	0.923 (0.915, 0.932)	+0.396
手势识别 (Gesture)	276 类 / 8,280	AUROC	0.564 (0.562, 0.568)	0.634 (0.623, 0.645)	0.999 (0.999, 0.999)	+0.435
用户身份识别 (UID)	6 类 / 20,300	AUROC	0.995 (0.993, 0.997)	0.996 (0.994, 0.997)	0.993 (0.990, 0.995)	保持高位可分性
房间定位 (Loc.)	6 类 / 7,062	AUROC	0.631 (0.606, 0.653)	0.990 (0.986, 0.994)	0.995 (0.992, 0.997)	+0.364
运动源判别 (MSR)	4 类 / 60,900	AUROC	0.593 (0.581, 0.606)	0.992 (0.991, 0.993)	0.974 (0.970, 0.977)	+0.381
空间占用检测 (Occ.)	2 类 / ~6,000	AUROC	0.566 (0.544, 0.587)	0.989 (0.985, 0.992)	0.989 (0.986, 0.992)	+0.423
邻近距离识别 (Prox.)	4 类 / 64,154	AUROC	0.494 (0.477, 0.510)	0.928 (0.919, 0.938)	0.936 (0.927, 0.946)	+0.442
空间成像 (Imaging)	连续图像 / 18,148	SSIM / PSNR	0.726 / 18.41	0.722 / 18.43	0.726 / 18.87	+0.46 dB PSNR

消融实验¶

1. 预训练自监督目标消融（在 1/5 预训练子集上评估三项代表性任务的 AUROC）

预训练目标配置	跌倒检测 (Fall)	活动识别 (HAR)	运动源判别 (MSR)	3项任务平均 AUROC	机制说明
完整目标 (CL + REC + ACF)	0.816	0.687	0.753	0.752	三大互补物理/判别式机制协同最优
去掉物理自相关 (w/o ACF)	0.790	0.645	0.728	0.721	缺乏多普勒能量衰减先验，周期性动作辨识下降
仅对比学习 (CL only)	0.772	0.612	0.689	0.691	缺失频带多径细节重建，高频结构表征不足
仅掩码重构 (REC only)	0.678	0.485	0.410	0.524	纯自回归/MAE易陷入拟合静态强多径，判别力匮乏

2. 模型与数据规模扩展性消融（瓶颈适配下的下游 AUROC 与收敛损失）

模型规格	编码器参数量	预训练收敛损失	跌倒 (Fall)	活动 (HAR)	距离 (Prox.)	定位 (Loc.)
Small	2M	3.63	0.898	0.840	0.901	0.979
Base (本文采用)	5M	3.09	0.919	0.923	0.936	0.995
Large	12M	3.27	0.627	0.524	0.496	0.985

关键发现¶

纯重构目标的局限性：无线 CSI 与自然图像不同，静态背景多径幅度远强于动态信号，单独使用类似 MAE 的纯重构目标（REC only）仅能取得 0.524 的平均 AUROC，模型严重偏向记忆静态环境；只有融合定制化对比学习与物理 ACF 预测，才能将动态语义与静态多径彻底解耦。
视觉数据增强对无线信号的破坏性：若盲目将视觉领域标准的 SimCLR 强空间裁剪与扭曲应用至 CSI，HAR 任务的 AUROC 会从 0.923 断崖式跌落至 0.561，Proximity 从 0.936 跌至 0.608。射频信号对时间相位具有连续依赖，必须采用加性噪声、高斯平滑及轻度频移等物理增强策略。
少样本与表征几何重构的惊人优势：在少样本迁移实验中，仅提供每类 \(K=25\) 个标注样本时，跌倒检测与 UID 的 AUROC 分别达到 0.754 与 0.811；几何分析显示，自监督预训练使潜在特征空间中的类间欧几里得距离相比随机初始化激增 14 到 52 倍（平均扩大 25.9 倍），奠定了极强的数据高效性。
模型容量与当前数据尺度的配准瓶颈：在现有 920 万样本下，5M 的 Base 架构展现出最佳综合泛化能力，而 12M 的 Large 架构在多个任务上出现严重过拟合与退化（收敛损失 3.27 反而劣于 Base 的 3.09），说明无线基础模型的扩展需要更大规模跨域物理信号的持续喂养。

亮点与洞察¶

业界最大真实环境无标注 WiFi 语料：历时 439 天、跨 20 种商业设备芯片、在 11 个真实居所采集 920 万条连续未标注数据，彻底摆脱以往无线感知研究局限于实验室微小脚本化数据集的困局。
物理先验驱动的自相关辅助监督：将电磁波统计散射的多普勒自相关函数引入自监督学习，用最简洁的数学工具（仅预测前 50 个自相关滞后）化解了强静态多径掩盖微弱运动的经典物理难题。
端侧部署的即时可行性：5M 基础模型在消费级单薄 CPU（如 AMD Ryzen 7 PRO 7840U）上对单 5 秒时序窗口的推理延迟仅为 26.3 至 29.0 ms，远小于感知窗口本身的 5000 ms，具备在千元级边缘网关和路由器上落地常驻环境智能的实际潜力。

局限与展望¶

依赖两阶段适配而非零样本交互：当前模型依然需要下游提供轻量级时序探测器或瓶颈适配器进行少量监督训练，尚无法像多模态大语言模型那样直接通过文本 Prompt 或零样本指令完成任务动态指定。
时序感受野受限于单窗口架构：骨干网络处理固定的 500 帧（5 秒）时序片段，对于睡眠呼吸骤停分析、昼夜节律或长时间跨度的连续行为追踪，仍需额外引入外挂的片段级聚合网络。
物理极限与极端信道退化：在信道极度受阻、丢包率严重超过 40% 或极端深衰落场景下，物理反射信息完全灭失，模型无法凭空恢复缺失信息；此外模型尚无法捕捉超脱电磁波分辨率极限的微细几何细节。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (首次在千万级真实无标注 WiFi 信道上构建并验证泛用感知基础模型)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖 9 个下游异构任务、跨用户/跨设备/跨环境零样本与少样本全面评测、详尽消融与表征几何分析)
写作质量: ⭐⭐⭐⭐⭐ (架构机制条理分明，物理洞察与公式推导严密自洽)
价值: ⭐⭐⭐⭐⭐ (为大规模利旧既有 WiFi IoT 基础设施实现全天候无感隐私保护智能提供了可行且高效的范式)