Scaling Cheap Synthetic Pretraining Improves Indoor Radio-Map Prediction¶

会议: NeurIPS 2026
arXiv: 2610.19015
代码: https://github.com/xoren22/cheap-synth-pretrain-neurips26
领域: 其他
关键词: 无线电地图预测、合成数据预训练、射线追踪、缩放定律、室内路径损耗

一句话总结¶

本文提出了一种轻量级程序化楼层生成器与快速2D近似射线追踪器，通过构建包含1.28亿样本的低成本合成预训练语料库，在五项室内无线电地图预测基准上将SOTA误差平均降低15%，并验证了下游迁移性能关于合成数据规模的数据缩放幂律。

研究背景与动机¶

准确预测室内无线电地图（Radio-Map）与路径损耗（Pathloss）场是无线网络规划、室内定位、射频传感和覆盖优化的核心基础。然而，在受物理规律主导的空间物理场预测领域，现代深度学习赖以成功的大规模预训练范式长期难以落地。真实环境下的无线电场强测量极度耗时昂贵且难以覆盖多样化建筑结构；而现有的高保真确定性电磁波仿真器（如Ranplan）依赖复杂的三维几何建模与多径反射、折射、绕射计算，仿真单张地图耗时数分钟甚至数小时，且通常为闭源商业软件，导致现有的公开高保真无线电地图数据集规模极小（往往仅有千张量级）。

这种数据匮乏迫使现有方法不得不高度依赖特定任务的手工特征工程与专用网络架构。研究者往往需要手工注入自由空间路径损耗通道、穿墙计数特征、稀疏测量图先验或定制的图注意力神经网络，以此弥补训练数据的不足。但这种在极小数据集上“螺蛳壳里做道场”的模式，严重限制了模型在未见建筑布局、未见工作载波频段以及未见天线辐射方向图场景下的泛化能力。

面对“高保真模拟极其缓慢昂贵，真实物理测量极其稀缺”的核心矛盾，本文没有选择去设计更复杂的专用网络结构或研发计算更精确的高保真电磁仿真器，而是另辟蹊径探索低保真大规模合成预训练的可行性。核心 idea：利用可高度配置的程序化楼层几何生成器与极简快速的2D近似射线追踪器低成本合成上亿级语料，放弃模拟衍射、散射与3D空间传播，通过规模与几何多样性弥补物理模拟保真度的不足，为标准编码器-解码器模型奠定可迁移的电磁传播物理归纳偏置。

方法详解¶

整体框架¶

该方案由三个核心阶段构成：输入-标签合成生成管线、大规模合成预训练、以及下游基准高效微调。首先，程序化生成器自动随机合成包含外墙、走廊骨架、核心服务区、递归房间与门洞的2D栅格化楼层平面，并附带物理材质参数（反射与穿透损耗）以及随机天线方向图与发射机位置；接着，基于Numba加速的极速2D射线追踪器发射数万条射线，计算自由空间衰减、穿墙衰减与多次镜面反射损耗，输出像素级路径损耗标量场；随后，构建统一的11通道张量输入，在大规模合成语料（最高1.28亿独立样本）上采用带余弦衰减的预训练策略优化标准ResNet-101或Swin-T编码器-解码器；最后，利用通用微调超参数将预训练权重迁移到包含高保真仿真或真实测量数据的下游任务中。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["随机参数采样<br/>建筑长宽比 / 材质 / 频段 / 天线"] --> B["程序化平面生成<br/>外壳 / 走廊骨架 / 递归房间 / 门洞"]
    B --> C["近似2D射线追踪<br/>46,080条射线 / 5次反射 / 直射回填"]
    C --> D["11通道张量统一特征化<br/>几何 / 材质 / 频段傅里叶 / 天线 / 测量"]
    D --> E["大规模自监督/监督预训练<br/>ResNet-101 / Swin-T + WSD调度"]
    E --> F["下游高保真/实测微调<br/>统一超参迁移至ICASSP / MLSP基准"]

关键设计¶

1. 程序化楼层平面生成：在无需CAD模型的前提下合成结构多样性

现有的无线电地图研究受限于少数公开建筑CAD模型，难以支撑海量预训练。为了在零先验真实布局的前提下覆盖广泛的室内拓扑，生成器在 $0.25\,\text{m}$ 分辨率网格上动态生成 $64\,\text{m}$ 规定基准高度、长宽比在 $[0.4, 2.5]$ 范围内的矩形画布。生成流程首先刻画建筑外壳（Exterior Shell），随后生成1至3个核心筒与闭环走廊环网，再通过分形递归分割算法将内部区域剖分为房间。为了模拟真实建筑中不同功能区域的面积尺度差异，递归分割终止条件引入了经低频随机尺度调制的帕累托-对数正态（Pareto-log-normal）重尾面积阈值分布，从而在同一个楼层内自然产生大开间办公室与紧凑小会议室的共存结构。随后，在走廊与房间边界随机开凿门洞。在材质分配上，墙体像素被赋予在 $[0.1, 15]\,\text{dB}$ 内采样的反射损耗和在 $[0.1, 30]\,\text{dB}$ 内采样的穿透损耗，并自动计算墙体局部法向量供反射计算；载波频率在 $400\,\text{MHz}\sim 10{,}000\,\text{MHz}$ 间均匀采样；天线方向图则通过隐式傅里叶发生器随机组合前向、双向、多瓣波束并叠加峰值达 $40\,\text{dB}$ 的方向性衰减。

2. 极速2D近似射线追踪器：舍弃高阶波动效应以换取极端吞吐量

高保真商用电磁仿真器速度极慢，单张图需计算3D衍射（Diffraction）与粗糙面漫散射（Scattering）。本文明确舍弃这两种微弱或复杂的传播机制以及高度维度的3D传播，仅保留支配性的视距与低阶非视距损耗。射线追踪器采用Numba JIT在CPU上高度并行化，每个发射机向全向发射 $360 \times 128 = 46{,}080$ 条射线，沿径向按单像素步长向前步进。单条射线在传播过程中沿途累加自由空间路径损耗，并在穿越墙体材质区域时累加穿透损耗；当撞击墙体时，根据局部法向量计算镜面反射方向，最大允许5次反射与10次墙体穿透。每个网格像素记录所有抵达射线中的最小路径损耗。对于由于离散射线角发散而未被反射射线命中的阴影区域像素，算法采用从发射机到像素的穿透直射（Direct line-of-sight backfill）进行保底填充。该简化模拟器在保证基本电磁遮挡与多径反射规律的同时，比商业仿真器快数个数量级，使得单机生成1.28亿张高分辨率地图成为可能（占用约 6 TB 存储）。

3. 11通道统一物理特征化表示：对齐合成预训练与下游下游异构输入

为了保证预训练模型能够零代价无缝微调至不同任务（包括无测量输入的密集预测和带稀疏采样的补全任务），本文设计了严格对齐的11通道张量输入架构，分辨率统一重采样与填充至 $256 \times 256$。通道定义依次为：(1) 墙体反射损耗图；(2) 墙体穿透损耗图；(3) 发射机欧式距离对数图；(4) 天线辐射增益图（由方向图与发射机方位角合成，全向天线为全0）；(5-8) 四个载波频率多频傅里叶编码通道 $\sin(2\pi t), \cos(2\pi t), \sin(4\pi t), \cos(4\pi t)$，其中标准化频率变量定义为： $$t = \frac{\log f - \log f_{\min}}{\log f_{\max} - \log f_{\min}},\quad (f_{\min}=100\,\text{MHz}, f_{\max}=7000\,\text{MHz})$$ (9) 有效计算区域二值掩膜；(10) 建筑平面轮廓通道；(11) 稀疏观测路径损耗通道（在有观测点处填入归一化实测值，无观测处严格补0）。这种统一设计使得模型在预训练时能联合学习纯几何传播推断与基于稀疏支持点的条件内插能力。

损失函数 / 训练策略¶

在大规模预训练阶段，模型基于均方误差（MSE）损失函数进行端到端优化。采用 warmup-stable-decay（WSD）学习率调度策略：首先在初始 1M 个样本上进行线性学习率预热，随后保持峰值学习率（ResNet-101为 $3\times 10^{-3}$，AdamW优化器，权重衰减 $10^{-3}$），以全局批大小180在5张NVIDIA H100 GPU上进行大规模分布式数据并行训练。当训练到达目标样本规模 $T$ 时，在 $0.9\,T$ 处分叉创建分支进程，并在剩余 $0.1\,T$ 的样本预算内将学习率线性衰减至0，以获取最终收敛的权重检查点。

在下游任务微调时，保持极简统一流程：在包含最多训练样本的 ICASSP Task 3 验证集上一次性确定全局峰值微调学习率为 $5\times 10^{-4}$，并直接复用于所有其他下游挑战任务，无需针对具体任务调整。微调统一训练32个epoch（5 epoch预热，20 epoch衰减，最小学习率乘子0.01），冻结BatchNorm统计量以防止破坏预训练特征分布，并使用bfloat16混合精度与范数阈值为1的梯度裁剪。

实验关键数据¶

主实验¶

在涵盖未知建筑、未知载波频率、未知天线方向图以及超稀疏测量等五项公开挑战赛（ICASSP 2025 与 MLSP 2025）官方公开榜单上，本文基于合成预训练微调的模型显著超越了各任务此前的SOTA方案（包括各项挑战赛的公开冠军/亚军方案）。

数据集 / 任务	评测挑战特性	现有SOTA（公开榜首）	从头训练 ResNet-101	本文预训练微调（最佳规模）	相对SOTA误差降幅
ICASSP Task 1	未见建筑布局 (868 MHz 全向)	4.908 dB (C. T. Cisse)	5.484 dB	4.311 dB (128M)	12.17%
ICASSP Task 2	未见频率 (训练3频，测试含2400 MHz)	10.307 dB (takktak)	9.326 dB	7.435 dB (64M)	27.86%
ICASSP Task 3	未见天线方向图 (5类训练，2类测试)	12.018 dB (takktak)	13.302 dB	9.703 dB (32M)	19.27%
MLSP (0.02% 采样)	极稀疏支撑点 (约13个点)	4.351 dB (George Hoa)	7.736 dB	3.993 dB (128M)	8.23%
MLSP (0.5% 采样)	稀疏支撑点 (约328个点)	3.731 dB (Leyi Zou)	5.872 dB	3.203 dB (128M)	14.16%

(注：指标为公共排行榜 RMSE (dB)，数值越低越好。)

消融实验¶

1. 预训练数据规模扩展性与五任务平均表现消融

预训练样本规模	ResNet-101 原始均值 RMSE (dB)	ResNet-101 归一化均值	Swin-T 原始均值 RMSE (dB)	Swin-T 归一化均值	说明
2M 样本	7.91	1.000	9.57	1.000	缩放基准点
4M 样本	7.64	0.959	8.50	0.850	误差稳步下降
8M 样本	6.62	0.877	7.89	0.793	降幅最为显著区间
16M 样本	6.58	0.869	7.31	0.747	幂律拟合截止点
32M 样本	6.58	0.873	6.55	0.658	Swin-T 达到最低均值
64M 样本	6.18	0.805	6.78	0.677	ResNet-101 达到最低均值
128M 样本	6.45	0.833	6.95	0.694	极高规模下轻微震荡

2. 仿真器保真度（反射深度上限）在 16M 预训练规模下的消融

模拟器反射深度配置	ICASSP 原始输入直接回放误差	五任务冻结特征评估 RMSE	五任务全量微调 RMSE	极少样本 (2%数据) T2 微调
0 次反射 (纯直射+透射)	12.61 dB	10.50 dB	6.79 dB	9.68 dB
2 次反射	11.11 dB	9.02 dB	6.60 dB	8.11 dB
5 次反射 (完整配置)	10.91 dB	8.99 dB	6.58 dB	7.81 dB

关键发现¶

低成本合成预训练展现出可预测的数据缩放定律：将各任务下游RMSE以自身2M检查点归一化后取均值 $\bar{z}(N)$，采用纯数据幂律 $\bar{z}(N) = z_\infty + a (N/2\mathrm{M})^{-\alpha}$ 拟合。仅用 2M–16M 四个小规模点拟合出的参数（ResNet-101 拟合公式为 $0.755 + 0.250(N/2\mathrm{M})^{-0.409}$），在推演预测 32M–128M 的外部测试点时，平均绝对百分比误差（MAPE）分别低至 3.33%（ResNet-101）和 7.10%（Swin-T）。
仿真保真度在下游标注稀缺时至关重要：当拥有充足的下游目标域高保真数据微调时，0次反射与5次反射预训练模型在微调后差距被极大地抹平（6.79 dB vs 6.58 dB）；但当目标域微调数据极度匮乏时（例如仅有60张图/2%数据），反射深度带来的物理真实性差异会导致下游误差剧烈拉大（9.68 dB vs 7.81 dB，提升达 19.3%）。
几何尺度无法弥补物理材质特征的缺失：在材质消融实验中，若强制移除输入的墙体反射与透射通道，即使将合成预训练规模从 2M 扩大到 32M，在无稀疏测量支持下的冻结特征预测 RMSE 甚至从 15.78 dB 恶化到 23.63 dB。这证明单纯堆叠数据规模无法克服基础物理因果特征的缺失。
物理探针验证模型内化了经典电磁规律：在针对128M检查点的独立物理基准探针中，模型自发学到了自由空间路径损耗（FSPL）对数距离衰减（MAPE 1.10%）、频率对数缩放（MAPE 0.45%）、有限厚度墙体遮挡衰减（11.57 dB vs 理论值 12 dB）、$D_4$ 旋转镜像等距不变性（中位偏差 0.51 dB）以及收发互易性（MAE 0.70 dB）。

亮点与洞察¶

用数据多样性与规模打破高保真仿真的计算墙：传统无线通信认为必须依赖昂贵复杂的全波或3D光线追踪仿真数据才能训练神经网络，本文证明利用极简的2D多边形递归分割和剪枝射线追踪，即便忽略绕射与散射，通过放大到1.28亿规模，依然能够向视觉骨干注入坚实的物理空间传播归纳偏置。
将下游微调误差成功纳入可预测的缩放幂律：不同于NLP/CV领域大多拟合预训练自监督损失，本文首次在物理场预测中证实，即使存在仿真器不匹配（Simulator Mismatch），下游高保真/实测任务在微调后的测试RMSE依然遵循由粗到精的单调数据幂律关系。
通用冻结特征能有效迁移至真实物理硬件测量：在 1,027 条真实室内 Wi-Fi RSSI 测量数据集（16个AP站点留一交叉验证）上，将冻结的预训练卷积特征输出输入至岭回归校准器，使传统几何特征基线的误差从 5.878 dB 显著降低到 5.117 dB（相对降低 12.9%），证实了纯合成预训练特征在真实物理环境中的泛化潜力。

局限与展望¶

物理仿真机制存在固有上限：合成数据发生器完全忽略了 3D 立体空间传播、天线高度差、边缘衍射（Diffraction）以及粗糙墙面漫反射（Scattering）。在具有复杂天花板反射或大曲率衍射阴影区等特定极端场景下，缺乏相应归纳偏置的预训练权重可能存在系统性偏差。
超大规模训练后期的非单调性与饱和：实验表明，虽然 2M–16M 呈现优美的幂律下降，但在 64M/128M 乃至引入重复采样的 192M/256M 阶段，某些任务的验证误差出现了轻微反弹或非单调震荡（例如 ResNet-101 最优均值在 64M，Swin-T 在 32M），如何在保持大模型容量的同时保证极大规模下的持续单调增益仍需进一步研究。
真实数据验证规模仍显局限：目前实测数据仅在一个包含 1,027 个测量点的单一建筑室内数据集上测试，且受限于发射功率缺失只能采取下游岭回归特征校准，尚无法全面评估端到端微调在复杂异构真实建筑群中的工业级鲁棒性。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将亿级低成本合成预训练与缩放定律引入无线电地图预测，跳出了死磕复杂架构的传统路径。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖五大公认挑战榜单、多架构横向对比、亿级规模消融、真实硬件数据迁移以及细致入微的物理探针测试。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，实验消融切中要害，客观诚实地分析了模拟器不匹配和超大规模震荡等现象。
价值: ⭐⭐⭐⭐⭐ 开辟了无线通信领域利用合成大数据进行基础模型研发的新范式，开源的快速射线追踪器与管线具有极高的实用性。