Sen-Cap: Sensor-Flexible and Noise-Resilient Human Motion Capture via LiDAR-Camera Integration¶

会议: ECCV 2026
论文: ECCV 原文
领域: 自动驾驶 / 人体理解
关键词: 跨模态动作捕捉、LiDAR与相机融合、免外参标定、瓶颈注意力、抗噪轨迹跟踪

一句话总结¶

Sen-Cap 提出了一种支持任意数量激光雷达与相机即插即用、且对恶劣点云噪声鲁棒的无标定 3D 人体动作捕捉框架，通过以人体为中心的特征对齐与瓶颈注意力融合估计局部姿态，并配合迭代细化位移预测实现稳定的全局人体轨迹追踪。

研究背景与动机¶

三维人体动作捕捉在具身智能、自动驾驶人车交互、虚拟现实以及运动分析等领域具有极其重要的应用价值。传统的无标记动捕系统大多依赖单模态传感器：单目或多目相机受限于缺乏深度信息和透视多义性，在复杂遮挡和远距离场景下难以准确恢复全局绝对坐标；而激光雷达（LiDAR）虽然能够提供精准的几何尺度和三维空间位置，却缺乏细粒度的外观与纹理特征，且在远距离时点云分布极其稀疏。因此，将相机与激光雷达进行多模态互补融合，成为实现鲁棒、高精度三维人体动作捕捉的必然趋势。

然而，现有的多模态动捕方法在走向开放真实世界时面临两项严峻瓶颈。首先，传统融合管线高度依赖精确的传感器外参标定，通常要求传感器位置固定且视野高度重叠；一旦传感器视角发生动态变化或视角布局任意变动，外参误差就会逐级放大导致重构崩溃。即便最新方案（如 FreeCap）通过关键点匹配进行在线粗外参解算，其网络结构庞大且在人体点云稀疏时外参求解依然极易失败，更无法自由扩展激光雷达数量。其次，真实环境中的点云通常伴随着严重的背景杂波、物体噪声与局部自遮挡。现有轨迹预测范式通常先将点云中心化到质心再预测单步偏移，但在严重噪声或遮挡下点云质心会大幅偏离人体骨盆根节点，使得网络被迫在极大的候选空间中预测位移，导致预测方差激增并产生严重的系统性漂移。

针对上述挑战，本文的核心视角是：人体内在的运动学结构独立于外部传感器的安装位置与观测视角，完全可以在无外参前提下将异质传感器统一映射到以人体为中心的参考系中；同时，全局轨迹的漂移可以通过逐步收缩搜索空间的迭代细化策略予以克服。核心 idea：构建一套完全免外参标定的多模态动捕框架 Sen-Cap，通过人体中心空间对齐与瓶颈注意力机制实现任意数量相机与激光雷达的即插即用局部姿态估计，并结合多步迭代收缩偏移的抗噪轨迹跟踪器消除质心漂移，实现极端噪声与任意视角变化下的实时稳定全局动捕。

方法详解¶

整体框架¶

Sen-Cap 的输入为任意数量移动激光雷达采集的时序三维点云序列 \(\{x_{pc}^{L_i}\}_{i=1}^{N_L}\) 与移动相机提取并归一化的二维人体关键点序列 \(\{x_{2d}^{C_j}\}_{j=1}^{N_C}\)，直接回归全局 SMPL 人体网格参数（包括形状参数 \(\hat{\beta} \in \mathbb{R}^{10}\)、局部人体姿态 \(\hat{\theta} \in \mathbb{R}^{23 \times 3}\)、全局朝向 \(\hat{\tau} \in \mathbb{R}^3\) 以及世界坐标系下的全局平移 \(\hat{\Gamma} \in \mathbb{R}^3\)）。

整个系统解耦为两大核心支干协同工作： 1. 统一跨传感器运动估计器（UAME）：负责在无需任何传感器间相对外参的情况下，将异质传感器统一对齐到人体中心坐标系，并经由紧凑的信息瓶颈注意力自适应聚合可靠线索，解算人体形状 \(\hat{\beta}\) 与局部姿态 \(\hat{\theta}\)； 2. 抗噪轨迹跟踪器（NTT）：针对激光雷达点云质心因噪声偏离人体根关节的问题，利用局部三维关节点作为引导，通过多轮迭代残差更新逐步逼近真实人体根节点，解算全局位移 \(\hat{\Gamma}\)。

整体流水线如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["多路输入<br/>无标定点云 + 2D关键点"] --> B["人体中心空间对齐<br/>GRU预测旋转并消除外参依赖"]
    B --> C["自适应传感器融合<br/>可学习Token跨注意力信息瓶颈"]
    C --> D["传感器丢弃训练策略<br/>随机掩码模拟传感器脱落与失效"]
    D --> E["局部姿态与体型回归<br/>输出SMPL参数与局部3D关节点"]
    E --> F["抗噪轨迹跟踪器<br/>多轮迭代残差收缩预测全局位移"]
    F --> G["最终输出<br/>全局3D人体网格与运动轨迹"]

关键设计¶

1. 人体中心空间对齐：摆脱传感器相对外参依赖

现有方法在多传感器融合时通常预先设定刚性标定矩阵或在世界坐标系下做刚体变换，视角稍有偏移或发生抖动就会造成投影对齐错位。本文利用人体运动学结构自身的不变性，构建了一个以人体自身躯干为基准的人体中心参考系 \(\mathcal{H}\)。对于第 \(i\) 个激光雷达 \(L_i\)，首先利用 3D PointNet 编码器从采样的 256 个点中提取局部关节表征 \(x_{3d}^{L_i}\)，并使用门控循环单元（GRU）显式预测该传感器观测下人体的朝向旋转向量 \(\hat{\tau}_i\)。随后，通过逆旋转变换将该视角下的三维关节表征直接转入统一的人体中心坐标系：

\[x_{3d}^{H_i} = R(\hat{\tau}_i)^{-1} x_{3d}^{L_i}\]

其中 \(R(\cdot)\) 将旋转向量转换为旋转矩阵。为了保证各个独立传感器分支在没有相对标定的情况下学到严格一致的人体空间，模型引入对齐约束损失 \(\mathcal{L}_{align}\)，同时在传感器坐标系与人体中心坐标系下，对三维关节表征及 6D 连续全局旋转矩阵表征施加多视角一致性监督。与此同时，多路相机的二维人体关键点序列 \(x_{2d}^{C_j}\) 经过边界框中心和尺度归一化后，由二维时序编码器映射至统一的隐空间。这一机制消除了跨传感器显式配准的需求，使任意视角、任意摆放的传感器均能独立将观测对齐到同一解剖学坐标下。

2. 自适应传感器融合：通过瓶颈注意力实现传感器弹性扩展

多模态系统在实际部署时，传感器质量参差不齐且极易受到局部光照剧变、点云遮挡或数据丢包影响。若直接采用全两两跨模态交叉注意力（Pairwise Attention）或简单的特征拼接投影，计算复杂度会随传感器数量呈二次方增长，且容易被低信噪比的失效传感器污染全局表征。为此，本文设计了基于可学习潜在标记（Latent Token）的信息瓶颈注意力融合模块。

经过时序 GRU 分别提取激光雷达三维运动时空特征 \(F_{3d}\) 与相机二维视觉运动特征 \(F_{2d}\) 后，将其在特征维度拼接为 \(F_m = [F_{3d}, F_{2d}]\)。模块初始化一个可学习的全局融合标记 \(F_{token} \in \mathbb{R}^{1 \times D}\)，以其作为查询（Query），将多模态混合特征 \(F_m\) 作为键（Key）和值（Value）进行单向交叉注意力聚合：

\[F_{fusion} = \text{CrossAttn}(Q = F_{token}, K = F_m, V = F_m)\]

这一瓶颈结构迫使所有模态的异质特征必须经由紧凑的单一潜在通道进行信息压缩。网络会根据当前各传感器通道的几何可信度与时序连贯性，自适应分配注意力权重，抑制失真传感器的干扰。融合后的紧凑特征向量 \(F_{fusion}\) 随后送入解码 GRU，直接回归人体 SMPL 参数 \(\hat{\beta}, \hat{\theta}\)。由于 \(F_{token}\) 固定了下游解码器的输入维度，整个网络可以在测试期无缝接入任意数量的相机与激光雷达，而无需改变任何模型权重。

3. 传感器丢弃训练策略：提升缺失与脱落条件下的泛化能力

为了使模型在测试期即使遭遇传感器数量骤减、某一路激光雷达被遮蔽或相机完全掉线时依然保持健壮，本文在训练阶段提出了针对多模态时空维度的传感器丢弃（Sensor Dropout）正则化策略。在将提取的多传感器特征送入瓶颈注意力之前，系统以一定概率随机对来自激光雷达与相机的特征标记进行大比例掩码屏蔽。这一训练范式打破了网络对特定传感器视角的过拟合依赖，强制信息瓶颈模块学会在极少甚至单模态观测下提取足够的人体运动先验。这使得 Sen-Cap 无需任何重训练即可任意在 1C+1L（单相机+单雷达）、3C+3L 乃至单雷达、单相机等各种退化或扩展配置之间平滑切换。

4. 抗噪轨迹跟踪器：基于迭代细化的鲁棒全局定位

获得局部精准人体姿态与朝向后，三维全局动捕的另一决定性指标是人体在环境中的绝对平移量 \(\hat{\Gamma}\)。传统方法通常将激光雷达检测到的点云去中心化，假设点云几何质心与人体根关节（骨盆）重合，再通过单步神经网络预测两者之间的固定偏差。然而在真实环境中，地面回波、周围近距离障碍物（如自行车、球场器材、树木杂草）以及自遮挡会严重偏移点云的物理质心，使其与真实根节点产生巨大漂移。单步预测器面对超出常规分布的超大位移空间，倾向于输出保守的欠估计值，造成严重的累积系统漂移。

抗噪轨迹跟踪器（NTT）打破了一步到位的预测假定，引入渐进式空间收缩的迭代细化机制。设初始点云中心为 \(x_{pc}^0 = x_{pc}\)，局部估计的 3D 关节位置为 \(\hat{x}_{3d}^L\)。在第 \(n\) 次细化循环中，偏移预测器 \(E_O\) 综合当前残差点云分布与人体骨骼几何信息，预测一个局部细微位移：

\[\Delta \hat{\Gamma}^n = E_O(x_{pc}^{n-1}, \hat{x}_{3d}^L), \quad x_{pc}^n = x_{pc}^{n-1} + \Delta \hat{\Gamma}^n\]

经过 \(N\) 轮微调后，最终的全局绝对位置为：

\[\hat{\Gamma} = x_{pc} + \sum_{n=1}^N \Delta \hat{\Gamma}^n\]

每一轮迭代都将点云坐标原点向真实骨盆中心推进一步，极大地缩小了下一步的候选搜索半径，从而有效抵御了外围孤立噪声点对质心回归的恶性牵引。

损失函数 / 训练策略¶

整个框架端到端联合优化，训练目标由人体空间对齐损失 \(\mathcal{L}_{align}\)、人体姿态与形变监督损失 \(\mathcal{L}_{pose}\) 以及全局轨迹跟踪损失 \(\mathcal{L}_{tr}\) 构成：

\[\mathcal{L} = \mathcal{L}_{align} + \mathcal{L}_{pose} + \mathcal{L}_{tr}\]

其中姿态损失计算预测参数与真值的 L1 偏差：\(\mathcal{L}_{pose} = \|\beta - \hat{\beta}\|_1 + \|\theta - \hat{\theta}\|_1\)。全局轨迹损失 \(\mathcal{L}_{tr}\) 结合了多步累积终点误差与单步过大步长惩罚项 \(\mathcal{L}_{dtr}\)：

\[\mathcal{L}_{tr}(\Gamma) = \|\hat{\Gamma} - \Gamma\|_1 + \lambda \frac{1}{N} \sum_{n=1}^N \mathcal{L}_{dtr}(\Delta \hat{\Gamma}^n)\]

通过分段惩罚函数约束单步步长超过门限 \(\delta\) 的异常突变，避免在噪声剧烈场景下迭代发散，确保轨迹在时间维度上的高平滑度与抗震颤特性。

实验关键数据¶

主实验¶

论文在多传感器动捕数据集 FreeMotion 与大规模多人动捕基准 Human-M3 上进行了全面评估，涵盖训练视角（Training View, T）与未见过的全新相机视角（Novel View, N）。主要对比基线涵盖纯单目视觉 SOTA（WHAM、GVHMR、GENMO、PromptHMR）、纯激光雷达方案（LiveHPS、LiveHPS++）以及最新基于免标定匹配的多模态方案 FreeCap。评价指标包括局部关节与顶点误差 J/V Err(PS)、考虑平移的绝对位置误差 J/V Err(PST)、全局关节旋转角度误差 Ang Err（度）、加速度误差 Accel Err（\(\text{m/s}^2\)）以及单向倒角距离 SUCD（mm）。

数据集	评测设置 (View)	方法	模态	J/V Err(PS) ↓ (mm)	J/V Err(PST) ↓ (mm)	Ang Err ↓ (°)	Accel Err ↓ (\(\text{m/s}^2\))	SUCD ↓ (mm)
FreeMotion	训练视角 (T)	WHAM (CVPR'24)	相机 (C)	82.83 / 97.55	-	12.24	4.51	-
FreeMotion	训练视角 (T)	LiveHPS (CVPR'24)	雷达 (L)	59.30 / 73.12	100.81 / 109.09	13.10	6.18	4.97
FreeMotion	训练视角 (T)	LiveHPS++ (ECCV'24)	雷达 (L)	54.15 / 57.74	88.91 / 97.53	11.85	4.37	3.47
FreeMotion	训练视角 (T)	FreeCap (AAAI'25)	雷达+相机 (L+C)	53.31 / 65.50	95.97 / 102.91	11.14	5.97	4.82
FreeMotion	训练视角 (T)	Ours (单雷达)	雷达 (L)	52.98 / 56.41	84.37 / 91.62	11.21	4.28	3.21
FreeMotion	训练视角 (T)	Ours (全模态)	雷达+相机 (L+C)	47.46 / 57.84	75.16 / 81.65	9.94	3.01	3.83
FreeMotion	新视角 (N)	FreeCap (AAAI'25)	雷达+相机 (L+C)	57.37 / 69.61	99.20 / 106.15	11.74	6.08	4.96
FreeMotion	新视角 (N)	Ours (全模态)	雷达+相机 (L+C)	52.25 / 63.05	79.05 / 85.82	10.80	3.16	3.93
Human-M3	训练视角 (T)	FreeCap (AAAI'25)	雷达+相机 (L+C)	55.45 / 68.52	96.47 / 102.67	9.14	9.60	6.66
Human-M3	训练视角 (T)	Ours (全模态)	雷达+相机 (L+C)	42.59 / 52.09	73.50 / 77.53	5.71	10.18	5.74
Human-M3	新视角 (N)	FreeCap (AAAI'25)	雷达+相机 (L+C)	56.24 / 69.25	96.45 / 102.46	9.17	9.59	6.58
Human-M3	新视角 (N)	Ours (全模态)	雷达+相机 (L+C)	42.64 / 52.28	73.41 / 77.51	5.76	10.15	5.74

消融实验¶

在 FreeMotion 数据集上系统剖析 UAME 中特征对齐空间、多模态特征融合方式，以及 NTT 模块迭代次数对性能的具体影响：

模块类别	实验配置方案	J/V Err(PS) ↓ (mm)	J/V Err(PST) ↓ (mm)	Ang Err ↓ (°)	Accel Err ↓ (\(\text{m/s}^2\))	SUCD ↓ (mm)
特征对齐空间 (UAME)	雷达中心坐标系 (LiDAR-Centric)	68.73 / 81.42	92.38 / 100.81	12.75	3.39	5.11
特征对齐空间 (UAME)	人体中心坐标系 (Human-Centric, 本文)	52.25 / 63.05	78.87 / 85.66	10.80	3.12	3.91
特征融合方式 (UAME)	可学习线性拼接融合 (Learnable Linear)	60.63 / 72.41	85.49 / 93.09	11.73	3.27	4.45
特征融合方式 (UAME)	固定权重相加融合 (Fixed-Weight)	61.37 / 73.13	85.97 / 93.55	11.70	3.28	4.53
特征融合方式 (UAME)	瓶颈注意力机制 (Bottleneck Attention, 本文)	52.25 / 63.05	78.87 / 85.66	10.80	3.12	3.91
轨迹细化迭代 (NTT)	迭代 1 轮 (\(\text{repeat} \times 1\))	52.25 / 63.05	87.88 / 94.01	10.80	5.05	4.26
轨迹细化迭代 (NTT)	迭代 2 轮 (\(\text{repeat} \times 2\))	52.25 / 63.05	82.42 / 88.78	10.80	4.18	3.54
轨迹细化迭代 (NTT)	迭代 3 轮 (\(\text{repeat} \times 3\), 默认)	52.25 / 63.05	78.87 / 85.66	10.80	3.12	3.91
轨迹细化迭代 (NTT)	迭代 4 轮 (\(\text{repeat} \times 4\))	52.25 / 63.05	74.88 / 82.20	10.80	3.17	3.81
轨迹细化迭代 (NTT)	迭代 5 轮 (\(\text{repeat} \times 5\))	52.25 / 63.05	74.63 / 82.00	10.80	3.17	3.75

关键发现¶

人体中心对齐是消除标定误差的胜负手：消融表明，若放弃人体中心参考系而回退到传统以雷达为中心的坐标系，局部关节误差 J/V Err(PS) 立即从 52.25/63.05 mm 恶化至 68.73/81.42 mm，证明消除视角外参耦合对跨模态泛化至关重要。
瓶颈注意力优于直接线性融合：采用可学习的线性拼接投影会使误差达到 60.63 mm，而瓶颈注意力压缩迫使异质线索通过潜在全局标记进行信噪比重分配，显著降低了异质模态间的互串干扰。
迭代位移细化的收敛收益：随着 NTT 迭代轮数从 1 增加到 3，全局定位误差 J/V Err(PST) 从 87.88 mm 骤降至 78.87 mm，加速度误差也从 5.05 降至 3.12 \(\text{m/s}^2\)；局部姿态指标完全不受影响，完美验证了局部与全局解耦机制的设计自洽性。
极端噪声环境下的断崖式防崩塌能力：在注入 ShapeNet 杂物噪声的极端扰动测试（Level 3）中，无 NTT 保护的模型位移误差激增至 367.51 mm、加速度误差飙升至 94.62 \(\text{m/s}^2\)；而配备 NTT（\(N=3\)）的模型将误差压制在 158.53 mm 与 6.71 \(\text{m/s}^2\)，展现出惊人的抗噪韧性。

亮点与洞察¶

将多模态对齐化归为人体解剖学生理不变性：以往方法为求无标定，往往花费巨大计算量反解相机与雷达之间的几何旋转平移矩阵。Sen-Cap 换位思考，通过局部预测各自传感器眼中的人体主轴朝向，直接将特征拉齐到以人体为中心的参考系中，巧妙绕开了繁琐的跨传感器刚体标定求解。
信息瓶颈作为天然的传感器弹性插槽：使用单一固定维度的全局 Latent Token 充当 Query，下游回归头仅与该 Token 对话，输入端的传感器数量从 1 到 N 任意增减均只改变 Key/Value 的序列长度，实现了真正的传感器即插即用和零样本动态扩展。
残差迭代有效瓦解质心估计陷阱：点云分割中的外点会成倍拉偏质心，使网络单次前向直接预测大位移时陷入死角；Sen-Cap 借鉴数值优化中的渐进步长机制，以局部骨架为锚点多轮微步收缩，极低计算代价化解了恶劣杂波下的系统性漂移。

局限与展望¶

依赖可靠的二维关键点检测器：虽然系统对相机视角与外参无要求，但输入端仍依赖离线或前端预提取的 2D 骨骼关键点（如 ViTPose/OpenPose）。若光照极其黑暗或人体处于深度图像阴影中导致 2D 关键点完全丢失，单靠纯雷达分支虽能运行但无法充分发挥多模态红利。
多人强遮挡场景下的跨传感器人体关联开销：论文采用了 Memory Bank 辅助的跨视角人体身份匹配机制，在极高密度人群发生交叉穿越和长时间严重互遮挡时，匹配正确率会直接影响对应传感器线索的归属。未来可探索将跨传感器端到端人体检测与动作捕捉联合建模。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次在统一模型下打通任意数量雷达与相机的免外参融合，瓶颈注意力与人体中心对齐构思非常精妙]
实验充分度: ⭐⭐⭐⭐⭐ [不仅覆盖 FreeMotion、Human-M3，还在户外复杂噪声 LiDARHuman26M、快速运动 RELI11D 上完成跨域验证，并进行了系统性噪声注入与传感器增减实验]
写作质量: ⭐⭐⭐⭐⭐ [逻辑架构严丝合缝，公式与图示表意准确，消融实验针对性极强]
价值: ⭐⭐⭐⭐⭐ [为真实开放场景下多无人车、路侧多传感器协同的人体姿态感知提供了极为实用的免标定工程范式]