AnyMo: Geometry-Aware Setup-Agnostic Modeling of Human Motion in the Wild¶

会议: NeurIPS 2026
arXiv: 2605.22715
OpenReview: https://openreview.net/forum?id=G4z36ToJi1
论文: Project Page
领域: 人体理解
关键词: 可穿戴IMU动作理解、几何感知运动仿真、配置无关表征学习、全身动作词元化、动作-语言对齐

一句话总结¶

本文提出几何感知且佩戴配置无关的人体动作理解框架 AnyMo，通过人体表面密集物理仿真、掩码跨视角预测对比预训练、全身乘积量化词元化以及多任务对比指令微调，在 14 个零样本人体动作识别基准上平均准确率、F1 和 R@2 分别相对提升 11.7%、11.6% 和 22.6%，并大幅刷新跨模态检索与动作描述生成性能。

研究背景与动机¶

日常穿戴设备（智能手表、耳机、智能眼镜、口袋中的手机等）为开放环境下连续感知人体动作提供了低成本途径，但惯性测量单元（IMU）信号本身存在强烈的语义歧义与佩戴配置耦合性。同一日常动作在手腕上表现为手臂摆动、在眼镜上体现为头部微动、在口袋中则反映躯干与腿部耦合动力学；即便在同一身体部位，安装位置的微小偏移、传感器朝向旋转、硬件噪声差异和采样协议变化也会显著改变测量到的三轴加速度与角速度。加之真实世界带细粒度自然语言标注的多位置 IMU 数据极度稀缺，现有分类模型或跨模态对比模型（如 ImageBind、IMU2CLIP）往往被绑定在特定传感器位置和固定闭集标签上，难以跨设备、跨数据集泛化。

这一困境背后的核心矛盾在于：开放词汇动作理解需要借助大语言模型（LLM）的组合语义先验，但下游真实穿戴输入是高度稀疏且随佩戴配置剧烈变化的局部连续传感器流。现有合成数据方法（如 IMUGPT、UniMTS）通常只在抽象骨架关节中心做简单刚体绑定，忽略了真实设备在人体网格表面的密集几何位置、局部切平面朝向与真实硬件噪声，导致合成到真实（sim-to-real）泛化断裂；而直接把原始数值序列或波形图喂给大模型（如 HARGPT、Gemma 4 26B），既无法消除佩戴位置偏差，又会随传感器通道和时长增加遭遇严重的模态鸿沟与上下文长度瓶颈。

本文的切入角度是：穿戴配置的变化并非毫无规律的随机噪声，而是受人体表面三维几何、运动学拓扑与刚体物理规律严格约束的结构化变换；同时，连接传感器与语言不应依赖原始数值流或特定位置词元，而应通过紧致且配置稳定的全身动作词元（full-body motion tokens）。核心 idea：利用人体表面几何与刚体物理方程在全身 23 个解剖部位密集合成多位置 IMU 候选信号，通过掩码跨视角预测对比学习训练时空图编码器以从稀疏局部输入恢复全身运动表征，再经乘积量化 VAE 离散化为全身动作词元并与大语言模型进行多任务对比指令微调，实现任意穿戴配置下的开放式人体动作理解。

方法详解¶

整体框架¶

AnyMo 围绕人体 23 个解剖部位构成的运动学树（基于 Nymeria 人体网格与骨架模型），将稀疏、任意佩戴位置的六轴 IMU 时间窗转化为可同时支持开放词汇动作识别、双向跨模态检索与自然语言动作描述生成的统一表征。整体流程分为四个紧密衔接的阶段：首先在人体三维网格表面密集构建局部传感器坐标系并合成带真实硬件噪声的物理 IMU 候选库；接着从不同佩戴位置与朝向采集成对图视角，利用掩码跨视角预测对比学习训练时空图卷积编码器（ST-GCN）；随后冻结编码器，使用乘积量化变分自编码器（PQ-VAE）将稀疏输入下的连续时空特征离散化为紧致的全身动作词元序列；最后将动作词元注入大语言模型（Qwen2.5-0.5B），先后经过动作词元自回归预训练与多任务对比指令微调，统一判别式嵌入空间与生成式语言建模。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["人体3D网格与骨架序列<br/>(Nymeria 23个解剖部位)"] --> B["物理驱动的几何感知IMU仿真<br/>表面法线切平面建系+刚体动力学+噪声先验"]
    B --> C["掩码跨视角预测对比预训练<br/>雙视角采样旋转+1~5节点掩码ST-GCN+Transformer预测"]
    C --> D["全身IMU乘积量化词元化<br/>冻结ST-GCN+双码本PQ-VAE交错离散化"]
    D --> E["动作-语言多任务对比指令微调<br/>码本投影词表扩展+软提示对比池化+指令生成"]
    E -->|特征池化余弦匹配| F["零样本动作识别与跨模态检索"]
    E -->|自回归解码生成| G["可穿戴IMU动作描述生成"]

关键设计¶

1. 物理驱动的几何感知IMU仿真：在人体三维网格表面密集建模局部传感器坐标系与真实噪声

传统合成 IMU 方法将虚拟传感器刚性绑定在骨架关节点上，忽略了穿戴设备实际贴附在人体皮肤或衣物表面所带来的力臂偏移与表面朝向差异。为此，AnyMo 根据模板网格的蒙皮权重（skinning weights），将每个网格顶点分配给权重排名前两位的非零骨骼部位，在 23 个解剖部位上共筛选出 2,374 个候选表面顶点。对于部位 \(i\) 上的每个候选顶点 \(v \in \mathcal{V}_i\)，模型计算部位质心指向最近子部位（或背离父部位）的解剖学主轴 \(\mathbf{u}_i\)，结合顶点表面法线 \(\mathbf{n}_{i,v}\) 将解剖轴投影到局部切平面得到切向 \(\mathbf{t}_{i,v}\)，再通过叉乘 \(\mathbf{b}_{i,v} = \mathbf{n}_{i,v} \times \mathbf{t}_{i,v}\) 构成右手表面坐标系 \(\mathbf{R}^{\mathrm{surf}}_{i,v} = [\mathbf{t}_{i,v}, \mathbf{b}_{i,v}, \mathbf{n}_{i,v}]\)：

\[\mathbf{t}_{i,v}=\frac{\mathbf{u}_{i}-(\mathbf{u}_{i}^{\top}\mathbf{n}_{i,v})\mathbf{n}_{i,v}}{\left\|\mathbf{u}_{i}-(\mathbf{u}_{i}^{\top}\mathbf{n}_{i,v})\mathbf{n}_{i,v}\right\|_{2}}\]

在随时间演化的姿态网格序列中，模型统计顶点相对骨骼部位坐标系的平均局部力臂偏移 \(\mathbf{r}_{i,v}\)，并绕表面法线采样平面内安装旋转 \(\Delta\mathbf{R}_{i,v}\) 得到最终局部传感器坐标系 \(\widetilde{\mathbf{R}}^{\mathrm{surf}}_{i,v}\)，进而确定虚拟传感器在全局空间的位置轨迹 \(\mathbf{p}^{\mathrm{imu}}_{i,v}(t)=\mathbf{p}_{i}(t)+\mathbf{R}_{i}(t)\mathbf{r}_{i,v}\) 与姿态轨迹 \(\mathbf{R}^{\mathrm{imu}}_{i,v}(t)=\mathbf{R}_{i}(t)\widetilde{\mathbf{R}}^{\mathrm{surf}}_{i,v}\)。最后对位置求二阶时间导数并扣除重力 \(\mathbf{g}\)、对姿态变化求角速度，同时叠加从真实 Nymeria 静止片段估计出的两种硬件噪声先验：

\[\mathbf{a}_{i,v}(t) = \mathbf{R}^{\mathrm{imu}}_{i,v}(t)^{\top}\left(\frac{d^{2}\mathbf{p}^{\mathrm{imu}}_{i,v}(t)}{dt^{2}}-\mathbf{g}\right)+\boldsymbol{\eta}^{a}_{i,v}(t), \quad \boldsymbol{\omega}_{i,v}(t) = \mathbf{R}^{\mathrm{imu}}_{i,v}(t)^{\top}\Omega\left(\mathbf{R}^{\mathrm{imu}}_{i,v}\right)(t)+\boldsymbol{\eta}^{\omega}_{i,v}(t)\]

这种表面级物理仿真使每个动作时间窗都在全身表面拥有 2,374 个具备真实离心加速度、切面倾角与硬件噪声的传感器候选，从源头上弥合了合成数据与真实穿戴设备之间的物理分布差距。

2. 掩码跨视角预测对比预训练：从稀疏局部穿戴观测恢复佩戴配置无关的全身时空表征

即便有了密集的合成表面信号，下游推理时真实用户往往只佩戴 1 到几个传感器，且具体贴附位置和旋转角度未知。单纯的全身图对比学习不需要从局部推断全局，而单纯的掩码重建又缺乏不同动作实例之间的判别边界。AnyMo 将全身 23 个部位建模为遵循运动学树拓扑的时空图（ST-GCN），在每次预训练迭代中为同一动作时间窗独立采样两套表面顶点位置与局部旋转扰动（含 \(\pm 180^\circ\) 面内旋转与 \(\pm 10^\circ\) 切向微小倾角以模拟佩戴贴合误差），构造两个完整的全身图视角 \(\mathbf{X}^A, \mathbf{X}^B \in \mathbb{R}^{T \times 23 \times 6}\)。随后随机仅保留 1 至 5 个可见部位节点（其余节点替换为可学习掩码词元），经共享的 10 层 ST-GCN 编码器 \(\mathcal{G}_\theta\) 提取保持时间分辨率的全身完整隐序列 \(\mathbf{z}^{\mathrm{full}}_A, \mathbf{z}^{\mathrm{full}}_B \in \mathbb{R}^{T' \times d}\) 与稀疏掩码隐序列 \(\mathbf{z}^{\mathrm{mask}}_A, \mathbf{z}^{\mathrm{mask}}_B\)（例如 \(T=300\) 帧经两次步长为 2 的时间下采样后得到 \(T'=75, d=256\)）。接着用 6 层 Transformer 时间预测器 \(q_\phi\) 从视角 \(A\) 的稀疏观测去预测视角 \(B\) 的完整全身序列 \(\hat{\mathbf{z}}_{A \rightarrow B} = q_\phi(\mathbf{z}^{\mathrm{mask}}_A)\)（反之亦然），并以时间维平均余弦相似度 \(s(\hat{\mathbf{z}}, \mathbf{z})\) 计算带停止梯度（stop-gradient）的对称预测式 InfoNCE 损失：

\[\mathcal{L}_{A\rightarrow B}=-\frac{1}{N_{\mathrm{batch}}}\sum_{n=1}^{N_{\mathrm{batch}}}\log\frac{\exp(s(\hat{\mathbf{z}}_{A\rightarrow B}^{(n)},\operatorname{sg}(\mathbf{z}_{B}^{\mathrm{full},(n)}))/\tau)}{\sum_{m=1}^{N_{\mathrm{batch}}}\exp(s(\hat{\mathbf{z}}_{A\rightarrow B}^{(n)},\operatorname{sg}(\mathbf{z}_{B}^{\mathrm{full},(m)}))/\tau)}\]

通过强迫模型仅凭一个视角下的 1~5 个稀疏传感器去预测另一个不同安装位置与朝向视角下的完整全身动态，ST-GCN 编码器同时学会了跨部位运动学补全、局部安装旋转不变性以及保持细粒度时间演化的实例级动作判别力。

3. 全身IMU乘积量化词元化：将变长稀疏惯性隐序列压缩为高利用率离散动作词表

如果将连续 IMU 帧或各传感器的独立词元直接输入 LLM，序列长度会随传感器数量和采样率急剧膨胀，且词元语义会与特定传感器位置绑定。AnyMo 冻结预训练好的 ST-GCN 编码器，在稀疏掩码观测输出的全身时间隐序列 \(\mathbf{z}^{\mathrm{mask}} \in \mathbb{R}^{T' \times 256}\) 上训练一个乘积量化 VAE（PQ-VAE）。每个时间步 \(\ell\) 的特征先投影到 \(\bar{d}=128\) 维，再均匀切分为 \(P=2\) 个 64 维子空间分块 \(\bar{\mathbf{z}}_{\ell, j}\)，分别在各自包含 \(K=2,048\) 个码向量的独立码本 \(\mathcal{E}_j\) 中做最近邻查找得到离散索引 \(\kappa_{\ell, j}\)，拼接量化向量后由时间卷积解码器重构原始隐序列：

\[\mathcal{L}_{\mathrm{com}}=\sum_{j=1}^{P}\frac{P}{T'\bar{d}}\sum_{\ell=1}^{T'}\left\|\bar{\mathbf{z}}_{\ell,j}-\operatorname{sg}(\mathbf{e}_{j,\kappa_{\ell,j}})\right\|_{2}^{2},\quad \mathcal{L}_{\mathrm{tok}}=\operatorname{SmoothL1}(\tilde{\mathbf{z}},\mathbf{z}^{\mathrm{mask}})+\lambda_{\mathrm{com}}\mathcal{L}_{\mathrm{com}}\]

码本通过衰减率为 0.99 的指数移动平均（EMA）更新，并在每次更新后将使用率低于平均值 20% 的死码（dead codes）替换为当前批次采样的隐向量（最终双码本利用率高达 99.27% 和 99.90%，序列精确碰撞率仅 0.61%）。将两个子空间的索引按时间步交错排列 \(\mathbf{s}=[\kappa_{1,1}, \kappa_{1,2}, \kappa_{2,1}, \ldots, \kappa_{T',2}]\)，一段 5 秒（300 帧）的任意多传感器输入即可被统一压缩为固定 150 个与具体传感器数量解耦的全身动作词元。

4. 动作-语言多任务对比指令微调：统一码本感知词元预训练、软提示对比检索与指令生成

为了让预训练语言模型（Qwen2.5-0.5B）既能读懂新增的 4,096 个离散 IMU 词元，又能同时胜任判别式检索/分类与生成式描述，AnyMo 采用两阶段动作-语言训练。第一阶段为动作语言模型预训练：不将新增 IMU 词元视为随机初始化的孤立词表，而是用两层 MLP 投影器 \(g_\rho\) 将 PQ-VAE 学到的连续码本向量 \(\mathbf{e}_{j,k}\) 直接映射到 LLM 词嵌入空间并初始化对应的语言模型输出头（LM head），在纯 IMU 词元序列上进行自回归下一词元交叉熵预训练。第二阶段为多任务对比指令微调：输入侧将 IMU 词元序列与当前可见穿戴位置写入提示模板；为了兼顾生成与检索，模型并行开启两个分支——指令生成分支通过自回归交叉熵 \(\mathcal{L}_{\mathrm{CE}}\) 联合训练自由动作描述生成（Captioning）与 35 选 1 动作多项选择题（MCQ）；对比表征分支则利用模态专属的轻量级注意力池化器（latent-attention poolers）提取归一化的动作嵌入 \(\mathbf{h}^{\mathrm{imu}}\)（融合了平均投影码本嵌入以保留细粒度运动语义）与文本嵌入 \(\mathbf{h}^{\mathrm{text}}\)。针对文本提示模板敏感问题，文本/标签侧前置了 8 个可学习软提示词元（soft prompt，参与注意力计算但在池化时掩码剔除），并同时施加动作叙述级对称对比损失 \(\mathcal{L}_{\mathrm{ITC}}\) 与基于 180 类精细动作词表（AnyMo-180）的有监督标签对比损失 \(\mathcal{L}_{\mathrm{label}}\)：

\[\mathcal{L}_{\mathrm{CIT}}=\lambda_{\mathrm{CE}}\mathcal{L}_{\mathrm{CE}}+\lambda_{\mathrm{ITC}}\mathcal{L}_{\mathrm{ITC}}+\lambda_{\mathrm{label}}\mathcal{L}_{\mathrm{label}}\]

这一设计使得同一个 0.5B 模型在推理时既能通过池化嵌入直接计算余弦相似度完成零样本动作分类与双向检索，又能通过 LM 头自回归生成细粒度动作自然语言描述。

损失函数 / 训练策略¶

训练全程仅使用 Nymeria 数据集（同步至 60 Hz，按受试者严格划分，预留 5 名涵盖全部 20 个场景的受试者用于 sim-to-real 评测，其余 808 段录制共约 16.4 万个时间窗用于训练），不使用任何下游评测数据集。语言监督方面，作者使用 GPT-OSS-120B 为每条原子动作叙述生成并校验 5 条语义一致的多样化改写，并通过 Qwen3-Embedding-8B 聚类、专家审核及 GPT-5.4 nano/mini + GPT-5.5 High 多轮裁决，构建了包含 180 个日常动作类别的标注库 AnyMo-180（并据此衍生出包含 15.4 万真实 IMU 窗口的跨受试者/跨设备基准 AnyMo Bench）。ST-GCN 预训练使用 AdamW（学习率 \(3\times 10^{-4}\)，温度 \(\tau=0.1\)，batch size 64，训练 10 轮）；IMU 词元语言预训练学习率为 \(10^{-4}\)，训练 3 轮；对比指令微调在 2 张 NVIDIA L40S GPU 上训练 1 轮（学习率 \(2\times 10^{-5}\)，对比温度 \(\tau_{\mathrm{ml}}=0.05\)，借助 GradCache 实现等效全局对比批次大小 128，损失权重 \(\lambda_{\mathrm{CE}}=1.0\)、对比损失权重为 2.0）。

实验关键数据¶

主实验¶

表 1 汇总了在 14 个完全未见过的下游真实穿戴数据集（涵盖 Opportunity、UCI-HAR、w-HAR、RealWorld、PAMAP2、WISDM、DSADS、UTD-MHAD 以及大规模日常第一视角数据集 Ego4D、EgoExo4D、MMEA 等，类别数从 4 类到 32 类不等）上的零样本人体动作识别（Zero-shot HAR）平均表现：

方法	类型 / 骨干规模	14 数据集平均 Acc (%)	14 数据集平均 Macro-F1 (%)	14 数据集平均 R@2 (%)
ImageBind	真实传感器-语言对比	13.4	8.8	23.7
IMU2CLIP	真实传感器-语言对比	18.0	13.0	30.6
IMUGPT	关节级合成 IMU 预训练	12.6	7.0	24.0
HARGPT	原始 IMU 数值提示 LLM	10.2	5.5	20.7
NormWear	多模态生理/惯性基础模型	8.0	2.2	16.6
\(\text{Gemma 4 26B}_{\text{Text}}\)	26B 大模型数值提示	18.5	11.0	33.9
\(\text{Gemma 4 26B}_{\text{Plot}}\)	26B 多模态大模型波形图提示	19.7	11.7	33.2
UniMTS (之前 SOTA)	关节级合成 + 统一运动预训练	31.9	26.4	46.9
AnyMo (本文)	几何感知仿真 + 0.5B 动作语言模型	35.7 (+11.7%)	29.5 (+11.6%)	57.5 (+22.6%)

表 2 与表 3 进一步评测了在 Nymeria 预留受试者真实 IMU 流（Sim-to-Real） 和 EgoExo4D 零样本跨数据集迁移（OOD Zero-shot） 下的双向跨模态检索与可穿戴动作描述生成（Captioning）表现：

方法	Nymeria 检索 I2T R@1 / MRR (100样本)	Nymeria 检索 T2I R@1 / MRR (100样本)	EgoExo4D 检索 I2T / T2I MRR (100样本)	Nymeria 描述生成 ROUGE-L / METEOR / BERT-F1	EgoExo4D 描述生成 ROUGE-L / METEOR / BERT-F1
ImageBind	0.0 / 5.0	1.0 / 6.7	4.6 / 5.1	–	–
IMU2CLIP	1.0 / 5.5	0.0 / 5.0	8.2 / 7.7	–	–
UniMTS	4.0 / 10.0	1.0 / 5.5	6.3 / 5.3	–	–
GPT-5.4 Mini	1.0 / 4.4	– (超上下文限制)	3.7 / –	15.7 / 25.0 / 57.3	15.5 / 23.8 / 56.5
Gemma 4 26B	2.0 / 6.1	– (超上下文限制)	4.6 / –	13.6 / 21.5 / 56.5	4.6 / 6.4 / 55.1
AnyMo (本文)	28.0 / 44.6	33.0 / 46.7	9.5 / 9.9	31.1 / 33.5 / 69.7	19.7 / 30.3 / 67.1

消融实验¶

表 4 与表 10 在全部 14 个下游零样本 HAR 数据集上对仿真机制、预训练目标、动作-语言对比分支及文本提示策略进行了系统消融（当移除上游模块时，下游词元化器与语言微调数据均随之重新训练与导出）：

配置	平均 Acc (%)	平均 Macro-F1 (%)	平均 R@2 (%)	说明
AnyMo (完整模型)	35.7	29.5	57.5	完整流水线 + 8-token 可学习软提示
w/o geometry-aware simulation	8.4	3.8	16.3	退化为传统 23 骨骼关节刚性绑定仿真，Acc 暴跌 27.3 个百分点
w/o masked cross-view pred. contrastive	10.5	4.5	19.0	替换为无掩码的双完整图视角直接对比，失去稀疏到全身恢复能力
w/o label contrastive (\(\mathcal{L}_{\mathrm{label}}\))	33.3	27.1	51.4	移除 AnyMo-180 动作标签级监督对比分支
w/o narration contrastive (\(\mathcal{L}_{\mathrm{ITC}}\))	32.6	23.8	50.1	移除自由动作叙述级对称对比分支
w/o all contrastive	23.5	15.8	40.3	仅保留自回归指令微调，证明生成训练本身不足以支撑判别式对齐
w/o MCQ instruction tuning	36.0	29.4	54.6	将多选题替换为叙述生成，Top-1 略升但 R@2 下降 2.9 个百分点
Fixed Prompt: Bare label	33.1	25.9	54.3	直接使用类别名作为文本输入，无软提示
Fixed Prompt: "wearable IMU motion of {label}"	28.3	22.5	47.0	手工编写的传感器中心模板反而引入嵌入偏移，表现显著劣化

关键发现¶

表面几何感知仿真与掩码跨视角预测是 Sim-to-Real 泛化的两大支柱：去掉几何感知表面仿真（退化为常规关节绑定合成 IMU）导致平均准确率从 35.7% 断崖式跌至 8.4%；去掉掩码跨视角预测对比（改为完整图对比）同样跌至 10.5%。UMAP 可视化进一步证实，缺少几何感知仿真时真实与合成 IMU 嵌入会按领域分裂，而缺少掩码预测则会破坏同类动作的聚类紧凑度。
0.5B 专用词元模型全面击败 26B 乃至商业级大模型直接提示：在零样本 HAR、跨模态检索和动作描述生成三项任务上，仅以 Qwen2.5-0.5B 为骨干的 AnyMo 均大幅超越 Gemma 4 26B（数值/波形图提示）和 GPT-5.4 Mini。而且在全样本检索（All Samples）和 T2I 检索中，直接喂原始 IMU 的大模型因上下文长度爆炸（即便降采样到 10 Hz 并开启 64K 窗口）完全无法运行，凸显了全身离散词元化的高效性与必要性。
同位置跨设备迁移仍是真实世界 HAR 的巨大挑战：在作者构建的 AnyMo Bench（利用 Nymeria 每个位置佩戴的两个同位异构真实 IMU 进行跨设备测试）上，监督基线 DeepConvLSTM 在 Fine150 上的 Acc@1 从跨受试者同设备的 35.3% 暴跌至跨设备的 1.9%，最强多模态基线 COMODO 也从 37.8% 跌至 24.0%，直观揭示了硬件响应与微小安装偏差对传统模型的破坏力。

亮点与洞察¶

把穿戴设备的配置差异从“无序域偏移”重构为“人体表面流形上的结构化物理变换”：以往工作常把不同位置、不同朝向的 IMU 差异当作黑盒域适应问题；AnyMo 则抓住了“所有穿戴设备都贴附在由骨骼运动驱动的三维网格表面”这一物理本质，利用蒙皮权重筛选顶点、法线与解剖切向建系、刚体二阶导数与真实静止噪声先验，低成本构造出覆盖全身 2,374 个安装位点的逼真合成分布。
跨视角“稀疏测全局”预训练完美匹配真实穿戴场景的局部观测本质：训练时拥有密集的全身合成信号，推理时只有 1~5 个局部传感器；通过让视角 A 的掩码局部图去预测视角 B（不同表面位置+不同安装旋转）的完整全身图序列，模型在一个损失函数里同时解决了“局部补全身”与“抹平安装差异”两个核心难题。
与传感器数量解耦的全身 PQ-VAE 词元化范式可迁移至多传感器时序生理/具身信号：无论输入是单手腕手表、头部眼镜还是全身 5 个节点的组合，先通过图掩码编码到统一的全身时间隐空间再做乘积量化，使得进入 LLM 的词元长度只与时间窗口相关而与活跃传感器数量无关，这一架构思路非常适合迁移到多导联脑电（EEG）、肌电（EMG）或异构机器人本体感知信号与大模型的对接中。

局限与展望¶

强依赖于高质量人体网格与运动学拓扑先验：物理驱动仿真与 23 节点图编码器均建立在传感器可被映射到人体骨骼部位（如手腕、头部、躯干、脚踝）的前提下；对于非贴身固定穿戴场景（例如放在手提包内剧烈晃动的手机、随衣物大幅摆动的挂饰）或超出常规刚体附着假设的复杂弹性形变，现有刚体偏移假设 \(\mathbf{r}_{i,v}\) 可能会失效。
重度依赖视觉/环境上下文的细粒度动作仍存在固有模糊性：在 Ego4D（31 类，Acc 8.6%）与 MMEA（32 类，Acc 8.1%）等极高类别数、包含大量精细手部操作或高度依赖交互物体语义（如区分“修理自行车”与“修理踏板车”、“看书”与“看电视”）的数据集上，仅靠惯性运动学信号难以彻底消解语义歧义。
未来可探索融合第一视角稀疏视觉/音频线索及在线自标定机制：一方面可将 AnyMo 的全身 IMU 词元与智能眼镜的低帧率视觉或麦克风音频词元在 LLM 空间联合对齐，解决纯运动信号无法区分交互物体的瓶颈；另一方面可在推理端引入无需显式指定佩戴部位名称（Sensor Context）的盲位置自动路由或在线姿态自标定模块。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 将人体表面三维网格几何与刚体物理引入密集 IMU 仿真，并结合掩码跨视角预测对比与全身 PQ-VAE 词元化打通 0.5B 动作语言模型，问题切入精准且整套架构环环相扣。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 14 个未见下游 HAR 数据集、Nymeria Sim-to-Real 与 EgoExo4D 零样本检索/描述生成、完整重训的上下游一致性消融，以及 180 类精细词表与 AnyMo Bench 跨设备基准，验证极其扎实。
写作质量: ⭐⭐⭐⭐⭐ 痛点剖析透彻，物理建系与训练目标的数学形式化清晰严谨，图表与附录实现细节完备，复现友好度极高。
价值: ⭐⭐⭐⭐⭐ 为开放环境下任意穿戴配置的人体动作理解提供了强大的通用基座模型、高质量精细标注词表（AnyMo-180）与跨设备评测基准（AnyMo Bench），对普适计算与具身感知社区具有重要参考价值。