MoAKE: Toward Unified All-in-One Action Quality Assessment via Mixture of Action Knowledge Experts¶
会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/XuHuangbiao/MoAKE
领域: 人体理解
关键词: 动作质量评估、All-in-One 统一模型、混合专家系统、零样本/少样本泛化、多粒度时序建模
一句话总结¶
针对传统动作质量评估（AQA）高度依赖单一动作先验且独立建模的局限，MoAKE 提出了首个全能（All-in-One）AQA 框架，通过共享语义适配器、分段感知原型聚合、自适应段内/段间多粒度关系建模与无标签视觉软路由，成功阻断跨动作负迁移并激活互补先验，在三项长周期评测中平均 SRCC 达 0.753，且在零/少样本迁移上显著领先现有方法。
研究背景与动机¶
动作质量评估（Action Quality Assessment, AQA）致力于从动作视频中客观量化运动表现，在体育竞技评分、术后康复评估与动作技能评定等现实场景中具有重要的学术价值和应用前景。然而，现有的绝大多数主流方法均固守“逐个建模（One-by-One）”的割裂范式，即针对艺术体操、花样滑冰或跳水等每种特定动作类型单独设计并训练独立的评估网络。这种范式严重阻碍了实际落地部署：开放领域视频平台中的用户上传内容往往缺乏明确的动作类型元数据标签；内容无关的端到端评估系统无法人工介入分流；对于小样本或罕见动作类型，单独训练高容量模型的算力与数据标注成本极为高昂。
直接将多个动作类型的数据简单合并进行全能统一训练（All-in-One），面临着严重的“负迁移（Negative Transfer）”瓶颈。不同动作类型的运动轨迹、语义先验、执行节奏以及评分标准存在巨大的异质性差异，在单一参数流下朴素训练会导致跨任务特征互相干扰，导致主流基线模型在统一训练下的秩相关系数（SRCC）出现平均高达 10.17% 的剧烈滑坡。现有模型既缺乏动态解耦并识别输入动作评估模式的能力，也无法利用不同领域运动中潜在的互补性信息。
本文的核心切入点在于：异质动作之间的差异不应被视作不可逾越的干扰噪声，而应通过机制化解耦，转化为相互促进的正向迁移先验。核心 idea：设计一种宏观动作层面的轻量化混合专家架构（MoAKE），通过共享适配器与分段原型标准化时序异构性，利用自适应段内与段间多粒度关系解耦长短程动态，并由输入驱动的软路由机制在无标签推断下动态激活与融合互补专家知识。
方法详解¶
整体框架¶
MoAKE 接收异构且长度不一的动作视频特征序列，旨在单套模型权重下完成跨动作的高精度评分。整体流程包含四个串行演进的阶段：首先，预训练视觉编码器抽取的特征经过降维与自注意力增强后，通过跨专家完全共享的双层 MLP 适配器投射至统一动作语义空间；随后，每个动作知识专家利用其专有的分段感知原型（SATA），通过交叉注意力将变长时序特征压缩为固定长度的分段表征；接着，自适应段内与段间关系建模模块（AIISRM）以三路并行分支分别捕获特征维度的段内全局动态、多尺度段间局部关联与长程段间一致性；最后，轻量级软路由依据输入视频的全局特征自适应生成专家权重，对多专家特征加权求和后送入等级感知解码器，计算离散质量等级的期望输出最终评分。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入视频特征序列<br/>X ∈ R^(T × D)，T 因动作而异"] --> SATA["共享适配与分段感知时序聚合<br/>共享适配器对齐语义 + 专家原型统一为 N 长度"]
SATA --> AIISRM["自适应段内与段间关系建模<br/>三路并行捕获段内全局、段间局部与长程节奏"]
In -.->|轻量视觉软路由 R| Router["视觉引导软路由与动态专家融合<br/>无标签生成专家权重并融合多专家表征"]
AIISRM --> Router
Router --> Decoder["等级感知解码与多样性约束<br/>M 个可学习查询计算离散等级分布并取期望"]
Decoder --> Out["输出预测评分 ŷ"]关键设计¶
1. 共享适配与分段感知时序聚合：统一跨动作语义空间并消除时长异构性 异质动作视频在物理时长与时间跨度上差异极大（例如艺术体操通常包含 68 帧片段，花样滑冰包含 124 帧片段，而短周期跳水仅有 10 帧片段），直接混合输入会导致时序维度的结构错配与语义割裂。为构建通用的底层表征，MoAKE 首先引入两层 MLP 构成的跨专家共享适配器（Shared Adapter），将降维后的片段特征 \(X \in \mathbb{R}^{T \times d}\) 映射至统一的动作语义空间 \(X' \in \mathbb{R}^{T \times d}\)，迫使各个专家在一致的语义语境下交互。随后，为每个专家 \(E_k\) 配置专属的 \(N\) 个可学习分段感知原型 \(P_k \in \mathbb{R}^{N \times d}\)（实验中设定 \(N=64\)）。借鉴 Q-Former 结构，将专家原型作为查询 \(Q = W_{seg}^Q P_k\)，以共享适配特征作为键和值 \(K = W_{seg}^K X', V = W_{seg}^V X'\) 执行交叉注意力： $$ F_{seg}^k = \text{Softmax}\left(\frac{W_{seg}^Q P_k (W_{seg}^K X')^T}{\sqrt{d}}\right) W_{seg}^V X' \in \mathbb{R}^{N \times d} $$ 该设计将任意变长输入 \(T\) 标准化为固定的 \(N\) 个时序词元，既吸收了不同专家的动作特定时序先验，又为后续层级的跨样本批量训练与结构统一扫清了障碍。
2. 自适应段内与段间关系建模：解耦多粒度特征动态与长程动作连贯性 单纯的原型聚合虽然实现了长度归一化，但难以细致解析动作评估所需的多粒度时序动态——微观瞬间的姿态变动与宏观整体的动作节奏对最终评分起着完全不同的裁决作用。为此，每个专家内部均部署了自适应段内与段间关系建模模块（AIISRM），通过三路互补分支并行处理 \(F_{seg}^k\)： - 段内全局关联分支：首先将输入矩阵转置为 \((F_{seg}^k)^T \in \mathbb{R}^{d \times N}\)，在特征维度上施加自注意力计算。该分支立足于特定运动属性（如速度、关节朝向与躯干平衡）在整个时序序列中的演变轨迹，精准捕捉局部执行的细粒度瑕疵； - 段间局部关联分支：动作往往由多个连续子动作构成，局部时序依赖关系紧密。该分支采用卷积核尺寸分别为 1、3、5 的三条并行一维卷积抽取多尺度局部特征，并通过一个轻量级双层卷积块动态预测上下文自适应权重进行加权融合： $$ F_{local}^k = \sum_{i \in {1, 3, 5}} w_i \cdot \text{Conv1D}i(F^k) $$ - 段间全局关联分支：在分段序列维度上执行标准自注意力，跨越长时程连接远端动作片段，用于评估整套动作的一致性、韵律感和整体协调度。 三路分支输出经逐元素相加后与原始输入 \(F_{seg}^k\) 进行残差连接，得到精炼的专家特征 \(F_k = F_{seg}^k + F_{intra}^k + F_{local}^k + F_{inter}^k\)，兼顾了短程瞬态细节与全局表现流。
3. 视觉引导软路由与动态专家融合：阻断负迁移并自适应激活互补动作先验 标准 MoE 通常采用硬离散路由或基于词元级的稀疏分配，这在动作评估中极易导致专家的机械隔离，无法跨类别吸取共通的运动美学规律。MoAKE 采用宏观动作级别的轻量级软路由网络 \(R(\cdot)\)。在推理阶段，软路由完全依赖输入视频特征 \(X\) 动态生成归一化的专家激活权重 \(\{w_k\}_{k=1}^K\)（\(\sum_k w_k = 1\)），并将多专家表征加权融合为自适应动作表征 \(F_{mix} = \sum_{k=1}^K w_k F_k\)。无需任何动作类别标签的先验输入，模型即可自主依据输入视频的运动属性，动态组合不同专家的评估眼光（例如结合体操的动作幅度感知与滑冰的平滑度感知），使模型在保持紧凑计算开销（仅 8.01M 参数）的同时，实现了由负迁移到正迁移的质变。
4. 等级感知解码与多样性约束：精细化解析微观执行差异与分数映射 传统线性回归头对评分细微差距的区分度较弱，MoAKE 采用基于 Transformer 解码器的等级感知解码器。设置 \(M=4\) 个可学习等级查询与 \(F_{mix}\) 交互，解耦出 \(M\) 个分别对应不同离散质量档位（如优秀、良好、及格、较差）的表征向量 \(\{r_m\}_{m=1}^M\)。每个表征通过 MLP 输出预定义等级刻度 \(G_m = \frac{m-1}{M-1}\) 上的概率分布，最终连续评分由各等级刻度的数学期望 \(\hat{y}\) 给出。通过等级多样性三元组边缘损失，强制不同等级表征相互正交分散，确保对高分与低分动作之间的微妙瑕疵具有极高的辨别敏锐度。
损失函数 / 训练策略¶
MoAKE 在训练阶段采用多目标联合优化端到端训练： $$ \mathcal{L}{total} = \lambda_1 \mathcal{L}} + \lambda_2 \mathcal{L{route} + \lambda_3 \mathcal{L} $$ 超参数设置设定为 \(\lambda_1 = 6, \lambda_2 = 1, \lambda_3 = 1\)。 - 评分回归损失 \(\mathcal{L}_{score}\)：采用均方误差（MSE），同时监督融合后的最终预测评分 \(\hat{y}\) 与对应动作专家的辅助预测评分 \(\hat{y}_k\)：\(\mathcal{L}_{score} = \text{MSE}(\hat{y}, y) + \text{MSE}(\hat{y}_k, y)\)，辅助监督能促使特定专家在其对应动作领域形成高度专业化的知识表征； - 软路由引导损失 \(\mathcal{L}_{route}\)：为避免硬标签导致的专家割裂，引入标签平滑（\(\epsilon = 0.3\)）的交叉熵损失监督软路由权重： $$ \mathcal{L}{route} = -\sum\right) \log(w_k) $$ 其中 }^K \left(c_k (1 - \epsilon) + \frac{\epsilon}{K\(c_k\) 为真实动作类别 one-hot 编码。平滑先验软化了专家决策边界，促使软路由在保留主导专家的同时，自主探索跨动作的共通评估准则； - 等级多样性损失 \(\mathcal{L}_{div}\)：在各个等级表征 \(r_m\) 之间施加三元组间隔损失，拉开不同等级表征间的余弦相似度： $$ \mathcal{L}{div} = \sum(r_m, r_j) + \alpha\right]_+ $$ 训练采用 Adam 优化器，初始学习率 } \left[\max_{j \neq m} \text{cos}(r_m, r_j) - \min_{j \neq m} \text{cos\(3.4 \times 10^{-4}\)，并经余弦退火衰减至 \(3.4 \times 10^{-6}\)；同时采用以 0.6 概率将 10% 片段替换为其他动作类型的混合数据增强，保证泛化稳健性。
实验关键数据¶
主实验¶
论文建立了首个涵盖长周期（All-in-One 统一训练评测）与短周期（零样本/少样本泛化）的完整评测基准。主要对比涵盖了视觉单模态（GDLT、HGCN、T²CR、PAMFN、CoFInAl、ASGTN、MCMoE）、多模态（QGVL、MLAVL）以及强条件基线（Cond-Base）。
表 1：三项长周期动作数据集上的 All-in-One 统一评测对比（指标为 SRCC \(\rho \uparrow\) 与 R-\(\ell_2 \downarrow\)；粗体为最优）
| 训练范式 | 方法 | 艺术体操 (RG) SRCC / R-\(\ell_2\) | 花样滑冰 (Fis-V) SRCC / R-\(\ell_2\) | 花样游泳 (LOGO) SRCC / R-\(\ell_2\) | 三项平均 SRCC / R-\(\ell_2\) |
|---|---|---|---|---|---|
| One-by-One | GDLT (CVPR'22) | 0.765 / 2.401 | 0.685 / 3.717 | 0.647 / 4.148 | 0.703 / 3.422 |
| One-by-One | CoFInAl (IJCAI'24) | 0.807 / 4.028 | 0.716 / 2.875 | 0.698 / 4.019 | 0.744 / 3.641 |
| One-by-One | ASGTN (TCSVT'25) | 0.799 / 3.027 | 0.703 / 3.039 | 0.704 / 5.695 | 0.739 / 3.920 |
| All-in-One | GDLT (CVPR'22) | 0.702 / 2.716 | 0.377 / 4.681 | 0.447 / 5.499 | 0.525 / 4.299 |
| All-in-One | CoFInAl (IJCAI'24) | 0.741 / 2.834 | 0.496 / 3.032 | 0.603 / 6.580 | 0.624 / 4.149 |
| All-in-One | ASGTN (TCSVT'25) | 0.767 / 3.558 | 0.602 / 3.790 | 0.545 / 4.809 | 0.649 / 4.052 |
| All-in-One | Cond-Base (强基线) | 0.748 / 2.891 | 0.621 / 3.900 | 0.769 / 4.924 | 0.718 / 3.905 |
| All-in-One | MCMoE (AAAI'26) | 0.771 / 3.426 | 0.625 / 3.608 | 0.763 / 4.816 | 0.726 / 3.950 |
| All-in-One | MLAVL (CVPR'25) | 0.755 / 2.655 | 0.632 / 2.919 | 0.765 / 5.043 | 0.722 / 3.539 |
| All-in-One | MoAKE (本文) | 0.801 / 1.822 | 0.647 / 2.771 | 0.790 / 2.708 | 0.753 / 2.434 |
表 2：未见短周期动作数据集上的零样本与少样本泛化性能对比
| 评估设定 | 方法 | 跳水 (MTL-AQA) SRCC / R-\(\ell_2\) | 滑雪 (AQA-7) SRCC / R-\(\ell_2\) | 手术 (JIGSAWS) SRCC / R-\(\ell_2\) |
|---|---|---|---|---|
| Zero-Shot | GDLT | 0.088 / 4.564 | -0.024 / 23.615 | 0.133 / 15.917 |
| Zero-Shot | ASGTN | 0.198 / 8.793 | 0.143 / 37.896 | -0.055 / 28.787 |
| Zero-Shot | MLAVL | 0.211 / 5.017 | 0.148 / 18.249 | 0.122 / 16.053 |
| Zero-Shot | MoAKE (本文) | 0.319 / 3.928 | 0.210 / 12.640 | 0.219 / 12.367 |
| Few-Shot | GDLT | 0.605 / 2.319 | 0.463 / 10.426 | 0.602 / 12.568 |
| Few-Shot | ASGTN | 0.577 / 2.199 | 0.443 / 10.094 | 0.576 / 12.082 |
| Few-Shot | MLAVL | 0.618 / 2.244 | 0.458 / 11.247 | 0.620 / 13.047 |
| Few-Shot | MoAKE (本文) | 0.664 / 2.058 | 0.513 / 9.138 | 0.651 / 11.168 |
消融实验¶
表 3 展现了各核心模块逐步加入与关键组件剥离对三项长周期数据集平均指标的影响。
表 3：MoAKE 关键模块消融实验
| 实验配置 | 平均 SRCC \(\uparrow\) | 相对变化 | 平均 R-\(\ell_2 \downarrow\) | 相对变化 | 说明 |
|---|---|---|---|---|---|
| Simple Baseline (单分支基线) | 0.506 | - | 5.245 | - | 仅投影+时间注意力+独立回归头 |
| + SATA (单分支) | 0.607 | +20.0% | 4.057 | -22.7% | 引入分段感知原型对齐时序 |
| + SATA & AIISRM (单分支) | 0.655 | +7.9% | 3.439 | -15.2% | 引入多粒度段内段间关系建模 |
| + MoAKE w/ 专有 Adapter | 0.742 | +13.3% | 2.628 | -23.6% | 升级为混合专家结构（各用独立适配） |
| 完整模型 (MoAKE w/ 共享 Adapter) | 0.753 | - | 2.434 | - | 共享语义空间，效果最优 |
| 完整模型 去掉 AIISRM | 0.720 | -4.4% | 2.905 | +19.3% | 缺乏段内段间细粒度建模 |
| 完整模型 去掉 SATA & AIISRM | 0.683 | -9.3% | 3.109 | +27.7% | 原型聚合与多粒度建模全面缺失 |
| 完整模型 去掉 共享 Adapter | 0.737 | -2.1% | 2.648 | +8.8% | 缺乏跨专家统一底层语义空间 |
| 完整模型 去掉 软路由器 (Soft Router) | 0.529 | -29.7% | 6.081 | +149.8% | 无法自适应融合，造成特征空间剧烈混乱 |
| 完整模型 去掉 路由损失 \(\mathcal{L}_{route}\) | 0.730 | -3.1% | 2.952 | +21.3% | 无类别平滑先验引导，但仍优于 baseline |
| 完整模型 去掉 多样性损失 \(\mathcal{L}_{div}\) | 0.718 | -4.6% | 2.888 | +18.6% | 质量等级解耦能力受损 |
| 完整模型 去掉 \(\mathcal{L}_{route}\) & \(\mathcal{L}_{div}\) | 0.706 | -6.2% | 3.131 | +28.6% | 两项辅助正则项完全缺失 |
关键发现¶
- 软路由机制是解决负迁移的决定性支柱：在消融实验中，若剔除软路由器而采用朴素融合，平均 SRCC 发生断崖式下跌 29.7%（由 0.753 降至 0.529），R-\(\ell_2\) 误差剧增 149.8%（由 2.434 恶化至 6.081）。这定量印证了在异质动作评估中，不同动作先验的冲突是导致性能溃败的根源，自适应权重分配是维持正向迁移的绝对前提。
- 全能训练实现超预期的正向迁移收益：根据论文表 3 统计，MoAKE 从 One-by-One 单独训练切换至 All-in-One 统一训练后，在 RG、Fis-V、LOGO 上的 SRCC 分别提升了 +3.0%、+1.1% 与 +9.1%，R-\(\ell_2\) 误差分别降低了 57.4%、5.7% 与 30.7%，平均 SRCC 提高 4.7%，平均误差锐减 34.4%。相较于多数传统模型在多任务训练下的普遍负增长，MoAKE 实现了从异构动作中提取共通运动规律的正向反馈。
- 计算效率与容量的高效平衡：参数量与计算开销对比（表 5）显示，MoAKE 仅含 8.01M 参数和 1.44G FLOPs，相较于多模态方法 PAMFN（18.06M / 2.562G）参数减少 55.6%，且显著优于仅在输出头分支的条件基线 Cond-Base（0.753 vs 0.718）。表明宏观专家系统配合共享主干在资源受限端侧具有高度实用性。
亮点与洞察¶
- 从动作宏观层级重构 MoE，避免参数膨胀与离散截断：传统大语言模型的 MoE 侧重于前馈网络的词元级（token-level）稀疏路由，参数量呈倍数膨胀。MoAKE 创新性地在宏观动作层构建小规模专业专家（\(K=3\)），结合平滑软路由在特征层实现渐进式融合，既保全了全参数轻量化（8.01M），又天然切合动作评估对跨域连贯性的要求。
- 特征转置自注意力优雅实现“属性演化”建模：AIISRM 中的段内全局分支通过将时序特征转置为 \((F_{seg}^k)^T \in \mathbb{R}^{d \times N}\)，将原本计算“时序步之间的相关性”巧妙转化为“运动语义通道在跨时域上的协同演化”，为视频动作细节建模提供了极富洞察力的运算视角。
- 可迁移的无标签自适应评估范式：软路由在推理阶段仅利用无标签视觉特征自主决策，摆脱了传统工业界需预置“动作分类器 + 评估器”的两阶段级联负担，可直接无缝迁移到开放域无约束视频质检、人机康复交互等泛化场景。
局限与展望¶
- 零样本场景下的相关性绝对值仍有提升空间：尽管 MoAKE 在短周期零样本评估上的 SRCC（如跳水 0.319）大幅超越同类方法（普遍低于 0.2），但在缺少目标域先验监督时，面对手术操作等与体育运动跨度极大的领域，无监督迁移的可靠性依然面临现实考验。
- 专家数量与动作类别的耦合度偏高：当前实验固定专家数量 \(K=3\) 对应三大长周期运动。当评估体系扩展至几十种甚至上百种日常动作时，专家库的动态拓展、路由负载均衡与专家复用机制尚未深入探索。
- 缺乏多模态先验的联合增强：论文完全基于纯视觉特征，未整合音频节奏（如花滑与艺术体操的配乐卡点）或动作文本规则手册（Code of Points），未来结合多模态大语言模型（MLLM）进行显式规则对齐将是进一步突破的关键路径。
相关工作与启发¶
- vs 传统单动作 AQA 模型（如 GDLT、CoFInAl、ASGTN）：传统方法专精于单一动作类型的微观结构设计，在单任务上表现优异，但在面对异构多任务联合训练时，因缺乏特征级解耦机制，平均 SRCC 会遭受严重的负迁移劣化（如 RG 上下降 10.17%）。MoAKE 通过轻量 MoE 结构将异构动作的冲突转化为互补表征，使统一模型的表现全面反超其对应的 One-by-One 单独训练模型（SRCC 0.753 vs 0.719）。
- vs 多模态缺失专家网络（MCMoE）：MCMoE 探索的是模态缺失维度的 MoE 补充，其专家建立在模态层级；而 MoAKE 首次将混合专家思想引入跨动作领域的统一泛化，建立在宏观动作知识空间，并定制了专门适配变长动作的分段原型与段内段间多粒度时序算子。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性探索并确立了 All-in-One 统一动作质量评估范式，软路由与动作知识专家设计高度贴合时序评估需求。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 个主流基准数据集，严格设计了统一多任务评测、零样本与少样本泛化基准，消融与可视化详尽深入。
- 写作质量: ⭐⭐⭐⭐⭐ 动机清晰，问题定义直击当前 AQA 落地痛点，方法逻辑推导严谨，图表表达信息丰富。
- 价值: ⭐⭐⭐⭐⭐ 为推动 AQA 走向开放领域统一泛化模型提供了里程碑式的基线架构与基准平台。