S-VAM: Shortcut Video-Action Model by Self-Distilling Geometric and Semantic Foresight¶

会议: ECCV2026
论文: ECCV 原文
项目: S-VAM
作者: Haodong Yan, Zhide Zhong, Jiaguan Zhu, Junjie He, Weilin Yuan, Wenxuan Song, Xin Gong, Yingjie Cai, Guanyi Zhao, Xu Yan, Bingbing Liu, Ying-Cong Chen, Haoang Li
单位: The Hong Kong University of Science and Technology (Guangzhou); Huawei Foundation Model Department
领域: 机器人/具身智能
关键词: 视频动作模型、自蒸馏、几何前瞻、语义前瞻、扩散策略

身份核验：官方清单标题与缓存首页标题完全一致；Haodong Yan 与 Zhide Zhong 为共同第一作者，Haoang Li 为通信作者。本文目标是从单目观测和语言指令预测机器人动作，视频生成是策略学习的先验来源，因此归入机器人/具身智能，而非图像生成。

一句话总结¶

S-VAM 用同一视频扩散轨迹生成的未来视频作为教师来源，将几何与语义前瞻蒸馏到单步视频特征，在保留原始特征的同时训练动作专家，使 CALVIN 平均完成任务数达到 4.16，MetaWorld 平均成功率达到 72.8%。

研究背景与动机¶

视觉语言动作模型通常把当前图像和语言映射为动作，但预训练视觉语言模型主要从静态图文学习，不直接提供物体接下来会怎样运动的表征。视频动作模型则借助视频扩散模型的动态先验：先形成未来视觉计划，再让动作专家把计划转换为控制信号。问题是，完整生成未来视频需要反复去噪，机器人等到视频生成结束再行动，可能已经错过合适的反馈时机。

VPP 采用更快的路径，只取视频模型第一次去噪的中间特征，不等待可观看的视频。这些特征确实包含未来布局线索，但噪声、物体身份和几何信息仍混杂在一起，动作专家必须同时解决表征整理与控制学习。单目条件下，透明物体的深度歧义和长序列中的目标身份漂移尤其容易把动作带偏。 S-VAM 因而不是重新追求更清晰的视频，而是寻找一种动作专家更容易使用、又不要求在线多步视频生成的未来表示。

作者让模型自己的完整生成轨迹提供监督，以免单步特征隐含的未来与真实演示走向不同，却被强迫对齐。 核心 idea：把同一生成轨迹中的几何和语义知识压缩到两个轻量解耦器中，使单步视频特征直接变成可用于控制的未来表征。

方法详解¶

整体框架¶

输入是当前单目 RGB 观测与任务语言，输出是机器人动作序列。 SVD 提供单步多层特征，训练期从它自己的多步生成视频提取教师目标；几何和语义解耦器结合当前观测的参考表征预测未来，再由 Uni-Perceiver 与扩散动作策略完成控制。部署时不运行用于教师监督的多步视频生成路径，但仍要构造当前观测的参考表征；不能把这一点误写为所有视觉基础模型计算都被移除。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    IN["单目观测与指令"] --> FEAT["单步多层特征"]
    FEAT --> TEACH["同轨迹自蒸馏<br/>仅训练时构造教师"]
    TEACH -.->|几何与语义目标| DEC["参考锚定双解耦"]
    FEAT -->|单步特征| DEC
    IN -->|当前参考表征| DEC
    DEC --> ACT["联合压缩与动作预测"]
    FEAT -->|保留原始特征| ACT
    ACT --> OUT["机器人动作块"]

关键设计¶

1. 单步多层特征：保留未来布局而不等待视频成形

视频骨干采用 Stable Video Diffusion（SVD）。它在潜空间中以当前图像和语言为条件去噪，S-VAM 只执行第一个去噪前向过程，读取上采样模块的多层中间特征。各层空间分辨率不同，先通过线性插值对齐到共同网格，再沿通道拼接，得到覆盖多个未来时刻的特征体。这里的“单步”描述视频扩散模型的特征提取预算，不是说机器人只预测一个动作，也不是说动作扩散策略不再需要去噪。

多层拼接使动作分支能够同时利用不同尺度的线索，但并未自动消除噪声和表征纠缠。论文把它当作有信息但难直接使用的原料，后续解耦器负责将其转换为稳定的几何与语义空间；原料本身也会继续传给动作专家，避免专门化变换丢失控制线索。

2. 同轨迹自蒸馏：教师监督来自模型自己生成的未来

训练时，冻结的视频模型沿产生单步特征的同一扩散轨迹继续多步去噪，得到预测视频。冻结的视觉基础模型从这些预测帧提取教师表征，并对齐到目标空间网格：几何分支采用原文称作 DPAv3 的模型，语义分支采用 DINOv2。原文参考文献 [25] 指向 Depth Anything 3；本文沿用论文的 DPAv3 写法，不将它误认作另一个已核验的模型名称。

教师目标不是示范轨迹中的真实未来帧。例如，同一个抓取任务可以有不同的靠近路线：单步视频特征已经暗含其中一种未来，若监督信号来自另一条真实路线，即使真实图像质量更高，训练对齐仍可能不一致。因此，自蒸馏追求的是同一预测过程内部的一致性，而不是宣称生成视频比真实视频更准确。两个分支在各自视觉基础模型的表征空间中独立学习匹配教师；多步生成和未来帧教师编码只承担训练监督。

3. 参考锚定双解耦：用当前状态固定未来表征的起点

两个解耦器都采用时空 Transformer，但输出通道分别对应几何教师与语义教师。输入不只有嘈杂的单步特征：还从当前观测提取各分支的参考表征，沿时间复制后与未来特征拼接。这个锚点告诉解耦器物体目前是什么、在哪里，使它不必只凭高噪声潜特征重新建立整个场景。对应原文式 (5)，其关键输入操作为：

\[ \tilde{F}_i^0=\operatorname{Concat}\left(F,\operatorname{Repeat}\left(Y_i^{\mathrm{ref}}\right)\right),\qquad i\in\{\mathrm{geo},\mathrm{sem}\}. \]

其中，\(F\) 是对齐后的单步多层特征，\(Y_i^{\mathrm{ref}}\) 是当前观测的分支参考表征；Repeat 沿时间复制，Concat 沿通道拼接。随后先用线性层压到紧凑隐空间，再经过 \(K\) 个先空间、后时间的因子化 Transformer 块，最后投影回相应教师的通道维度。空间建模整理同一帧的物体和布局，时间建模连接未来帧，避免各时刻的物体身份和位置各自漂移。

几何分支提供动态结构线索，语义分支提供 patch 级对象可区分性，二者不是两份相同特征的重复编码。这里预测的是视觉基础模型表征，并不直接输出点云或深度图；论文中的深度可视化来自额外训练的 DPT 探针头，不是动作策略必须执行的环节。

4. 联合压缩与动作预测：专门化前瞻不能替代全部原始上下文

动作专家沿通道拼接几何前瞻、语义前瞻和原始单步特征。由于直接使用整个高维时空特征体开销较大，Uni-Perceiver 用一组 \(N\) 个可学习查询进行交叉注意力，将其汇聚成紧凑 token，再经自注意力和前馈网络整合 token 内部关系。它与简单地把所有特征交给策略不同：压缩过程本身学习哪些未来位置与对象最值得用于动作决策。

压缩后的 token 与任务文本嵌入通过交叉注意力进入 Diffusion Transformer 动作策略。训练时对示范动作序列加噪，并学习预测所加噪声；推理时从动作噪声恢复可执行序列。原始特征旁路至关重要，因为几何和语义教师并不保证保留所有全局上下文，动作专家需要在结构化信息与残余线索之间共同取用。

一个完整示例¶

以论文图 4 的“拾起螺母并放到销钉上”为例，单目图像先经过视频模型的一次去噪前向，形成螺母、夹爪和目标区域的未来特征。训练阶段，同轨迹生成的视频提供几何及语义教师；部署阶段不再生成这段教师视频，而是让解耦器从当前参考表征和单步特征预测未来。几何前瞻帮助动作专家判断靠近与放置的空间关系，语义前瞻帮助它持续关注螺母而非附近背景，Uni-Perceiver 再把这些线索压成策略条件。这是对图示机制的解释，不是额外构造的成功率实验，也不表示模型在线执行显式碰撞检测。

损失函数 / 训练策略¶

训练分为三个阶段，而非所有模块端到端共同优化。首先从 VPP 的具身场景预训练权重初始化 SVD：MetaWorld 微调 100k 步，真实任务 40k 步，使用 4 张 NVIDIA H100；CALVIN 直接采用 VPP 已微调的模型。其次冻结视频模型，训练两个解耦器进行表征蒸馏；各基准训练 50k 步，使用 1 张 H100。最后冻结 SVD 与解耦器，只训练动作专家；CALVIN 训练 60k 步，其余基准 40k 步，使用 4 张 H100。

几何与语义目标分别约束预测表征接近教师，动作目标约束噪声预测。缓存中式 (7) 与式 (9) 的范数、上下标提取不完整，因此不据残缺文本补写精确损失范数或权重；上面的输入拼接公式仅整理式 (5) 中由正文明确解释的操作。

实验关键数据¶

主实验¶

CALVIN 采用 ABC→D：在 ABC 环境训练，在未见过的 D 环境测试连续任务。 Avg. Len. 表示最多 5 个连续任务中平均完成的任务数，单位为“任务”，不是成功率；阶段成功率衡量连续完成到对应阶段的比例。 MetaWorld 使用 50 个任务，每任务 50 条示范，分为 28 个简单、11 个中等、11 个困难任务；两套仿真实验均采用第三人称主单目 RGB 视角。下表选取原文表 1、表 2 的代表结果；MetaWorld 原表的小数比例已统一换算为百分比。

方法	CALVIN Avg. Len.（任务，表 1）	CALVIN 第 5 阶段（%，表 1）	MetaWorld 平均（%，表 2）	MetaWorld 困难（%，表 2）
Spatial Forcing	3.94	64.6	60.9	45.1
HiF-VLA	4.08	69.4	57.7	40.4
VPP	3.58	51.8	68.2	52.6
S-VAM	4.16	68.9	72.8	68.4

相对 VPP，S-VAM 在 CALVIN 增加 0.58 个平均完成任务，在 MetaWorld 平均和困难任务成功率上分别增加 4.6、15.8 个百分点。但它不是每列都最好：CALVIN 第 5 阶段低于 HiF-VLA，MetaWorld 简单任务为 79.3%，也低于 VPP 的 81.8%。

消融实验¶

以下为原文表 3 的 CALVIN 消融；下降量由相同完整模型的 4.16 相减，单位均为任务。

配置	Avg. Len.（任务）	相对完整模型下降（任务）	实际改动
完整 S-VAM	4.16	0.00	双分支、同轨迹教师、联合压缩、原始特征
去掉几何蒸馏	4.01	0.15	缺少几何分支监督
去掉语义蒸馏	3.99	0.17	缺少语义分支监督
去掉自蒸馏	3.82	0.34	改用真实未来帧的视觉基础模型表征监督
去掉 Uni-Perceiver	3.72	0.44	移除联合 token 压缩模块
去掉原始扩散特征	3.93	0.23	只用蒸馏后的前瞻条件

表 4 的教师分析进一步显示：DINOv2 单独作为教师得到 4.01，DPAv3 单独为 3.99，二者组合为 4.16。将几何教师换为 VGGT 后，DINOv2 + VGGT 为 4.04；将语义教师换为 SigLIP 后，SigLIP + DPAv3 为 4.06。这些是本文设置下的比较，不能外推为所有任务上某类视觉基础模型都更优。

关键发现¶

真实实验使用 AgileX Robotics 的 Cobot 双臂平台，采用 Mobile ALOHA 系统设计，每臂 7 自由度及平行夹爪，只输入前视单目 RGB。统一多任务模型每项任务使用约 50 条人工示范，每项评测 25 次；以下成功率来自原文图 5(b)，不是表 5。

真实任务	VPP 成功率（%）	S-VAM 成功率（%）	提升（百分点）
Place-to-Pot	40	56	16
Place-to-Pot (Hard)，透明物体	16	32	16
Pour-Water	20	44	24
Lift-Pot	12	24	12

在单张 NVIDIA RTX 3090（24GB）上，S-VAM 每次前向 307.6 ms：视频骨干 231.0 ms、解耦器 40.1 ms、动作专家 36.5 ms。 VPP 为 265.7 ms，S-VAM 延迟增加约 15.8%，不是相对 VPP 加速；其效率优势针对在线多步视频生成的负担。每次预测长度为 8 的动作块，论文报告有效控制频率为 25 Hz；这不等于每秒完成 25 次新观测条件下的完整模型重规划。

亮点与洞察¶

教师选择的关键是轨迹相容，而不只是视觉质量。真实未来帧监督反而较差，提示生成式策略的特征蒸馏需要尊重特征隐含的未来分支。
前瞻与原始特征互补。结构化教师降低动作学习负担，但保留未经解耦的上下文仍带来收益，支持“补充表征”而非“全面替换”的设计。
Uni-Perceiver 的移除造成表 3 最大降幅。有效汇聚多种前瞻信息，与产生这些信息本身同样值得关注。

局限与展望¶

作者未单列局限章节。本文评述：自蒸馏仍受视频骨干预测质量约束，轨迹一致只能减少监督冲突，不能保证想象的未来在物理上正确。
真实任务每项只有 25 次评测，且最困难透明物体任务仅达到 32%。结果支持相对改进，但不支持高可靠部署结论，也未在所列结果中给出置信区间。
动作块提升了有效控制吞吐，却不消除 307.6 ms 的单次推理延迟。可进一步测试执行中的突发扰动、动作块中断和更频繁反馈。
三阶段训练依赖预训练视频模型和视觉教师；当前结果尚未证明大规模跨机器人形态迁移或安全关键操作能力。

评分¶

新颖性: 4/5。同轨迹自蒸馏和互补前瞻形成清楚的方法贡献，但仍建立在已有视频策略及表征模型之上。
实验充分度: 4/5。覆盖两个仿真基准、组件与教师消融及真实双臂任务，真实评测规模和统计报告仍有限。
写作质量: 4/5。方法主线与消融定义明确，但“实时”的表述需结合动作块理解，缓存公式提取也限制精确复现。
价值: 4/5。为高成本视频规划提供可用的表征蒸馏路线，适合研究预测表征如何服务低数据机器人控制。