Learning Egocentric Cues from Exocentric Video using Privileged Egocentric Supervision¶

会议: ECCV2026
作者: Dominick Reilly, Manish Kumar Govind, Le Xue, Srijan Das
论文: https://eccv.ecva.net/virtual/2026/poster/3825
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/3277.pdf
代码: https://github.com/dominickrei/EgoExo4ADL
领域: 模型压缩 / 视频理解
关键词: 知识蒸馏、特权监督、跨视角迁移、自适应视觉 token、人手物体交互

正式页面使用上述标题，PDF 标题另带前缀 “From My View to Yours”。代码链接来自论文；论文表述为将发布代码、模型与数据，此处不据此断言资源已经完整开放。

一句话总结¶

Ego2ExoVLM 让只看第三人称视频的学生学习第一人称教师的回答，并用自适应视觉 token 提取容易被背景淹没的交互线索，在 Ego-in-Exo Perception 上将 VideoLLaMA3 的平均准确率从 71.2% 提高到 74.2%，测试时不需要第一人称相机。

研究背景与动机¶

固定相机适合记录日常活动，却不一定拍得清决定动作含义的细节：人是在拿哪件物品、用哪只手、操作对象是什么。第三人称画面往往以房间布局和全身运动为主，人手与物体只占很小区域；第一人称相机则天然贴近交互现场。通用视觉语言模型即使见过两种视角，也不等于能在第三人称输入中找到第一人称任务关注的证据。仅用第三人称画面生成训练问答，还可能持续强化场景描述，而非这些弱显著的交互细节。

直接在测试时增加第一人称视频能缓解问题，但在真实日常活动监测中，要求被观察者始终佩戴相机并不现实。本文因而采用特权监督：训练阶段有时间同步的第一人称与第三人称视频，部署阶段只保留第三人称输入。这里要迁移的不是另一视角的像素，也不是把学生缩成更小网络，而是教师借助更清楚的观察获得的语义。由于两个视角的视觉外观差别很大，强行让视觉特征相同，未必能教会生成式模型回答问题。

核心 idea：用语言回答作为跨视角知识蒸馏的桥梁，同时让学生增加一条专门读取细粒度交互证据的视觉通道，使第一人称监督最终落到第三人称画面中仍然可见、但不突出的线索上。

方法详解¶

整体框架¶

训练样本包含同步的第一人称视频、第三人称视频和同一个自然语言问题。冻结的教师观看第一人称视频并生成回答；学生只观看第三人称视频，借助第一人称自适应视觉 token 补充原有视觉表示，再通过 Ego2Exo 序列蒸馏学习教师答案。推理阶段删除教师与蒸馏监督，只运行第三人称学生，输出动作问答或视频描述。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["第三人称视频与问题"] --> B["冻结视觉编码器"]
    B --> C["第一人称自适应<br/>视觉 token"]
    B -->|原有视觉表示| D["学生语言模型"]
    C -->|专用连接器| D
    E["同步第一人称视频<br/>与冻结教师"] --> F["Ego2Exo 序列蒸馏"]
    D -->|训练时预测| F
    D -->|测试时| G["仅第三人称的回答"]

教师和学生均以 VideoLLaMA3 初始化，由 SigLIP 视觉编码器、视觉语言连接器和 Qwen2.5 语言模型构成。教师并不是更大规模的专用网络，优势来自训练时能看到的视角；学生也不生成第一人称视频。原有视觉通路负责保留场景与动作上下文，新 token 通路补充局部交互信息，两者一起送入语言模型，而不是用局部信息替换整幅场景。

关键设计¶

1. 第一人称自适应视觉 token：给弱显著的交互区域增加专用读取通道

如果只把教师回答交给学生，监督虽然变细了，学生的视觉表示却可能仍主要编码背景与人体大轮廓。本文加入一组可学习的视觉探针，称为第一人称自适应视觉 token（Ego Adaptive Visual Tokens）。这些 token 作为查询，通过交叉注意力读取视觉编码器中间层的时空特征，使模型能够利用较低层的细节与较高层的语义。它们不是预先裁剪好的人手区域，也不要求额外提供物体框或人手位置标注。

在第一个视角中容易辨认的细节，可能在另一个视角中只留下少量有用 patch。专用查询可以将这些线索汇聚为额外 token，而不用要求主视觉编码器完全改变其表示方式。按论文的交叉注意力表达式，某一层的计算可写为：

\[ \widetilde E^{\ell}=\operatorname{softmax}\!\left(\frac{(E^{\ell}W_q^{\ell})(X^{\ell}W_k^{\ell})^{\top}}{\sqrt{d_v}}\right)(X^{\ell}W_v^{\ell}). \]

其中 \(E^{\ell}\) 是可学习探针，\(X^{\ell}\) 是该层视频特征，\(W_q^{\ell},W_k^{\ell},W_v^{\ell}\) 是层专属投影，\(d_v\) 是视觉特征维度；计算时从时空特征集合读取信息。注意力输出最终经独立连接器映射到语言模型空间，再与原有第三人称视觉 token 拼接。独立连接器让新通路能够适应交互细节，而不必与原有连接器共用同一种投影。

“第一人称自适应”描述的是监督赋予这些 token 的角色，不表示测试时给它们输入第一人称图像。它们在测试时仍只读取第三人称视频。论文用注意力可视化展示它们更集中于交互区域，但这只是与机制一致的定性证据，不能等同于已经获得可靠的人手物体检测器。

2. Ego2Exo 序列蒸馏：对齐回答语义，而非强制对齐跨视角外观

冻结教师在第一人称视频和问题的条件下生成完整回答，作为第三人称学生的伪真值。学生训练时按自回归方式逐 token 拟合该回答：当前 token 的预测以教师答案此前的 token、问题、原有第三人称视觉表示及自适应 token 为条件。它学到的是“从这个第三人称观察也应回答出这样的交互语义”，而不是“两个摄像机必须编码出相同的视觉向量”。因此该设计尤其适合语言生成式 VLM，而不是直接照搬视觉编码器的均方误差蒸馏。

以下将论文式（3）中受文本抽取影响的排版整理为标准条件概率记法：

\[ \mathcal L_{\mathrm{seq}}=-\sum_{m=1}^{M}\log P_S\!\left(a_m^{\mathrm{ego}}\mid A_{<m}^{\mathrm{ego}},Q,Z^{\mathrm{exo}},\phi_{\mathrm{ego}}(\widetilde E)\right). \]

这里 \(M\) 是教师答案的 token 数，\(a_m^{\mathrm{ego}}\) 和 \(A_{<m}^{\mathrm{ego}}\) 分别表示当前目标 token 与目标前缀；\(Q\) 是问题，\(Z^{\mathrm{exo}}\) 是学生原有视觉嵌入，\(\phi_{\mathrm{ego}}(\widetilde E)\) 是新 token 通路的输出，\(P_S\) 是学生的条件分布。这是生成答案的负对数似然，不是要求学生匹配教师全部词表 logits 的 KL 蒸馏；论文后续报告的 KL 散度是分析指标，而非此处额外的训练项。

这两个设计的配合非常具体：教师回答决定哪些细节值得解释，视觉探针让学生在外部视角中有机会取到相应证据。不过，答案监督只能帮助发现画面中存在的信息，不能保证从彻底遮挡的物体中恢复事实。时间同步使两段视频对应同一次活动，从而降低教师描述与学生场景不一致的风险；论文另用语义检索的伪配对做扩展实验，但不把它与严格同步视作等价条件。

一个完整示例¶

以论文示意中的蔬菜处理场景为例：训练时，两路相机记录同一段动作，问题询问正在处理哪种蔬菜。第一人称教师能直接看清交互对象，生成包含番茄及持物手等细节的回答；第三人称学生则可能只看到人站在台面前，局部物体很小。这是论文用来解释任务的示意，不是另一个定量测试样本。

学生的原始视觉 token 提供台面、人物与动作背景；默认 16 个自适应 token 从中间层中汇集交互处的细节。训练目标随后要求学生复现教师回答，误差信号更新探针相关投影、连接器与语言模型的可训练部分。到了测试阶段，相同类型的问题只配第三人称视频，探针依旧工作，但教师回答与第一人称视频都不再输入；若物体完全不可见，则不能把合理猜测当成可靠识别。

损失函数 / 训练策略¶

主实验使用 EgoExo4D keystep recognition 训练集约 9k 个 ego-exo 视频样本。每对视频从描述、时间、空间三个预定义问题类别各采样一个问题，再让冻结教师回答，论文报告最终约 28k 个问答对；这两个数都是论文给出的近似规模，不应强行按整数乘法反推精确样本数。

教师全部冻结，学生视觉编码器也冻结；可训练部分为视觉语言连接器、自适应 token 相关参数与交叉注意力投影，以及语言模型的 LoRA。LoRA 秩为 64，学习率为 \(1\times10^{-5}\)，其他可训练参数的学习率为 \(2\times10^{-6}\)；训练使用 4 张 NVIDIA H200，持续 3 个 epoch。视觉与语言嵌入维度分别为 1152、3584，自适应 token 默认数量为 16。

本文的核心是跨视角知识蒸馏，并没有报告学生比教师更小或压缩多少参数。这里归入“模型压缩”遵循项目将知识蒸馏统一收录到该领域的分类约定，不代表其主要实验是在追求模型尺寸或推理加速。

实验关键数据¶

主实验¶

Ego-in-Exo Perception 从 EgoExo4D keystep recognition 测试子集的烹饪视频构建，初筛包含 2,319 个视频及约 10k 条原子动作标注。问题生成只利用第一人称画面、动作标注和解析出的场景物体，随后由 4 名参与者核验，去掉错误问题、简单干扰项以及因遮挡或取景而无法从第三人称回答的问题，最终得到 3,881 道选择题。四类任务是动作理解、任务相关区域、人手物体交互和用手识别；全部报告准确率，越高越好。

下表取自论文表 2。Avg. 保留论文报告值；第一人称教师使用更有利的输入，只作为参考上界，不能作为同输入条件下的竞争基线。

方法与输入	动作理解 ↑	任务相关区域 ↑	人手物体交互 ↑	用手识别 ↑	Avg. ↑
教师，第一人称输入	81.8	83.9	78.9	67.1	77.9
Qwen2.5-VL，第三人称输入	68.2	75.9	70.8	64.8	69.9
VideoLLaMA3，第三人称输入	66.5	79.6	74.5	64.1	71.2
EE4D-VideoLLaMA3，第三人称输入	59.5	66.6	71.6	65.0	65.7
Ego2ExoVLM，第三人称输入	73.4	82.0	76.2	65.3	74.2

相对初始化骨干 VideoLLaMA3，平均提升为 3.0 个百分点；相对只在该数据集第三人称视频上微调的 EE4D-VideoLLaMA3，提升为 8.5 个百分点。学生与第一人称教师仍相差 3.7 个百分点，不能解释为视角差距已经消失。

ADL-X 提供另外 4 个选择题任务与 2 个视频描述任务。论文表 4 报告，Ego2ExoVLM 的 ADL-MCQ 平均准确率为 78.8，VideoLLaMA3 为 76.9；Charades 描述平均分分别为 75.5、70.6；Toyota Smarthome 描述平均分分别为 88.7、87.2。描述任务使用 Video-ChatGPT 的正确性、细节、上下文、时间理解、一致性评分，不能把这些描述分数当成选择题准确率。

消融实验¶

下表取自论文表 5，指标均为 Ego-in-Exo Perception 的准确率。Ego+Exo 行表示把两个视角都用于训练，并非测试时同时输入两路视频。

训练配置	序列蒸馏	自适应 token	动作理解 ↑	任务相关区域 ↑	人手物体交互 ↑	用手识别 ↑	Avg. ↑
Exo	否	否	59.5	66.6	71.6	65.0	65.7
Ego+Exo	否	否	59.2	68.5	71.1	65.0	66.0
Exo	是	否	67.2	67.9	73.8	65.3	68.5
Exo	否	是	70.0	79.4	74.3	65.1	72.2
Exo，完整模型	是	是	73.4	82.0	76.2	65.3	74.2

只增加双视角训练数据，平均仅增加 0.3 个百分点；在完整模型上去掉自适应 token，平均下降 5.7 个百分点，去掉序列蒸馏下降 2.0 个百分点。两种干预并非独立可加的增益，不能将单模块相对基线的提升直接相加预测完整模型。

关键发现¶

自适应 token 的提升尤其体现在任务相关区域：只加 token 相对 Exo 基线从 66.6 到 79.4；同一对比下交互任务从 71.6 到 74.3。论文文字强调交互任务，但表中最大的任务增幅实际出现在任务相关区域。
论文表 7 的视觉特征蒸馏平均为 67.8，完整方法为 74.2，支持语言层迁移更适合本设置；这不是对所有视觉蒸馏方法的普遍否定。
伪配对 Ego4D + HowTo100M 实验中，平均从 68.1 到 70.4，但交互与用手识别分别从 75.1、65.3 降到 71.7、62.8。结论应是非同步监督仍有平均收益，而不是各任务都受益。

亮点与洞察¶

教师的优势来自观察条件而非模型规模。相同架构也能通过特权视角提供更有价值的答案监督，将“知道更多”与“参数更多”区分开来。
语言监督与视觉证据读取是互补设计。前者规定要学到什么语义，后者补足从弱显著区域获取信息的路径，消融也显示仅混合两种视角并不够。
基准把“从哪里生成问题”和“测试看哪个视角”明确拆开。再由人工排除第三人称不可回答的问题，比单纯要求模型猜出第一人称细节更符合可观测性的边界。

局限与展望¶

可观测性仍是硬限制。基准主动过滤遮挡严重或取景不佳的问题，因此不能据其结果推断模型能可靠恢复不可见交互，真实固定相机部署的难度可能更高。
基准主要取自烹饪活动，教师生成的伪答案也可能携带错误。现有结果不足以证明对所有日常活动、摄像机布局或长尾物体都同样有效。
偏置分析中，纯文本平均仍有 55.7，单中心帧达到 69.8，而视频输入为 73.4；这些是 GPT-4.1-Mini 的结果。它们显示视频有帮助，但不能据此宣称语言先验或静态捷径已被排除。
训练配置与模块消融较充分，但正文未给出足以量化部署成本的延迟、吞吐或模型压缩率。对额外 token 的实际运行开销，以及教师错误如何影响学生，需要更直接的评估。

评分¶

新颖性: 4/5 — 特权视角的序列蒸馏与视觉探针组合明确，组件本身并非全新机制。
实验充分度: 4/5 — 覆盖新基准、ADL-X、模块与迁移方式消融，也检验伪配对，但部署成本与更广活动覆盖不足。
写作质量: 4/5 — 任务边界与训练测试差别清楚，个别消融解读需要对照表格校准。
价值: 4/5 — 对仅有固定相机的细粒度活动理解有实用启发，但尚不能替代真实部署验证。