EventVGGT: Exploring Cross-Modal Distillation for Consistent Event-based Depth Estimation¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/yinruiRen/EventVGGT
领域: 深度、法线与立体
关键词: 事件相机、单目深度估计、跨模态知识蒸馏、多视图几何、时序一致性

一句话总结¶

EventVGGT 用混合特征辅助预测、时空特征对齐和深度变化蒸馏，把 VGGT 的多视图几何知识迁移到事件序列，在推理只使用事件的条件下，将 EventScape 的 30 m 截断平均绝对深度误差从 EventDAM 的 2.30 m 降至 1.06 m。

研究背景与动机¶

事件相机记录的是像素亮度何时发生变化，而不是完整图像，因此能在高速运动和极端光照下保留视觉信息，却很难直接提供稠密场景结构。事件单目深度估计既缺少大规模稠密标注，也要从稀疏的变化信号中恢复没有直接触发事件的区域。EventDAM 等方法借助配对 RGB 图像和视觉基础模型生成监督，减少了对真实深度标注的依赖，但逐帧预测仍可能出现边界模糊、帧间尺度不稳和深度闪烁。

关键区别不只是给学生增加时序模块，还在于教师能否提供跨帧几何知识。DepthAnyEvent 已经使用时序模块，但其教师仍是单图像模型；因此不能把它简单概括成“完全不利用时间”。VGGT 的帧内与全局交替注意力可以联合处理多个视角，教师输出本身便包含跨视图约束，适合指导连续事件流。不过，直接让事件特征复制 RGB 表征，又会遇到稀疏运动响应与稠密外观结构之间的模态鸿沟。

本文把事件流组织成与 RGB 同步的序列，并同时约束辅助深度、内部表征和相邻深度变化。核心 idea：迁移的不只是每一帧的深度答案，而是多视图教师组织空间结构和跨帧变化的方式，让事件学生在脱离 RGB 后仍能输出更一致的深度序列。

方法详解¶

整体框架¶

训练输入是同步 RGB 序列及对应事件流，输出是事件序列的稠密深度。RGB 教师提供特征和伪深度；事件学生采用 VGGT 式序列骨干，并通过跨模态特征混合（CMFM）、时空特征蒸馏（STFD）和时序一致性蒸馏（TCD）学习教师知识。这里的“无需标注”指不依赖真实深度监督，不代表训练无需 RGB 配对数据。

下图实线表示特征或预测的数据流，虚线表示仅在训练时使用的蒸馏监督。CMFM 产生的是训练辅助分支，不是事件模型在推理时必须经过的 RGB 融合路径；STFD 也不是串在深度解码器后的新网络层。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    E["事件流"] --> S["序列化几何骨干"]
    R["同步 RGB<br/>仅训练使用"] --> V["VGGT 教师<br/>特征与伪深度"]
    S --> M["跨模态特征混合<br/>CMFM"]
    V -->|RGB 特征| M
    S --> H["事件深度解码"]
    M --> A["混合序列辅助深度"]
    S -.-> F["时空特征蒸馏<br/>STFD"]
    V -.-> F
    A -.-> T["时序一致性蒸馏<br/>TCD"]
    V -.->|教师深度变化| T
    V -.->|CMFM 输出监督| A
    H --> O["纯事件深度序列"]

推理保留事件编码、交替注意力和深度预测路径，不再需要同步 RGB 或教师辅助分支。论文还展示了相机位姿和点云估计的扩展，但核心定量任务仍是深度估计，不能把这些展示视作已充分验证的通用事件 3D 重建系统。

关键设计¶

1. 序列化几何骨干：让教师和学生都看到跨帧结构

每个事件由位置、时间和极性组成，即 \(e=(x,y,t,p)\)，其中 \(p\in\{+1,-1\}\) 表示对数亮度上升或下降。作者以 50 ms 窗口累积事件，每个窗口划分为 5 个时间 bin，再与 RGB 帧同步。文本把最终事件表示写为三通道，但没有清楚交代这些时间 bin 和正负极性如何映射成三通道；复现时不能直接假设“5 个 bin 就是 5 通道”，也不应自行补一个压缩规则。

RGB 与事件序列分别编码成尺寸对应的 patch 特征，序列建模沿用 VGGT 的帧内与全局交替注意力及深度预测头。前者处理单帧空间结构，后者让不同时间视角共享几何信息；这比把每个事件窗口独立送入单图教师更贴合“同一场景连续被观察”的数据性质。训练使用 24 帧序列，但序列化本身并不等于严格因果在线推理，原文没有说明逐帧部署时未来上下文如何处理。

2. 跨模态特征混合：用 RGB 上下文承接事件特征

稠密 RGB 特征覆盖的空间信息远多于事件特征，直接要求两者输出完全一样可能让学习过于困难。CMFM 不是把两路特征逐元素求平均，而是随机用时间对齐的事件特征替换 RGB 特征序列中的部分帧位置。默认替换比例为 25%，其余位置保留 RGB 特征；混合序列经过共享交替注意力和深度解码器，得到辅助深度，再由教师的 RGB 深度监督。

这个辅助任务让事件特征在有可靠空间上下文的序列中承担几何预测职责，而不是一开始就完全依赖稀疏输入。作者描述的输出目标包含置信度加权误差和空间梯度惩罚，分别用于调节不可靠位置的影响并保留局部结构。缓存中的式（1）符号损坏，而且正文与式中置信度的来源记号不一致，因此这里不提供猜补的精确损失；可以确认的是“混合序列预测接受教师深度监督”，并非增加真实深度标签。

3. 时空特征蒸馏：既对齐当前结构，也对齐结构如何变化

只在输出层模仿深度，还不能保证学生学到教师内部的跨视角表示。STFD 同时比较同一帧的事件与 RGB 特征，以及相邻帧特征差分。第一部分把事件表征锚定到场景空间结构，第二部分关注从当前观察到下一次观察时，表征朝什么方向变化，避免所有时刻都被当成互不相干的静态样本。

正文明确使用通道维余弦相似度描述特征对齐，但式（2）提取不完整，不能据此恢复全部求和、权重和差分项。作者另称其匹配变化的“幅度和方向”；应注意余弦相似度本身不约束向量模长，因此仅凭现有公式不能确认幅度匹配具体由哪一项实现。可靠的机制结论是同时蒸馏帧内表征与帧间表征变化，而不是给未确认的实现补数学细节。

4. 时序一致性蒸馏：学习合理变化，而不是把所有帧抹平

TCD 把约束放到最终深度随时间的变化上。真实相机运动和物体运动都会使深度改变，所以直接要求相邻帧深度接近，会把有意义的动态也当成噪声。这里改为以教师的相邻帧深度变化作为目标，让辅助预测的变化与教师一致，从而抑制没有几何依据的突跳，而非强制输出静止深度。

正文说明使用逐像素深度变化及其 L1 差异，但式（3）的绝对值层级和运算符在缓存中损坏；可见记号使用混合分支深度，周围文字则泛称学生输出。因而本笔记沿用可辨识的混合辅助分支，不擅自改成只对纯事件输出计算，也不猜测是有符号差分还是变化幅度的精确嵌套形式。此外，该段没有明确给出光流或重投影配准步骤，不能把此损失说成经过显式几何对应的重投影一致性约束。

一个完整示例¶

以一段经过路灯的同步行驶序列说明数据流，这只是按论文设置展开的机制示例，不是新增实验。24 帧输入分别编码后，按 25% 替换比例，混合分支相当于使用 6 个事件特征位置和 18 个 RGB 特征位置；某个时刻的路灯边缘虽然只产生稀疏事件，仍可借助其他位置的 RGB 结构上下文完成辅助深度预测。

CMFM 用教师深度约束这条混合序列，STFD 则比较事件与 RGB 的对应特征及相邻特征变化。随后 TCD 检查路灯深度跨帧变化是否跟随教师，而不是因为事件数量波动突然跳变。训练结束后，测试输入只有事件序列，模型依靠已迁移的几何知识输出深度，并不再读取那 18 个 RGB 特征位置。

损失函数 / 训练策略¶

总目标由 CMFM、STFD、TCD 加权组成。正文给出的特征蒸馏权重为 \(\lambda_{\mathrm{STFD}}=0.1\)，时序一致性权重为 \(\lambda_{\mathrm{TCD}}=0.2\)；由于式（1）至式（4）均存在提取损坏，笔记保留可核实的组成和超参数，不重造所谓“作者精确公式”。

训练把 EventScape 的图像与事件表示中心裁剪为 \(252\times504\)，屏蔽天空无效深度区域，使用 AdamW，学习率为 \(1\times10^{-4}\)。LoRA 设置为 \(r=16\)、\(\alpha=32\)，增加约 1.6 million 可训练参数；4 张 NVIDIA A800、动态 batch size 下训练约 11 小时。1.6 million 是新增可训练参数，不是整个模型大小，LoRA 也不自动意味着推理骨干被压缩。

实验设置需要区分两类协议：域内实验分别使用 EventScape 与 MVSEC 的训练划分，MVSEC 在 Day2 训练、Day1 和 Night1–3 测试；零样本实验则只在 EventScape 训练，再测试未见过的 DENSE 和 MVSEC。方法声明不使用真实深度监督，但第 4.2 节又使用“supervised fine-tuning”措辞，因此这里将其标为原文表述歧义，而不自行断言额外使用了真实深度标签。

实验关键数据¶

主实验¶

以下均为不同截断距离下的平均绝对深度误差，单位为 m，越低越好；E 表示推理只输入事件，E+I 表示事件与图像联合输入。DENSE 是未见过的合成域，不是真实数据集，真实域评估来自 MVSEC。

数据集与协议	方法	推理输入	10 m	20 m	30 m
EventScape，域内，表 1	E2Depth	E	1.79	5.35	8.31
EventScape，域内，表 1	SRFNet	E+I	1.27	1.68	2.76
EventScape，域内，表 1	EventDAM	E	0.56	1.52	2.30
EventScape，域内，表 1	EventVGGT	E	0.54	0.79	1.06
DENSE，零样本，表 3	SRFNet	E+I	1.50	3.57	6.12
DENSE，零样本，表 3	EventDAM	E	1.20	2.60	5.18
DENSE，零样本，表 3	EventVGGT	E	0.54	0.89	1.33

EventScape 的 30 m 误差降低 1.24 m，相对降幅约 53.9%；DENSE 对 EventDAM 的对应降幅约 74.3%。这些结果说明远距离误差与跨合成域迁移改善明显，不意味着所有距离、所有真实场景都优于所有基线。

MVSEC 表 2 中，EventVGGT 的 30 m 误差在 Night1、Night2、Night3、Day1 分别为 2.61、2.48、2.64、1.63 m。不过 Night1 的 10 m 误差为 1.67 m，高于 EventDAM 的 1.39 m，说明“所有指标全面领先”不成立。表 4 将 Night1 对比称为零样本，但 EventVGGT 的 1.67 / 2.02 / 2.61 又与表 2 的域内训练结果相同；两种训练来源的对应关系需复现时进一步核实，不在笔记中合并解释。

消融实验¶

以下直接保留原文表 5 的数值，评估数据集为 EventScape。无三个模块的基线仍是论文的基础模型，并不等于完全不训练的 VGGT。

配置	10 m	20 m	30 m	说明
无 CMFM / STFD / TCD	0.69	0.94	1.26	基础模型
仅 CMFM	0.57	0.86	1.13	添加混合辅助预测监督
CMFM + STFD	0.53	0.81	1.10	再约束时空特征
CMFM + TCD	0.56	0.84	1.12	再约束深度变化
CMFM + STFD + TCD	0.51	0.79	1.06	完整蒸馏组合

表 5 完整配置的 10 m 为 0.51，而表 1 主结果为 0.54，原文未明确解释这项差异；表 8 的 Town 1 和 Towns 1–3 配置也给出不同结果，不能用某一表的较优值替换另一表。这里分别记录，避免人为制造统一实验口径。

关键发现¶

CMFM 是表 5 中最大的首步增益来源：30 m 误差从 1.26 降至 1.13。完整组合进一步降到 1.06，但该表没有 STFD-only 或 TCD-only，无法从中推出所有模块独立贡献的完整排序。
表 6 将序列长度从 1 增至 24，30 m 误差从 1.50 降至 1.26。10 m 则在 8 帧时为 0.70、24 帧时为 0.71，序列越长并非每个指标单调改善，该表也不应当作完整模型的主结果。
表 7 的事件特征替换比例为 100%、25%、10% 时，30 m 误差分别为 1.26、1.13、1.16。事件比例太高会失去 RGB 几何上下文，太低又削弱事件分支得到的训练信号。
表 8 中从 Town 1 扩展到 Towns 1–3 后，DENSE 的 30 m 误差从 1.50 降至 1.33。跨域收益还依赖训练场景多样性，不能全部归因于单个蒸馏模块。

亮点与洞察¶

教师选择本身改变了可迁移的信息。单图教师主要给逐帧空间答案，多视图教师还给跨视角关系，这比仅在学生侧增加时序模块更直接地解决监督缺少时间联系的问题。
CMFM 把跨模态对齐变成“同一解码任务中能否替代另一种特征”。相比额外要求两种传感器原始观测相似，这个训练辅助任务更贴近最终几何预测职责。
TCD 追随教师认可的变化，而不是盲目平滑相邻预测。可迁移的思路是蒸馏动态目标的变化规律，但用于其他任务时仍需考虑遮挡、对应关系和教师自身的时序误差。

局限与展望¶

作者承认教师的远场深度压缩偏差会传给学生，使极远背景深度被低估；提出未来引入稠密真实深度校准。现有结果不是无偏的几何恢复。
时序一致性和相机位姿、点云扩展主要通过定性重建展示，没有报告专门的闪烁或跨帧一致性定量指标。深度误差改善支持预测更准，却不能单独证明全部时序稳定性主张。
论文报告单张 A800 上处理 \(252\times504\) 事件表示耗时 24 ms，但没有清楚给出 24 帧上下文的在线更新、端到端等待时间和显存。不能由此直接宣称嵌入式实时运行或 24 ms 因果延迟。
训练需要同步 RGB 与事件序列，传感器对齐质量仍是前提。公式损坏、三通道构造不明以及部分表格与协议表述差异，也限制了仅据当前文本缓存精确复现的能力。

评分¶

新颖性: 4/5。把序列几何基础模型与事件域蒸馏结合，三层目标有明确分工，但各类对齐思想本身并非全新。
实验充分度: 3/5。覆盖域内、零样本及多项消融，仍缺专门时序指标、误差条和清晰统一的部分协议说明。
写作质量: 3/5。整体动机易理解，但原文部分表格数值与训练措辞存在需要澄清之处，缓存公式损坏另行限制可读性。
价值: 4/5。为事件深度与多视图基础模型结合提供可复用路线，尤其值得关注推理纯事件条件下的远距离收益。