Boosting Text-Driven Video Segmentation via Geometry-Aware Distillation¶

会议: ECCV2026
官方论文: 4230
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/5017.pdf
作者: Tianyu Zhu, Yingping Liang, Hesong Li, Ying Fu
代码: https://github.com/Tony1882880/GeoLaV
领域: 模型压缩（知识蒸馏；指代表达视频目标分割）
关键词: 指代表达视频分割、单目几何预训练、几何感知蒸馏、新视角合成、双教师监督

一句话总结¶

GeoLaV 在 SAMWISE 分割框架上先用单张图像合成连续新视角进行预训练，再在真实视频上蒸馏语义与三维几何教师，使 Ref-YouTube-VOS 的 J&F 达到 70.5，相比同为 202M 参数的 SAMWISE 提高 1.3 分，且不在推理时保留教师或投影头。

研究背景与动机¶

指代表达视频目标分割（RVOS）要求模型根据一句自然语言，在整段视频中持续输出目标掩码。难点不只是第一帧认出物体，还在于镜头变化、遮挡和目标运动后仍然知道“描述指的是谁”。SAMWISE 等方法已经把 SAM2 的分割先验、文本融合与时序记忆结合起来，但其图像预训练通常来自 RefCOCO/+/g：这些数据能教会模型把描述对应到单帧区域，却不能直接提供同一场景在不同视角下的空间对应关系。

把静态图像平移、缩放成多帧可以增加训练输入，却没有根据深度改变物体之间的视差和遮挡。另一方面，真实视频微调通常依靠掩码损失学习时序关系，正确分割当前帧并不等于理解跨帧空间结构。本文因而同时检查两个环节：预训练时是否看到了具有合理几何变化的连续视图，以及微调时是否获得了超出二维掩码的结构监督。

论文不重新设计一个大型语言模型，而是在已有轻量视频分割架构中改变训练数据与辅助监督。核心 idea：先把单图监督扩展成几何一致的多视图学习，再把语义教师和三维几何教师的知识共同压入记忆特征，让部署模型沿用原有分割路径，却更能适应视角变化。

方法详解¶

整体框架¶

输入是一段 RGB 视频及描述目标的句子，输出是每帧的二值目标掩码。GeoLaV 沿用 SAMWISE 的主体结构，以 SAM2 图像编码器、文本编码器、跨模态适配器、记忆机制和掩码解码器完成语言引导分割；新增内容主要位于训练侧，而不是推理时额外重建三维场景。

训练分为单目几何预训练（MGP）和几何感知蒸馏（GAD）两个阶段。MGP 先通过“几何一致视图合成”把单图变成伪视频，再用“语义记忆对齐”学习这些视图的表征；GAD 从该初始化出发，在真实视频上执行“几何语义双教师蒸馏”。图中的三项设计依次对应数据构造、第一阶段监督和第二阶段监督。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单图、文本与掩码"] --> B["几何一致视图合成"]
    B --> C["语义记忆对齐<br/>MGP 预训练"]
    C --> D["几何语义双教师蒸馏<br/>GAD 微调"]
    V["真实视频、文本与掩码"] --> D
    D --> E["部署分割模型<br/>视频与文本到逐帧掩码"]

关键设计¶

1. 几何一致视图合成：让单图扩展具有真实投影关系，而不只是二维扰动

第一步用前馈几何模型预测单图的深度或点图，论文列举了 π3 与 VGGT 作为可选模型。由于单目深度存在尺度歧义，生成过程对预测深度加入随机缩放和偏置，再依据采样的相机内参将像素提升到三维空间。这里需要的是与原图结构相容的相对深度，而不是精确到物理单位的测距：近处与远处的点在相机移动时应当产生不同的投影变化。

随后，模型沿连续的虚拟相机轨迹移动这些三维点并重新投影，轨迹可以是直线、分段直线或曲线，相邻位姿来自小幅刚体变换，而不是逐帧独立采样。新视角暴露出的空洞由遮挡掩码标出，并交给图像修复网络补齐。实现中，每张 COCO 源图生成五张新视图，再与原图组成伪视频。这样得到的帧序列包含视差和深度顺序变化，比把整张图片当成平面进行单应变换更接近相机运动；但它并没有模拟物体自身的真实非刚性运动，修复区域也不能等同于真实观测。

2. 语义记忆对齐：用稠密教师特征补足合成帧的监督

有了多帧输入，还需要让分割网络从中学习，而不能只把它当作重复图像。伪视频经过冻结的 SAM2 图像编码器，文本经过冻结的文本编码器；各层插入可训练的跨模态适配器，使两种模态在共享表征中交互。融合后的视觉特征进入记忆注意力，并结合提示编码器的输出完成掩码解码。掩码与图像信息经记忆编码器写入记忆库，供后续帧再次读取。上述路径主要继承 SAMWISE/SAM2，本文利用的是已经带有历史上下文的记忆特征，而不是另建独立的追踪分支。

并行的视觉基础模型教师为伪视频提供语义特征，实际采用 DINOv3-ViT-L。学生的记忆注意力特征经过带 GELU 的两层 MLP 投影，以匹配教师特征维度，再使用余弦距离对齐。按原文式（8），核心约束为：

\[ \mathcal{L}_{\mathrm{sim}}=1-\frac{F_{\mathrm{proj}}\cdot F_{\mathrm{VFM}}}{\|F_{\mathrm{proj}}\|_2\|F_{\mathrm{VFM}}\|_2}. \]

其中，投影后的学生特征是 \(F_{\mathrm{proj}}\)，教师输出是 \(F_{\mathrm{VFM}}\)。对齐位置在提示条件化的掩码解码之前，因此不是拿教师直接指定“这句话对应哪个目标”，而是约束具有全局帧信息的中间表征；目标身份仍由文本分割监督决定。这一点也解释了为什么使用不依赖特定指代表达的视觉教师：它补充的是帧级结构与语义，而不是替代语言定位。

MGP 将该辅助损失与分割损失共同优化。论文明确指出，特征监督能弥补合成帧监督不足，但当前全文未清楚交代新视图掩码如何生成、哪些像素参与分割损失，因而不能进一步断言所有合成视图都有完整的人工级掩码标注。该细节是复现时需要核实的部分，而不是笔记自行补出的处理步骤。

3. 几何语义双教师蒸馏：在真实视频上保留语义，同时补入三维结构先验

第二阶段加载 MGP 得到的模型，改用带文本与掩码的真实视频训练。除了视觉基础模型教师，新增冻结的三维感知教师，实验采用 π3；前者提供物体外观与语义边界，后者提供跨帧结构和深度关系。学生仍使用同一条记忆与分割路径，不把几何教师预测的深度或相机参数直接当成最终分割结果。

两位教师的特征空间不同，因此分别配置一个两层 MLP 投影头，从同一学生记忆表征出发，各自对齐对应教师。两个分支都采用余弦相似度损失，蒸馏目标是两项之和，并与文本条件分割监督一起训练。分开投影避免强迫不同维度、不同语义的教师共享一个输出空间，也允许同一记忆表征同时保留语义边界和三维结构信息。

这种监督并不保证学生显式恢复正确三维几何，更准确的说法是用教师表征作为结构正则约束。推理时教师与投影头均移除，真实视频与文本直接经过训练后的分割模型，保持原有的逐帧预测与记忆更新流程。因此“无额外推理开销”针对这些训练专用分支，并不意味着合成数据或训练教师没有成本。

损失函数 / 训练策略¶

第一阶段的总目标是分割损失与上述相似度损失相加；分割损失包含 Dice 与 mask loss，沿用既有方法。第二阶段保留分割监督，并加入语义和几何两个分支的蒸馏损失。缓存中的式（9）与式（10）排版损坏，但相邻正文明确支持两个独立投影头和两个余弦损失；这里不猜测未明确给出的额外权重或空间归约细节。

预训练在 RefCOCO/+/g 上进行 6 个 epoch，学习率从 \(1\times10^{-4}\) 降到 \(2\times10^{-5}\)。随后在 Ref-YouTube-VOS 上以 \(2\times10^{-6}\) 微调 4 个 epoch，用所得模型评估 Ref-YouTube-VOS 和 Ref-DAVIS17；MeViS 按文中协议训练 2 个 epoch。优化器为 Adam，实验使用 4 张 80GB NVIDIA A100。论文将图像编码器、文本编码器与记忆注意力描述为冻结组件，跨模态适配器、投影头及部分提示参数可训练；其余细粒度参数开关仍需结合实现核实。

实验关键数据¶

主实验¶

区域相似度 \(\mathcal{J}\) 衡量掩码区域重叠，轮廓准确率 \(\mathcal{F}\) 衡量边界匹配，J&F 是二者的平均值，均越高越好。下表保留原文表 1 的报告值；Ref-YouTube-VOS 与 MeViS 通过官方服务器评测，Ref-DAVIS17 使用官方代码。各基线主要引用各自论文，并非统一重训，因此应在各自训练协议的背景下比较。

方法	总参数量	Ref-YouTube-VOS J&F ↑	Ref-DAVIS17 J&F ↑	MeViS J&F ↑
SAMWISE	202M	69.2	70.6	49.5
ReferDINO	230M	69.3	68.9	49.3
GeoLaV	202M	70.5	72.5	50.0
GLUS-A（大型 VLM，单独参照）	7B	67.3	未报告	51.3

相对同参数量 SAMWISE，三个数据集分别提高 1.3、1.9、0.5 分；相对表中此前最好的非大型 VLM 方法，增益分别为 1.2、1.9、0.5 分。这里都是分数差，不是相对百分比。GeoLaV 在该非大型 VLM 组领先，但 MeViS 上低于大型 VLM 方法 GLUS-A 的 51.3，不能把结论扩大成全部方法无条件最优。

原文表 2 还单独测量“只在图像上训练、直接评测视频”的泛化能力，不能与上表的视频微调结果混为一谈。

图像预训练后直接评测	Ref-YouTube-VOS J&F ↑	MeViS J&F ↑
SAMWISE	31.9	26.4
GeoLaV	47.0	31.6
绝对增益	15.1	5.2

消融实验¶

以下为原文表 3 的 J&F 列，所有配置都先进行图像预训练，再进行视频微调。表题没有单独明确数据集名称，因此保留其“组件消融”口径，不擅自把它写成多个基准的平均分。

配置	第一阶段	第二阶段	J&F ↑
Vanilla Model	基础预训练	基础微调	65.1
平面增强	二维单应变换	基础微调	66.5
仅 MGP	MGP	基础微调	67.2
仅 GAD	基础预训练	GAD	67.5
完整 GeoLaV	MGP	GAD	70.5

相对该表的 Vanilla Model，MGP 单独带来 2.1 分，GAD 单独带来 2.4 分，联合带来 5.4 分。MGP 比平面增强高 0.7 分，支持收益不只是来自“多看几帧”；但 MGP 同时包含数据合成和语义对齐，本表不能独立量化每一项的贡献。此外，表 3 的 Vanilla Model 为 65.1，而主表 SAMWISE 为 69.2，不能将两者当作完全相同的基线。原表部分 J、F 分项与所列均值也不完全吻合，本笔记保留其报告的 J&F，不自行改表。

关键发现¶

最明显的提升出现在图像训练到视频测试的迁移：Ref-YouTube-VOS 从 31.9 升到 47.0，表明预训练输入的跨视角结构值得关注；这不是“完全没有任何预训练”的零样本设置。
组件实验中联合配置比单独 MGP 高 3.3 分，比单独 GAD 高 3.0 分，符合两阶段互补的解释，但论文没有多次运行方差来检验差异稳定性。
运动描述更重要的 MeViS 上，完整训练后相对同规模 SAMWISE 的提升为 0.5 分，弱于另外两个基准；几何先验不等于已经解决复杂运动语言理解。

亮点与洞察¶

把单图数据的价值从“更多静态监督”推进到“可控视角变化”。关键不在帧数本身，而在深度、相机轨迹和遮挡关系共同决定新帧。
对齐的是记忆注意力后的共享特征，而非最终目标掩码。教师可以提供通用视觉结构，文本分割损失继续负责指代对象，二者职责清晰。
双教师用于训练而不随模型部署。这使结构监督可以增强已有视频分割器，而不必把完整三维模型纳入在线处理路径。

局限与展望¶

单图合成依赖估计深度和修复结果，不能恢复原图中不可见区域的真实内容，也不能替代真实动态视频。原文未来方向是开放词汇与更大规模的三维感知多模态分割。
当前全文缺少合成掩码监督细节、教师成本拆分与充分的分支消融；尚不能把 MGP 的收益全部归于几何重投影，或认定几何教师一定比其他稠密教师更有效。
证据以标准分割指标和定性特征可视化为主，没有独立的定量几何一致性指标。加上部分表格数值与基线口径不够清晰，结论宜限定为所报告协议下的分割改善。

评分¶

新颖性: 3/5 — 单图几何增强与双教师蒸馏的组合贴合 RVOS，单个技术部件已有先例。
实验充分度: 3/5 — 有三个基准、图像到视频泛化与阶段消融，但监督细节、统计稳定性和部分数字口径仍需澄清。
写作质量: 3/5 — 两阶段动机容易理解，当前全文的公式提取和若干表格存在可读性或一致性问题。
价值: 4/5 — 展示了增强训练监督而不保留额外推理分支的实用途径，尤其适合关注图像到视频迁移的读者。