TACO: Towards Task-Consistent Open-Vocabulary Adaptation in Video Recognition¶

会议: NeurIPS 2026
arXiv: 2606.25478
OpenReview: https://openreview.net/forum?id=9qHLzDW8KJ
代码: https://github.com/ZMHH-H/TACO
领域: 视频理解
关键词: 开放词表视频识别, 任务一致性适应, 相对结构蒸馏, 空间解耦, CLIP适应

一句话总结¶

针对开放词表视频识别中微调目标局限于已知类别分布而评估面向未知类别的目标不一致矛盾，TACO通过高斯随机几何锚点引导的相对结构蒸馏保持全局表征几何一致性，并利用轻量残差特化投影解耦表征与优化空间，大幅提升了模型在未见视频动作类别上的零样本迁移泛化能力。

研究背景与动机¶

基于大规模图文预训练的视觉语言模型（如 CLIP）在图像域建立了跨模态语义对齐，展现出强大的开放词表零样本泛化能力。为了降低大规模视频-文本数据从头预训练的高昂开销，近年来的主流工作尝试直接微调 CLIP 的联合嵌入空间，从而向模型注入捕捉视频时序动态特性的能力。然而，视频下游微调与开放词表评估之间存在内在的泛化-特化权衡（generalization-specialization trade-off）：微调过程依赖于有限规模的已知动作类别（如 Kinetics-400 的 400 类）进行监督，但最终开放词表测试却要求模型能够泛化识别分布外（OOD）未见动作类别。

尽管现有工作通过权重轨迹插值（如 Open-VCLIP）或特征残差蒸馏约束（如 FROSTER）尝试平衡泛化与特化，但其优化目标本质上依然被严格限制在已知微调数据分布（ID 空间）之内。由于测试数据表征与训练数据张成的 ID 子空间并不正交，且微调时缺失针对分布外空间的显式几何约束，导致视觉特征与文本特征在分布外区域发生非对称的表征漂移（representation drift），剧烈破坏了预训练阶段习得的跨模态全局对齐关系。实验进一步揭示：直接替换微调后模型的文本编码器回原始冻结 CLIP 对分布外泛化几乎没有负面影响（谐波均值 66.3% vs. 66.2%），表明开放词表泛化的基石始终植根于 CLIP 原始语义空间，而过度偏移的跨模态相似度结构正是导致分布外泛化崩溃的罪魁祸首。

显式采集真实的跨模态 OOD 负样本需要海量配对数据和沉重计算负担，在实际微调中并不可行。本文认为，解决目标不一致的关键并不在于精准拟合真实的分布外语义，而在于维持整个联合表征空间相对于预训练几何流形的拓扑结构一致性，同时避免微调分类损失直接扭曲通用表征本身。核心 idea：通过从超球面各向同性采样随机几何锚点构建无需真实语义标注的相对结构蒸馏（RSD），约束全空间相对关系以抑制分布外对齐漂移，并引入轻量残差特化投影将训练优化空间与测试表征空间彻底解耦。

方法详解¶

整体框架¶

TACO 的核心目标是在向 CLIP 注入视频辨识能力的同时，保护全空间语义拓扑结构不受局部类别监督的过度侵蚀。对于输入视频 \(V\)，视觉编码器提取视频表征后，一方面输入一个轻量级可丢弃的特化投影头（Specialization Projection），将表征映射到优化空间用于计算标准的视频分类交叉熵损失 \(\mathcal{L}_{CE}\)；另一方面，未投影的基础视觉表征与文本表征送入相对结构蒸馏（Relative Structure Distillation, RSD）模块。RSD 从 CLIP 超球面上按标准高斯分布采样无语义属性的随机几何锚点，通过动量更新的 EMA 教师模型建立包含 ID 与 OOD 参照的全局相对拓扑约束。在推理评估阶段，特化投影头被直接丢弃，仅使用纯净的基础表征与类别文本进行跨模态余弦相似度匹配。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    IN["输入视频 V 与候选类别文本 C"] --> FEAT["多模态编码提取<br/>学生特征 (vs, Ws) 与 EMA 教师特征 (vt, Wt)"]
    FEAT --> SP["特化投影解耦<br/>残差线性映射构建优化表征 v^"]
    FEAT --> RSD["相对结构蒸馏<br/>超球面单位高斯随机几何锚点 Z 引导拓扑对齐"]
    SP --> CE["监督分类损失 L_CE<br/>视频-文本跨熵优化"]
    RSD --> LOSS_RSD["结构一致性损失 L_RSD<br/>锚点介导的相对关系 KL 散度"]
    CE --> TOTAL["联合多任务优化目标<br/>L = L_CE + λ L_RSD"]
    LOSS_RSD --> TOTAL
    TOTAL -->|推理测试| EVAL["丢弃特化投影头<br/>直接以纯净通用表征进行开放词表识别"]

关键设计¶

1. 相对结构蒸馏：构建无监督超球面几何锚点以维持全空间拓扑一致性
传统知识蒸馏（如特征 \(L_2\) 逼近或分类对数 KL 散度）仅作用于当前批次的训练样本，其实质依然是让学生在局部 ID 空间模仿教师，无法对未见类别的分布外表征提供结构约束。TACO 的关键洞见在于：保护分布外泛化无需显式收集真实的分布外文本或视频，只需利用空间几何流形的相对拓扑骨架。由于预训练 CLIP 的多模态表征在 \(D\) 维单位超球面上实际聚集于极窄的锥形区域（内在维度估计仅为 11），超球面的其余区域构成了天然且无偏的广义 OOD 空间。TACO 每次迭代直接从标准高斯分布 \(\mathcal{N}(0, \bm{I})\) 采样 \(M\) 个随机向量并归一化投影至单位超球面，构成几何锚点矩阵 \(\bm{Z} \in \mathbb{R}^{M \times D}\)。这些几何锚点与微调样本发生碰撞的概率近乎为零，充当了测量全局几何扭曲的“空间基准标尺”。

通过将视觉表征 \(\bm{v}\) 和文本类别矩阵 \(\bm{W} \in \mathbb{R}^{N \times D}\) 经由锚点 \(\bm{Z}\) 投影，构建锚点介导的关系张量 \((\bm{v}\bm{Z}^\top)(\bm{Z}\bm{W}^\top)\)。该矩阵乘积精确反映了微调类别与广义分布外空间之间的相对几何构型。利用动量系数 \(\alpha=0.9998\) 缓慢更新的 EMA 教师模型提供平滑的结构参照，定义相对结构蒸馏损失为教师与学生预测分布间的 KL 散度：

\[\mathcal{L}_{RSD} = D_{KL}\left(\sigma\left(\frac{(\bm{v}_t \bm{Z}^\top)(\bm{Z} \bm{W}_t^\top)}{\tau}\right) \parallel \sigma\left(\frac{(\bm{v}_s \bm{Z}^\top)(\bm{Z} \bm{W}_s^\top)}{\tau}\right)\right)\]

其中 \(\sigma\) 为 Softmax 操作，\(\tau\) 为温度超参数。该设计巧妙绕开了昂贵的数据收集，迫使学生网络在学习视频判别特性的同时，将其对整个表征空间的几何扭曲严格限制在教师流形的相对框架内。

2. 表征-优化空间解耦：可丢弃残差特化投影隔绝任务过拟合
在标准微调管线中，表征空间与优化空间完全重合，分类交叉熵损失会直接向主干编码器施加剧烈的梯度牵引，将原本各向同性、具有强迁移性的视觉表征压入特定于训练类别的狭窄子空间。为了阻断这一过特化压力，TACO 提出在视觉编码器输出后插入一个无激活函数的轻量残差投影头 \(h(\cdot)\)：

\[\hat{\bm{v}} = h(f_{\theta_v}(V)) + f_{\theta_v}(V)\]

投影头参数采用全零初始化以保证微调初期的平滑过渡，并采用比主干高出约 13 倍的学习率（\(5\times 10^{-5}\) 对比 \(3.75\times 10^{-6}\)），主动吸收拟合已知类别分类所需的任务特化偏置。而在测试推理时，该投影头被彻底丢弃，下游零样本匹配直接基于底层未受过特化污染的通用表征 \(f_{\theta_v}(V)\) 计算。这种结构性解耦有效避免了分类交叉熵直接破坏底层特征的开放词表对齐。

损失函数 / 训练策略¶

模型的总体训练目标由监督分类交叉熵损失与相对结构蒸馏损失线性组合而成：

\[\mathcal{L} = \mathcal{L}_{CE} + \lambda \mathcal{L}_{RSD}\]

实验中损失权重默认设为 \(\lambda = 0.4\)。模型基于 8 帧稀疏采样视频输入，在 3 张 RTX 4090 GPU 上使用 AdamW 优化器（权重衰减 0.2，batch size 192）进行 15 个 epoch 的半周期余弦衰减微调。几何锚点数量设定为 \(M=200\)，且在每个训练 step 动态重新采样；EMA 教师动量更新系数设为 \(\alpha=0.9998\)。

实验关键数据¶

主实验¶

在代表性 cross-dataset 跨数据集评估协议下（在 Kinetics-400 上训练，在未见类别的 UCF-101、HMDB-51 与 Kinetics-600 测试集验证划分上评估零样本识别 Top-1 准确率），TACO 相比既有 SOTA 取得显著且一致的性能优势：

数据集	骨干模型	帧数	本文 (TACO)	之前SOTA (Open-MeDe / FROSTER)	提升
UCF-101 (3 splits)	ViT-B/16	8	85.6 ± 1.2%	84.8 ± 1.1% (FROSTER)	+0.8%
HMDB-51 (3 splits)	ViT-B/16	8	60.0 ± 0.5%	55.8 ± 0.9% (MoTE)	+4.2%
Kinetics-600 (3 splits)	ViT-B/16	8	77.0 ± 0.9%	74.8 ± 0.9% (FROSTER)	+2.2%
UCF-101 (3 splits)	ViT-L/14	8	91.4 ± 0.7%	88.7 ± 0.6% (MoTE)	+2.7%
HMDB-51 (3 splits)	ViT-L/14	8	64.2 ± 0.8%	61.4 ± 1.3% (MoTE)	+2.8%
Kinetics-600 (3 splits)	ViT-L/14	8	83.9 ± 0.7%	81.1 ± 0.8% (Open-VCLIP)	+2.8%

在 Base-to-Novel 设置下（在基类上训练，测试基类与新类的谐波均值 HM），以 ViT-B/16 为例，TACO 在 UCF-101 上达到 HM 88.5%（新类 82.2%），大幅超过 FROSTER 的 HM 87.0%（新类 80.0%）；在 HMDB-51 上达到 HM 67.8%（新类 62.3%），全面刷新基准。

消融实验¶

基于 ViT-B/16 骨干网络在 UCF-101、HMDB-51 和 Kinetics-600 split1 上的核心消融验证各组件的独立与协同增益：

配置	UCF-101 Top-1	HMDB-51 Top-1	Kinetics-600 Top-1	说明
Baseline (标准微调)	82.8%	52.0%	73.4%	无正则微调，发生严重 OOD 表征漂移
+ 特化投影 (Spec. Proj.)	83.7%	53.2%	74.8%	解耦优化空间，显著抑制过特化 (+0.9/+1.2/+1.4)
+ 结构蒸馏 (\(\mathcal{L}_{RSD}\))	84.5%	52.9%	75.2%	超球面几何锚点有效规整全空间流形 (+1.7/+0.9/+1.8)
Full model (TACO 完整配置)	84.9%	54.2%	75.7%	双机制正交协同，全指标达到最优 (+2.1/+2.2/+2.3)
几何锚点换用 LLM 生成类别词	83.7%	53.2%	74.6%	存在语义偏差且空间覆盖不均，不如纯高斯采样
几何锚点换用 WebVid-10M 文本	84.2%	53.8%	75.5%	逼近高斯采样但带来显著文本编码与检索开销
几何锚点换为任意随机矩阵 \(\bm{Z}\bm{Z}^\top\)	75.2%	46.8%	69.2%	破坏超球面几何流形，导致训练崩溃退化

关键发现¶

随机高斯几何锚点优于真实语料锚点：对比使用真实视频文本库（WebVid-10M）或 LLM 生成词汇提取的文本锚点，直接从超球面各向同性高斯采样的几何锚点性能更高且完全零检索计算开销。这证明蒸馏增益并非源于具体的分布外语义概念，而是依赖无偏、均匀覆盖超球面的空间几何支撑。
空间解耦有效避免特征受污染：消融实验表明若在评估阶段强行保留特化投影头，UCF 识别率从 83.7% 跌落至 83.3%，证实投影分支确实吸收了面向训练集的过拟合偏置，丢弃投影头能直接释放底座特征的跨类别泛化潜力。
正交兼容多种微调范式：将 TACO 嵌入 ST-Adapter、Vita-CLIP、LoRA 等既有微调方法中，均能带来持续稳健的零样本涨点（例如在 ST-Adapter 上，K600 跨数据集指标从 60.2% 飙升至 73.9%，净增 +13.7%）。

亮点与洞察¶

空间几何视角打破数据收集依赖：打破了“处理分布外泛化必须收集或合成分布外数据”的思维定势，巧妙借助 CLIP 超球面的狭窄锥形几何分布特性，用无语义的高斯采样点建立虚拟分布外锚点，实现了零数据成本的全空间几何对齐。
表征与优化的残差解耦设计极具通用性：通过残差线性层和差异化大学习率构造一个“可丢弃的特化吸收器”，将破坏通用性的任务特化损失物理隔离在优化分支，这一范式不仅限于视频，还能直接拓展至其他多模态下游适配任务。
实验深入揭示了跨模态对齐偏移的本质：通过编码器互换实验与 KL 散度定量分析，明确指出下游微调中适度的对齐更新有助于弥合图像-视频域鸿沟，但过度偏移会瓦解跨模态对齐，为后续开放词表研究提供了定量的度量标尺。

局限与展望¶

细粒度时序推理增益相对有限：在极度依赖长程精细时序因果的 Something-Something V2 数据集上，新类提升幅度相对平缓（新类准确率从基线 5.3% 提升至 12.4%，与专门时序网络仍有差距），未来可探索将空间几何一致性约束与显式时序交互模块深度融合。
教师动量系数需要精细配置：EMA 教师模型的动量更新系数对超参数较敏感（0.9998 表现最佳，过大则教师僵化阻碍学新知识，过小则流形不稳定导致漂移），未来需要更自适应的教师演化更新机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用超球面各向同性高斯锚点实现免数据的全空间拓扑蒸馏，表征-优化空间解耦构思精巧。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖跨数据集、Base-to-Novel、图像域泛化、适配多种参数高效微调方法及详尽消融。
写作质量: ⭐⭐⭐⭐⭐ 动机分析深入透彻，数学形式简洁优美，实验图表信息量密集且论据扎实。
价值: ⭐⭐⭐⭐⭐ 为开放词表视觉语言模型适应下游任务提供了一个即插即用、低开销且鲁棒性极强的通用解决方案。