CLIP-AUTT: Test-Time Personalization with Action Unit Prompting for Fine-Grained Video Emotion Recognition¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/5438
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/10612.pdf
作者: Muhammad Osama Zeeshan, Masoumeh Sharafi, Benoît Savary, Alessandro Lameiras Koerich, Marco Pedersoli, Eric Granger
代码: https://github.com/osamazeeshan/CLIP-AUTT
领域: 人体理解
关键词: 动作单元、细粒度情绪识别、测试时适应、视频个性化、时间窗口选择

一句话总结¶

CLIP-AUTT 先用动作单元文本与视频的相似度学习表情分类，再在未见受试者的视频中选取最低预测熵的连续片段、仅更新动作单元提示嵌入，使 BioVid 的 WAR 从不做个性化的 CLIP-AU 的 78.0 提升到 81.5。

研究背景与动机¶

细微表情不是把“高兴、悲伤”等宏观标签直接交给 CLIP 就能可靠识别的。疼痛、压力或犹豫可能只表现为短暂的眼部收紧、嘴角变化，且同一段视频中真正有信息的帧只占一部分。现有 CLIP 表情方法常使用类别模板或大语言模型生成的描述；前者语义过粗，后者即便更长，也不必然对应局部肌肉变化。对 CLIP 全量微调可以利用情绪标签，却增加训练成本，也未直接处理这些细粒度线索。

动作单元（Action Unit，AU）提供另一种表示：不直接问“这是什么情绪”，而是先衡量视频与一组局部面部动作描述的对应程度，再学习这些对应关系如何组合成情绪类别。这里仍有个体差异：相似的眉眼或嘴部运动，对不同受试者未必意味着相同状态。单纯在源受试者上训练一个通用映射，不能自动解决目标受试者的表达强度、外观和运动模式变化。

本文先建立保留 CLIP 主干的 CLIP-AU，再用 CLIP-AUTT 处理测试时的个体差异。它不要求为新受试者收集情绪标签，而是利用一段视频中较可靠的连续表情证据调整 AU 表示。核心 idea：以肌肉级文本语义替代粗粒度类别提示，并让最低预测熵的时间窗口驱动逐视频的 AU 提示嵌入更新，而不是重新训练整个识别模型。

方法详解¶

整体框架¶

输入是包含单一目标表情的视频，输出是该视频的情绪类别概率。训练阶段的“AU 语义与时序对齐”构成 CLIP-AU：冻结 CLIP 图像与文本编码器，用轻量 AU 适配器、时序模块和分类器学习源受试者的情绪标签。测试阶段的 CLIP-AUTT 在这个基础上依次执行“低熵时间窗口选择”和“AU 提示个性化”，无需访问源训练视频或目标标签。

这里的个性化不是为一个人维护长期更新的模型。论文明确说明每个目标视频独立适应，处理后重置适应参数；因此一个视频的更新不会延续到下一个视频。整体框架图中的末端重置正是这种隔离机制，避免把逐视频适应误读为跨视频持续学习。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["源视频与情绪标签<br/>AU 文本描述"] --> B["AU 语义与时序对齐"]
    B --> C["低熵时间窗口选择"]
    T["未见受试者的视频"] --> C
    C --> D["AU 提示个性化"]
    D --> E["情绪预测<br/>随后重置适应参数"]

关键设计¶

1. AU 语义与时序对齐：用面部动作组合形成分类依据

作者使用 46 条局部面部动作描述作为文本提示，经冻结的 CLIP 文本编码器得到嵌入，再由两层 MLP 组成的 AU 适配器调整到情绪识别所需的语义空间。这不是让语言模型为每段视频生成说明，也不需要训练集提供 AU 标签。AU 在这里充当结构化语义参照；一个情绪可以对应多个动作，因此不能把识别问题简化为“选择相似度最高的 AU”。

视频分支先用冻结的图像编码器提取逐帧特征，再通过轻量一维时序模块、门控线性单元（GLU）和平均池化形成视频表示。时序模块关注连续帧中的局部变化，GLU 用可学习门控调节特征响应，而不是无差别平均所有帧。正文将其称作一维卷积时序编码器，实现段又描述为含单个线性层的轻量 1D CNN；笔记保留其共同确定的“时序编码、门控、池化”结构，不补造卷积层数或核大小。

聚合后的视频表示分别与 46 个 AU 嵌入计算余弦相似度，得到一个包含全部 AU 对应程度的向量；两层情绪分类 MLP 再把这个向量映射为类别概率。训练信号来自视频级情绪标签，更新 AU 适配器、时序模块和分类器，而非 CLIP 两个主干编码器。如此既能利用预训练跨模态空间，又能学习“哪些 AU 组合有助于区分当前任务”，无需把 AU 检测另做一个有监督任务。

这些相似度可以帮助解释预测依据，却不是经过标定的肌肉激活概率。论文用外部 OpenFace 检测器作定性对照，而非用真实 AU 标签证明每个坐标都对应正确动作；因此更准确的说法是“AU 语义相似度表示”，而不是已经获得可靠 AU 强度测量。

2. 低熵时间窗口选择：只让较可靠的连续证据参与适应

测试视频开头、结尾可能接近中性，表情峰值则只出现在中间一小段。若直接用整段视频进行无标签适应，模糊帧可能稀释有用信号。CLIP-AUTT 在逐帧特征上滑动长度为 \(L\) 的连续窗口，步长为一；包含 \(T\) 帧的视频因而产生 \(T-L+1\) 个候选窗口。每个窗口通过训练好的时序模块，与 AU 嵌入计算相似度，再由固定分类器得到情绪概率。

窗口选择依据是情绪类别分布的 Shannon 熵，而不是把 AU 相似度直接归一化后求熵。设 \(p_i(c)\) 是窗口 \(i\) 对情绪类别 \(c\) 的预测概率，类别总数为 \(C\)，则论文的选择准则可清晰写为：

\[ h_i=-\sum_{c=1}^{C}p_i(c)\log p_i(c),\qquad i^*=\arg\min_i h_i. \]

概率越集中，熵越低；算法只保留这个最低熵窗口用于后续 AU 提示更新。连续窗口避免将相隔较远的高置信帧拼成没有真实运动过程的片段，时序编码也使候选比较利用了局部动态。不过，低熵仅表示模型自信，并不能保证窗口的真实情绪判断正确，“最有表现力”是作者对这一选择的解释，而不是额外的人工峰值标注。

3. AU 提示个性化：固定视觉与分类路径，只移动文本语义参照

选定窗口后，模型保留其时序视觉表示，重新计算与 AU 嵌入的余弦相似度，再经固定分类器得到类别概率。适应目标是降低这个预测分布的熵，让 AU 表示在目标视频上形成更明确的情绪证据。更新对象是连续的 AU 提示嵌入，不是重新生成自然语言描述，也不是用目标标签训练分类器；CLIP 编码器、时序模块及其他模块保持冻结。

这个设计把个性化放在视觉与文本之间的接口：视觉特征和分类器不变，调整的是同一目标表情与肌肉级语义参照之间的关系。源阶段提供通用 AU 组合映射，测试阶段只在当前视频上校准它。正文给出熵最小化的文字说明，但缓存中的适应损失公式存在符号抽取缺失，因此这里不把损坏的公式当作可复现实现；其明确意图是最小化与窗口选择相同类型的类别预测熵。

每个视频结束后，更新后的 AU 嵌入恢复到适应前状态。这可以限制不同视频间的误差累积，但不能消除当前视频内的确认偏差：如果初始预测非常自信却错误，继续降低熵也可能把错误强化。论文报告的是这种无标签更新的经验收益，而不是对正确适应的保证。

一个完整示例¶

以一个新受试者的疼痛视频为例，系统先逐帧提取特征，按 BioVid 消融中效果最好的 16 帧窗口形成连续候选。所有候选共享同一个时序模块、同一组初始 AU 嵌入和同一个分类器，因此最低熵比较发生在相同模型条件下，而不是各窗口先单独微调后再比较。

随后只取最低熵候选进行提示更新：它的视觉表示保持固定，AU 嵌入调整后，相似度向量和情绪概率随之改变。分类器利用的是整组 AU 线索，不要求事先规定“出现某个 AU 就一定是疼痛”。完成当前视频预测后重置 AU 嵌入；下一个视频重新从源模型对应的状态开始。本例说明算法顺序，不虚构样本的分类结果或适应步数。

损失函数 / 训练策略¶

源阶段使用情绪标签进行监督训练；正文缓存的监督损失式也有字符缺失，因此不据此断言其完整代数形式。测试阶段仅使用所选窗口上的无标签熵最小化，不能将“测试时不需要标签”扩展成“整个方法零样本、无源训练”。

实现段报告 AdamW、学习率 \(1\times10^{-3}\)、权重衰减 \(1\times10^{-4}\)；CLIP-AU 批大小为 8，CLIP-AUTT 逐视频处理、批大小为 1。缓存正文没有充分交代测试时梯度步数、停止准则等细节，因此这些不作为笔记中的确定配置。

实验关键数据¶

主实验¶

BioVid 使用 77 名源受试者和 10 名目标受试者，StressID 为 44/10，BAH 为 143/10；下表均是原表 1 对每个数据集 10 名目标受试者的平均结果。WAR 是按类别样本占比加权的召回率，本文将其等同于总体准确率；F1 综合精确率与召回率，但缓存正文未明确其平均方式，不能擅自标作 macro-F1。两项指标均越高越好，表中沿用百分制数值。

方法与设置	BioVid WAR ↑	BioVid F1 ↑	StressID WAR ↑	StressID F1 ↑	BAH WAR ↑	BAH F1 ↑
CLIP-ViT-B/32，全量微调	69.7	66.6	67.0	44.5	60.4	39.8
CLIP-AU，源阶段轻量训练	78.0	74.8	66.5	58.5	68.3	40.3
PromptAlign，TTA	75.3	71.6	74.6	53.2	67.1	39.7
T3AL，改为分类任务的 TTA	76.1	72.9	75.9	59.4	67.9	40.7
CLIP-AUTT，TTA	81.5	78.0	80.8	77.9	69.8	41.1

相对表中 T3AL，CLIP-AUTT 的 WAR 分别提高 5.4、4.9、1.9 个百分点，F1 分别提高 5.1、18.5、0.4 个百分点。这里是同一数据集内的分数差，不是相对百分比增长。对比方法并非共享完全相同的源训练结构：论文说明 TTA 基线采用源受试者上全量微调的 CLIP-ViT-B/32，CLIP-AUTT 则建立在 CLIP-AU 上，因此主表不能单独隔离某个适应组件的贡献。

消融实验¶

原表 5 在 BioVid 上拆分两个测试时组件；起点均为 CLIP-AU，所有分数沿用主实验定义。

配置	WAR ↑	F1 ↑	说明
CLIP-AU	78.0	74.8	无窗口选择、无 AU 提示更新
仅低熵时间窗口选择	78.7	75.2	只更换输入片段
仅 AU 提示个性化	80.0	76.4	不加低熵窗口选择
两者结合，CLIP-AUTT	81.5	78.0	完整模型

单独更新 AU 提示带来 2.0 个 WAR 点，单独选窗带来 0.7 个 WAR 点；组合后较 CLIP-AU 提高 3.5 个 WAR 点、3.2 个 F1 点。这支持“适应什么”和“用哪段视频适应”都重要，但不代表已有统计显著性检验。

关键发现¶

窗口并非越长越好。原表 4 的 BioVid WAR 在 8、16、32、64、72 帧窗口下分别为 78.8、81.5、79.8、80.0、79.0；16 帧在这组消融中最佳，不能直接推广为所有视频任务的最佳长度。
AU 语义不只是增加提示数量。使用同样 46 条通用类别提示的对照，在 StressID 的源阶段 WAR 为 61.3，测试时适应后为 44.1；对应 CLIP-AU/CLIP-AUTT 为 66.5/80.8。通用提示对照下降 17.2 个百分点，笔记以表格为准，不沿用正文“接近 15%”的粗略说法。
收益有明显数据集差异。BAH 的最终 F1 仅为 41.1，且相对 T3AL 只提高 0.4 个百分点；作者将其困难与设备、光照、头部运动及说话等变化联系起来，不能据总体排名认定所有场景均已可靠。

亮点与洞察¶

语义粒度与预测粒度分开：输入提示描述局部面部动作，最终标签仍是情绪。这使模型能学习多 AU 的组合，而不强迫一个文本提示对应一个情绪类别。
选窗不仅是推理裁剪，还决定测试时梯度由哪些视觉证据驱动。组件消融说明，适应信号的来源本身值得与参数更新对象一起设计。
冻结大模型不等于不训练。本文把源监督学习集中在轻量模块，把目标适应集中在 AU 嵌入，清楚地区分了通用知识、任务映射与逐视频校准。

局限与展望¶

单一表情和连续峰值是重要假设。多表情混合、没有清晰峰值或模型对中性片段错误自信时，最低熵窗口未必代表正确目标状态；正文没有提供充分的失败率分析。
无真实 AU 标签时，可解释性主要来自文本先验及外部检测器的定性一致性，不能等同于经过验证的肌肉动作测量。细微面部线索也不应被视作对个人内在情绪的确定性判断。
主表每个数据集仅平均 10 名目标受试者，虽有扩大目标池的分析，仍缺少主表的方差或置信区间。BAH 的低 F1 说明自然场景泛化还有明显距离。
复现信息存在缺口：缓存公式抽取受损，AU 编号与动作描述在部分图中并不一致，且测试时更新步数与 F1 平均方式不够清楚。复现应核对原始 PDF 与代码，不根据图中的标签自行构造完整 AU 词表。

评分¶

新颖性: 4/5。AU 语义表示与逐视频低熵提示适应的结合有针对性，基础组件本身较成熟。
实验充分度: 3/5。覆盖三个数据集、主流基线及组件消融，但缺少充分的不确定性报告与复现细节。
写作质量: 3/5。两阶段方法逻辑明确，正文存在基线命名和数值表述不一致，缓存公式也不宜直接使用。
价值: 4/5。为细粒度视频表情的轻量个性化提供了清晰方案，但真实场景可靠性仍受限。