Benchmarking Dynamic Affective Reasoning: A Viewer-Centric Video Emotion Dataset¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/4633
全文: 论文 PDF
项目: https://github.com/Zhang-Zhiyan/DAR
领域: VLM推理 / 视频情绪理解
关键词: 动态情感推理、观众视角、事件级定位、差分描述、GRPO

一句话总结¶

DAR 用事件边界、27 类观众情绪和上下文因果解释重新定义视频情绪理解，并用 Qwen2.5-VL-3B 经 SFT 与 GRPO 得到 DAR-R1，在其测试集上实现 41.5% 片段数准确率、52.3% 时间 mIoU 和 28.6% 情绪准确率。

研究背景与动机¶

视频情绪理解通常回答“这个片段是什么情绪”，但这里混合了两个不同对象：画面中的人物在表达什么，以及观看画面的人会有什么感受。人物的表情不一定等于观众的反应；即使人物状态不变，事件的前因后果也可能让观众从好奇转为惊讶。DFEW 等资源主要支持人物表情识别，VCE 虽转向观众视角并提供细粒度类别，仍缺乏密集的事件边界与情绪变化解释。

单个整段标签还抹去了变化发生的时间。把一段视频均匀切成几个窗口并分别分类，也不能解决这一点：同一事件可能跨越窗口，而情绪转折可能只占其中很短的一段。论文借鉴情感事件理论 AET，将情绪看成连续事件触发、并受既往刺激影响的反应。于是，评测需要同时追问“何时变化、变成什么、为什么变化”，而不只是扩展分类词表。

DAR 的贡献首先是监督形式和基准，DAR-R1 则检验模型能否学会这一新输出结构。核心 idea：以事件为时间单位，将当前视觉证据与前一阶段的情绪上下文关联起来，构建观众视角的情感变化链，再通过结构化监督和任务奖励训练模型输出这条链。

方法详解¶

整体框架¶

工作分为离线标注和模型训练两部分。离线管线从 VCE 视频出发，经过事件对齐切分、增量差分描述、情感流推理与复核，产出每段的起止时间、情绪类别和解释；两阶段训练再把这种监督教给一个视频 MLLM。推理时输入视频和任务指令，由 DAR-R1 直接生成片段序列，不必逐次调用整个标注委员会。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["VCE 视频<br/>时长与静态过滤"] --> B["事件对齐切分"]
    B --> C["增量差分描述"]
    C --> D["情感流推理与复核"]
    D -->|低分反馈重写| D
    D -->|通过的标注| E["两阶段训练"]
    E --> F["DAR-R1<br/>时间段、情绪、解释"]

最终 DAR 包含 15,087 个视频、36,908 个情感片段，其中 13,646 个视频用于训练、1,441 个用于测试。视频和片段的平均时长分别为 14.3 秒、5.8 秒，解释平均长 118.8 个词。它不是对真实观众进行逐时刻测量的情绪记录，而是以既有观众情绪候选为条件、通过模型生成和复核获得的标注，这一来源决定了后续结论的适用范围。

关键设计¶

1. 事件对齐切分：先找到语义转折，再校正时间戳

原始 VCE 有 61,046 个视频，管线先去掉短于 1 秒的片段，并结合感知哈希和光流去除静态画面。真正的切分不是按固定时长进行：Gemini-2.5-Pro 先判断叙事变化或情感转折，给出语义边界；PySceneDetect 再检测硬切和淡入淡出，把距离视觉切点不超过 0.5 秒的语义边界吸附到对应帧。前者回答“哪里值得分”，后者补上生成式模型不擅长的精确定位。

但镜头切换并不等于情绪变化，很多完整事件也没有硬切。因此，没有硬切支持的片段交给 InternVL3.5 检查事件完整性，不完整就递归重切或合并。这个设计不是把所有镜头当成独立情绪，而是把切镜作为局部校准信号，保留语义判断对最终事件单位的控制。

2. 增量差分描述：让下一段解释关注变化，而不是重复背景

逐段独立生成字幕容易反复介绍相同人物和场景，真正触发情绪变化的新动作反而被淹没。Qwen3-VL 描述当前片段时同时读取前一段描述，明确关注视觉内容、动作和氛围的变化；首段的历史描述为空。这样，背景信息可以沿上下文继承，新增刺激则在当前描述里被突出，下一阶段更容易判断情绪为何改变。

描述还要通过 Grounding DINO 核对其中显著实体是否能在关联视频帧中定位。这一步给解释提供了对象级证据过滤，但不能被理解为已经验证了整条因果链：实体确实存在，不代表模型对动作、意图或观众感受的推断一定成立。后续复核因此仍不可缺少。

3. 情感流推理与复核：把历史状态、当前刺激和候选情绪连起来

Qwen3-VL 接收前一片段及其描述、情绪，当前片段及其差分描述，还有来自 VCE 的 Top-3 候选情绪，生成 4 组“情绪—理由”候选。推理按“视觉证据→情境评价→情绪触发”组织：先说明看到了什么变化，再解释该变化如何影响观众，而不是先猜标签再堆砌理由。若相邻两段预测同一情绪，管线会合并成持续的情感阶段，并重新生成解释；因此，最终情感片段数并不必须等于最初的事件切分数。

InternVL3.5 与 Qwen3-omni 随后从视觉依据、因果逻辑、观众视角、时间一致性、答案一致性五个维度进行双模型复核。低分候选携带具体反馈返回生成端重写，达到质量阈值才保留。这里既检查“理由能否支持标签”，也检查“是否把人物情绪误当成观众情绪”；但缓存未交代阈值数值、评分聚合细则或反馈循环上限，不能据此断言生成标签已消除主观偏差。

4. 两阶段训练：先学会有效输出，再优化定位和解释代理信号

DAR-R1 以 Qwen2.5-VL-3B 为骨干。SFT 阶段用标准 token 负对数似然学习目标片段序列，每项包含开始时间、结束时间、情绪和因果解释，主要解决严格 JSON 结构和任务表达不匹配的问题。随后 GRPO 对同一输入采样一组输出，以组内奖励比较估计优势，通过裁剪策略更新与 KL 约束限制偏移，无需额外训练独立 critic。它使用已有优化算法，创新重心在监督任务和奖励配置，而非新的策略优化理论。

奖励覆盖五类失败。结构项检查 JSON、时间有效性、过短片段和失控长输出；片段数项约束过分切分或切分不足；时间定位项将预测段与最大时间 IoU 的真实段匹配，兼顾区间重叠和边界误差；情绪项要求标签正确且时间重叠足够；解释项用目标长度与相邻解释的重复程度作代理。时间 IoU 指两个区间交集时长除以并集时长，单有正确标签而时间错误不能算正确情绪定位。

尤其需要区分解释训练奖励和解释评测：前者主要检查长度与重复，并不是由评委直接验证因果真实性。缓存中清楚可读的长度得分为：

\[ \phi(l)=\exp\left(-\frac{|l-\mu_{\mathrm{len}}|}{\sigma_{\mathrm{len}}}\right),\qquad \mu_{\mathrm{len}}=120,\quad \sigma_{\mathrm{len}}=40. \]

这里的长度按每段解释的词数计算，偏离 120 词会衰减；相邻解释用 Jaccard 相似度衡量重复，文中给出的阈值为 0.75。长度合适、用词不同并不自动意味着推理正确，这是理解结果时的重要边界。

一个完整示例¶

原文图 4 展示一段 8.2 秒的视频。DAR-R1 将 0.0–1.5 秒标为 Interest，解释为树枝上人物引起观众好奇；1.5–2.5 秒出现突然的摆荡动作，标签转为 Surprise；2.5–8.2 秒呈现失控落地及后果，标签变为 Empathic Pain，理由对应具体的身体动作和事件后果。这是论文展示的模型输出，不是额外采集的观众实验。

这个例子体现了三个任务如何互相约束：时间边界要对上动作变化，标签要描述观众而非人物的内心，理由还要说明为何从上一情绪转到下一情绪。基座模型把后续解释成 Relief 或对森林的 Aesthetic Appreciation，说明“看见了背景和动作”并不等于“抓住了驱动观众反应的关键事件”。

损失函数 / 训练策略¶

训练使用 4 张 H100，两个阶段均冻结视觉编码器，更新 LLM 和对齐模块。SFT 用 AdamW 训练 0.5 epoch，学习率为 \(1\times10^{-5}\)；GRPO 训练 1 epoch，学习率为 \(2\times10^{-6}\)。结构、片段数、时间定位、情绪、解释五项奖励权重依次为 0.10、0.25、0.25、0.25、0.15。

结构项的三个子权重为 0.5、0.2、0.3，最短片段阈值为 0.4 秒；输出长度软阈值为 1200 tokens，硬阈值为 2400 tokens，衰减尺度为 400。片段数惩罚温度为 1.5；时间定位中 IoU 与边界项权衡系数为 0.5，边界衰减温度为 0.5。

缓存中的式 (1)–(9) 多处有运算符、括号或阈值缺失，且解释去重的可见不等号与文字“惩罚重复”不一致。以上只保留清晰文字和完整的长度子式，不补造 GRPO、结构奖励或去重完整公式；精确复现仍需核对原 PDF 或作者实现。项目地址来自论文正文，本次未联网核验代码开放状态。

实验关键数据¶

主实验¶

下表摘自原文表 2，均在 DAR 测试集评估。SC-Acc 是预测片段数正确的比例；mIoU 是时间区间平均交并比；Emo-Acc 同时要求情绪标签正确及时间 IoU ≥ 0.5。GPT-Score 是 GPT-4o 对五个解释维度的平均评分，范围为 0–5，前三列单位为 %。

模型	SC-Acc	mIoU	Emo-Acc	GPT-Score
AffectGPT	24.3	11.9	5.8	1.1
InternVL-3.5-8B	26.0	39.2	11.5	2.2
Qwen2.5-VL-3B	25.4	41.7	15.0	2.3
Qwen2.5-VL-7B	31.9	45.2	14.9	2.6
Qwen3-VL-4B	29.2	48.2	17.9	2.7
Qwen3-VL-8B	26.2	43.1	17.0	2.6
DAR-SFT	37.7	47.6	25.8	3.0
DAR-R1	41.5	52.3	28.6	3.3

DAR-R1 相比同一基座的 mIoU 提升 10.6 个百分点、Emo-Acc 提升 13.6 个百分点。它优于表中通用基线，但接受了 DAR 专门训练，不能把这种比较解释为参数更少就具有更强的普适情感能力；Qwen3-VL-4B 的 mIoU 也高于仅 SFT 的模型。

消融实验¶

缓存没有独立的逐奖励移除表，也没有报告去掉差分描述、边界吸附或委员会后的指标。下面据表 2 整理真实的训练阶段对照，只检验“继续加入整套 RL 阶段”带来的变化，不冒充单模块因果消融。

训练配置	SC-Acc	mIoU	Emo-Acc	GPT-Score
基座，无 DAR 适配	25.4	41.7	15.0	2.3
仅 DAR-SFT	37.7	47.6	25.8	3.0
DAR-SFT + GRPO	41.5	52.3	28.6	3.3
GRPO 相对 SFT 的增量	+3.8	+4.7	+2.8	+0.3

前三项增量是百分点，最后一项是评分点。SFT 相比基座已把 SC-Acc 和 Emo-Acc 提高 12.3、10.8 个百分点；GRPO 进一步改善定位。GPT 的因果逻辑分由 3.0 升至 3.8，但视觉依据分均为 3.1，因此不能说所有解释维度都同步变好，更不能识别是哪一个奖励独立导致了改善。

原文表 3 还报告 5 名专家对随机抽取的 100 个视频进行评估。各列均为 0–5 分，平均值按原表保留。

模型	视觉依据	因果逻辑	观众视角	时间一致性	答案一致性	平均
AffectGPT	0.6	1.8	0.2	0.1	1.0	0.7
Qwen2.5-VL-3B	2.5	2.3	2.5	2.4	2.8	2.5
Qwen3-VL-4B	3.1	3.5	2.7	2.8	3.0	3.0
DAR-SFT	3.4	3.5	4.0	3.1	3.8	3.6
DAR-R1	4.2	4.5	4.2	3.8	4.4	4.2

关键发现¶

任务适配比单纯增加模型参数更直接：同一 3B 基座的阶段对照支持这一判断，但没有隔离训练数据量、计算量与奖励设计各自的作用。
情绪定位仍然困难：最终 Emo-Acc 仅为 28.6%，其中既包含类别错误，也包含未达到时间重叠阈值的错误，不能当成给定真实切分后的纯分类准确率。
人工评估与自动评估都偏好 DAR-R1，但两者平均分分别为 4.2 与 3.3；排名方向一致不等于分值已校准，也不等于已有统计相关性证明。

亮点与洞察¶

将“观众的情绪”与“人物的情绪”明确分开，使模型不能只凭表情识别完成任务。评价对象的改变比简单增加类别更能暴露理解偏差。
语义提案与视觉切点承担不同职责，避免完全依赖 MLLM 时间戳。类似做法可用于其他事件级视频标注，但仍需保留无切镜事件的完整性检查。
差分描述压低重复背景，历史情绪又约束下一段解释。可迁移的是“解释当前变化为何重要”的监督结构，而不是原封不动复制情绪标签集。

局限与展望¶

论文没有独立的局限性章节；以下是依据其设置与证据作出的分析。

模型生成标注与模型委员会可能共享偏差，Top-3 候选和同情绪合并也会影响最终状态序列。尚不能据此代表不同文化、经历或个体观众的真实反应分布，可补充多人连续标注与分歧建模。
AET 提供了合理的组织原则，但参考理论不等于验证了情绪转变的心理因果。下一步应区分解释文本的连贯性、视觉证据充分性和真实观众体验。
解释奖励的长度和去重都是代理信号；缺乏逐奖励消融，无法判断因果逻辑改善究竟来自何处。可在相同训练预算下比较更直接的视觉证据奖励与现有配置。
数据有长尾，前 17 类约占 80%；缓存未给出逐类结果、跨数据集泛化、随机种子方差或置信区间。人工评估也只覆盖 100 个视频，不能外推为广泛的临床或实时交互能力。
公式提取损坏和部分复现细节缺失限制了离线核验。本文保留明确数字，不把不确定的符号修补成所谓原文公式。

评分¶

新颖性: 4/5。动态观众情绪的监督与评测设计有价值，训练算法本身以已有方法为主。
实验充分度: 3/5。具备多模型、阶段对照和人工评估，但缺少逐组件消融、分布外测试和不确定性报告。
写作质量: 3/5。任务和管线清楚，奖励语义需要更精确说明；缓存公式损坏不应全部归因于原稿。
价值: 4/5。为事件级情绪理解提供了可操作的基准，但离普适、个体化情绪推断仍有明显距离。