Emotion Understanding in Streaming Video with Trajectory-Aware Reliability¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/APTX574/Trace
领域: 视频理解
关键词: 流式视频理解、多模态情感识别、信念轨迹、可靠性评估、自适应重解释
一句话总结¶
针对流式视频中前缀预测片面且容易产生虚假高置信度的问题,提出基于轨迹感知的可靠性决策框架 TRACE,利用轻量音频流动态构建情感信念演化轨迹,通过风险与收益双头网络评估轨迹稳定性并自适应触发跨模态重解释,在仅调用 55.58% 重解释率的情况下达到 69.47% 的高准确率。
研究背景与动机¶
视频情感理解一直是情感计算、人机交互以及对话系统的基石,传统多模态情感识别方法大多建立在离线全观测的假设之上,即只有在整段视频、完整对白与多模态上下文全部就绪后才执行分类预测。然而在具身智能、实时心理辅导与在线会议分析等实时交互场景中,系统必须在用户说话与交互的进行过程中动态感知情绪,而不能将判断拖延至对话结束。现有的流式视频理解方法虽然能够实时识别动作或场景,但普遍将每个截断前缀视为孤立静态输出,忽视了情感线索在时间维度上逐步累积、动态演进以及前缀预测相互关联的连续特性。
这种离线范式向流式部署迁移的核心矛盾在于多模态信号的到达时间不对称性与孤立前缀预测的不可靠性。在流式场景中,音频信号具备极低的传输延迟与高密度的副语言特征(如语调、语速、停顿与音量起伏),是构建低延迟在线情感估计的天然媒介;相反,视觉画面与完整文本对白往往承载上下文补充与语义纠偏作用,但处理开销巨大且存在延迟滞后。若直接在音频前缀上进行早退判定,单一前缀的高置信度常常带有欺骗性——短期的声学尖峰可能诱发瞬时置信度激增,但背后的类别分布却在相邻时刻剧烈振荡,从而导致灾难性的早期误判;若对所有流式片段均无差别调用重型跨模态模型,又会造成严重的算力浪费并彻底破坏实时响应指标。
本文的切入角度是将流式视频情感理解重构为一个动态的信念演进与不确定性校验过程:系统不仅要利用音频前缀进行低延迟的渐进式推理,更要持续追踪情感信念分布在时间序列上的变化轨迹,据此自适应判定证据是否充分以及是否需要引入昂贵的跨模态上下文协同。核心 idea:将流式视频情感理解重塑为「音频前缀信念演化-轨迹校准可靠性评估-选择性上下文重解释」的三阶段动态决策过程,依托置信度、熵变与类别跳变等轨迹动力学自适应分流,在低延迟在线提交与高精度跨模态回溯之间取得最优平衡。
方法详解¶
整体框架¶
TRACE 框架打破了离线全量预测与静态前缀分类的固化逻辑,将流式处理解耦为高效的在线前缀信念生成、轨迹校准的可靠性评估以及按需触发的上下文信念重解释三个互补模块。首先,系统通过语音活动检测(VAD)将连续视频流分割为话语单元,利用轻量级多模态模型基于流式到达的音频前缀持续输出情绪概率分布,形成随时间演进的信念轨迹;其次,可靠性评估模块实时提取信念轨迹中的统计特征与动力学特征,通过双头网络预测在线预测出错的风险以及引入上下文纠偏的潜在收益,指导强化决策策略做出立即提交、继续等待或请求重解释的动作;最后,针对被判定为不可靠的波动样本,系统激活深层跨模态重解释模块,整合视觉帧序列、完整转录文本、对话历史记忆与既有信念轨迹,输出修正后的情感标签、逻辑归因以及更新后的上下文记忆。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["流式视频话语输入<br/>VAD 话语切分流"] --> B["在线音频前缀信念生成"]
B -->|递增音频前缀与信念序列| C["轨迹校准可靠性评估"]
C -->|稳定充分: commit| D["即时在线提交<br/>输出当前音频信念标签"]
C -->|证据不足: wait| B
C -->|波动疑难: reinterpret| E["上下文信念重解释"]
E --> F["修正决策输出<br/>输出修正标签 + 解释理由 + 更新记忆"]
关键设计¶
1. 在线音频前缀信念生成:单一前缀片面性痛点下的渐进式非自回归信念追踪
针对流式交互中完整多模态输入存在延迟滞后且传统模型重复编码全量历史开销过大的问题,该模块确立了以流式音频前缀为主导信号的低延迟信念追踪机制。音频信号天然包含语调、停顿、节奏与颤音等强情感线索,非常适合增量式推理。对于话语单元 \(V_k\) 在时间步 \(t\) 观测到的音频前缀 \(a_{1:t}\),模块采用 Qwen2.5-Omni-3B 骨干网络,仅将任务指令与当前音频片段序列 \([q, a_{1:t}]\) 送入模型,计算情绪标签空间 \(\mathcal{Y}\) 上的概率分布:
当前时间步的在线预测为 \(\hat{y}_{k,t}^{on} = \arg\max_{y \in \mathcal{Y}} p_{k,t}(y)\)。特别地,模型各时间步输出的情感标签仅被用来在外部构建信念分布轨迹 \(B_{k,1:t} = \{p_{k,1}, p_{k,2}, \dots, p_{k,t}\}\),而严禁自回归拼接入下一个时间步的输入序列中。这种非自回归的设计确保后续信念更新始终直接由新到达的音频声学证据驱动,避免了前期误判在上下文缓存中形成幻觉累积,同时能够充分复用 KV Cache,极大地缩短了前缀推理延迟。为了平衡极早期弱证据与近完整片段强证据的监督信号,训练阶段引入按观测时长比例 \(r_t = t / T_k\) 加权的时间加权交叉熵损失:
使模型在学会从微弱的前缀声学线索中快速建立初始信念的同时,对接近完整话语的前缀施加更高惩罚权重。
2. 轨迹校准可靠性评估:静态置信度欺骗性痛点下的风险收益双头策略分流
针对单一前缀最大概率常因局部声学瞬态激增而产生虚假高置信度、无法反映真实分类可靠性的瓶颈,该模块从完整的信念分布轨迹中抽取时间演进与分布稳定性特征 \(z_{k,t} = \phi(B_{k,1:t})\)。特征空间全面涵盖:当前分布特征(最大置信度 \(c_t\)、信息熵 \(H_t\)、头两名类别间距 \(m_t\))、相邻前缀的时间动力学变化(\(\Delta c_i, \Delta H_i, \Delta m_i\) 的均值、最大值与最新值)、相邻分布间的 Jensen-Shannon 散度 \(JS(p_{k,i}, p_{k,i-1})\)、标签跳变次数 \(S_t = \sum_{i=2}^t \mathbb{I}(\hat{y}_{k,i}^{on} \ne \hat{y}_{k,i-1}^{on})\)、Top-1 标签持久度 \(P_t = \frac{1}{t}\sum_{i=1}^t \mathbb{I}(\hat{y}_{k,i}^{on} = \hat{y}_{k,t}^{on})\)、熵曲线下面积 \(\text{AUC}_H(t)\) 以及观测进度比率 \(r_t\)。
基于轨迹状态 \(z_{k,t}\),构建参数共享的轻量级双头网络:风险头 \(q_\psi(z_{k,t})\) 预测当前在线预测发生错误的概率(目标为 \(e_{k,t} = \mathbb{I}(\hat{y}_{k,t}^{on} \ne y_k)\)),收益头 \(g_\omega(z_{k,t})\) 预测引入上下文重解释能否成功纠错(目标为 \(b_{k,t} = \mathbb{I}(\hat{y}_{k,t}^{on} \ne y_k \land \hat{y}_k^{rev} = y_k)\))。双头联合损失函数为:
权重 \(w_{k,t}\) 重点强化那些重解释确实能带来增益的样本,压制重解释反而引入噪声的边界情况。最终,轻量决策头 \(f_\theta\) 融合轨迹状态与风险-收益预测值,生成动作分布 \(s_{k,t} = \text{softmax}(f_\theta(z_{k,t}, q_\psi, g_\omega))\),在“立即提交(commit)”、“继续等待(wait)”与“重解释(reinterpret)”之间选取概率最优动作,实现精细化计算路由。
3. 上下文信念重解释:局部模态歧义痛点下的跨模态证据融合与可解释溯因
针对反讽、隐性情绪或声学特征含混导致音频轨迹长期震荡的疑难样本,系统选择性触发重型跨模态模型 Qwen2.5-Omni-7B 进行全局重审。该模块不是从零开始重新分类,而是将前期形成的音频信念轨迹 \(B_{k,1:t}\) 作为先验线索,与当前话语完整音频 \(a^{(k)}\)、以 2 fps 抽样的视觉帧序列 \(o^{(k)}\)、语音转录文本 \(s^{(k)}\)、前序话语多模态上下文 \(V_{k-1}\) 以及历史交互记忆总结 \(M_{k-1}\) 进行深层次交叉融合,构成联合输入 \(C_k = \{a^{(k)}, o^{(k)}, s^{(k)}, V_{k-1}, M_{k-1}, B_{k,1:t}\}\)。
重解释模型通过统一的多模态生成管道执行结构化推理,形式化表述为:
其中 \(\hat{y}_k^{rev}\) 为修正后的最终情绪类别,\(R_k\) 为模型基于面部微表情、视线方向、肢体姿态与前后语义连贯性生成的显式判定理由,\(M_k\) 则是更新后的话语情境摘要,用于充当后续话语的长期记忆。显式生成判定理由迫使大模型将注意力锚定在跨模态互补细节上,避免了纯黑盒分类下的伪相关学习;而将前置信念轨迹作为显式参考,使模型能够清晰洞察“在线音频为何产生犹疑(如在愤怒与焦虑之间持续摇摆)”,从而有针对性地调取视觉和对话语义证据进行裁决。
一个完整示例¶
在 StreamMER 数据集的一个代表性会话中,角色 Erica 质问 Joey:“Who? Sabrina. I know about you two! I saw you today, kissing in the doctor's lounge.”(谁?Sabrina!我知道你们俩的事了!我今天看到你们在医生休息室接吻)。 - 在线前缀生成阶段:在 1.5s 至 3.5s 的早中期前缀中,音频音调高亢短促,在线模型输出的情感分布主要被喜悦(Joy)占据(概率分别为 0.46, 0.77, 0.71, 0.45);但随着第 4.5s 以后语调变得尖锐严厉,前缀预测突变为惊讶(Surprise)(概率 0.62, 0.55, 0.51)。 - 轨迹可靠性评估阶段:系统检测到轨迹中发生标签跳变(\(S_t = 1\)),Top-1 持久度从 1.0 骤降至 0.57,相邻概率分布的 JS 散度与信息熵明显抬升。风险头给出高误判风险 \(q_\psi = 0.82\),收益头预测高重解释收益 \(g_\omega = 0.78\)。决策策略果断拒绝立即提交,触发上下文重解释动作。 - 跨模态重解释阶段:重解释模块接收到前置音频轨迹中“Joy 向 Surprise 震荡”的参考信息,同时调取视频画面(Erica 充满敌意的凝视、紧绷的下颌与逼近的肢体动作)和对白语义(指控其在休息室接吻的嫉妒语境)。模型输出显式理由:“Accusatory tone, direct gaze, and confrontational statement”(指责性的语调、直接的逼视以及对抗性的陈述),最终准确修正为愤怒(Anger),并生成情境记忆摘要留存后续。
损失函数与训练策略¶
TRACE 采用分阶段解耦的训练策略以避免跨阶段联合优化的数据泄露:
1. 在线信念生成模型与上下文重解释模型训练:分别基于 Qwen2.5-Omni-3B 和 Qwen2.5-Omni-7B 使用 LoRA 进行微调。LoRA 超参数设置为 rank \(r=16\)、\(\alpha=32\)、dropout 0.05,作用于注意力投影层与前馈网络投影层(q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj)。使用 AdamW 优化器,学习率 \(8 \times 10^{-6}\),权重衰减 0.01,配合线性预热与余弦退火调度,在 8 张 GPU 上通过 DeepSpeed 训练 10 个 epoch。
2. 轨迹可靠性与强化策略训练:为杜绝信息泄露,轨迹特征抽取及风险/收益标签生成全部在训练集上采用 \(K\)-Fold 样本外预测(Out-of-Fold)生成。两层 MLP 结构的可靠性模型隐藏层维度为 128,dropout 0.3,批次大小 128,采用 AdamW 优化器(学习率 \(1 \times 10^{-3}\)),并在验证集上采用早停机制(连续 30 个 epoch 未改善即终止),确保决策网络能够泛化到未见过的轨迹形态。
实验关键数据¶
主实验¶
论文在专门构建的流式情感基准 StreamMER(基于《老友记》剧集切分,保持对话情境)以及两个广泛使用的公开情感基准 MELD 和 MER2024 上开展了全面评测。在 StreamMER 评测中严格遵循流式交互协议,对比了主流闭源商业大模型、开源全量多模态基准以及消融分支。
| 模型 | StreamMER Acc | StreamMER W-F1 | StreamMER UAR | MELD Acc | MELD W-F1 | MELD UAR | MER2024 Acc | MER2024 W-F1 | MER2024 UAR |
|---|---|---|---|---|---|---|---|---|---|
| Gemini-3-Flash | 57.98 | 56.68 | 58.59 | 50.46 | 50.34 | 36.75 | 77.07 | 78.17 | 75.71 |
| Gemini-3-Pro | 63.08 | 62.84 | 66.91 | 61.34 | 62.27 | 45.62 | 86.82 | 86.95 | 84.68 |
| Emotion-LLaMA | 31.26 | 29.18 | 27.18 | 28.85 | 24.10 | 33.61 | 43.28 | 45.73 | 50.99 |
| AffectGPT | 53.66 | 49.86 | 48.51 | 55.65 | 51.33 | 56.67 | 78.80 | 82.46 | 75.74 |
| Emotion-Qwen | 59.51 | 58.39 | 48.45 | 51.76 | 52.04 | 38.51 | 82.12 | 82.50 | 80.77 |
| ViDEmo | 55.46 | 58.10 | 32.25 | 57.13 | 59.20 | 46.05 | 66.55 | 66.92 | 66.98 |
| 纯在线信念生成 (Online only) | 59.87 | 54.56 | 52.58 | 58.94 | 56.08 | 38.67 | 81.18 | 80.09 | 75.29 |
| 全量上下文重解释 (Full Reinterp.) | 70.18 | 70.01 | 66.47 | 70.30 | 68.90 | 51.51 | 87.42 | 87.09 | 85.71 |
| TRACE (本文方法) | 69.47 | 68.10 | 63.80 | 68.28 | 70.14 | 41.42 | 85.46 | 85.11 | 83.04 |
流式决策策略对比¶
在 StreamMER 上进一步比较了不同的流式决策调度机制。其中 Early Commit 仅观测前 1.5s 音频前缀即提交;Full Commit 强制等待整段音频结束但不调用跨模态重解释;Adaptive Commit 保持 TRACE 的等待步数但禁用重解释;Always Reinterp. 则是对所有样本强制调用重型跨模态模型;Oracle Reinterp. 则以上限视角选用真值辅助路由。
| 决策策略 | Acc (%) ↑ | W-F1 (%) ↑ | 平均决策时间 (s) ↓ | 归一化决策比率 NDR (%) ↓ | 重解释率 RR (%) ↓ |
|---|---|---|---|---|---|
| Early Commit (首个1.5s提交) | 57.98 | 57.38 | 1.49 | 50.77 | - |
| Full Commit (等待整段音频) | 58.98 | 58.41 | 3.98 | 100.00 | - |
| Adaptive Commit (自适应等待无重解释) | 59.65 | 58.99 | 3.10 | 87.66 | - |
| Always Reinterp. (全量重解释) | 70.18 | 70.03 | 4.05 | 100.00 | 100.00 |
| TRACE (本文方法) | 69.47 | 68.10 | 3.10 | 87.66 | 55.58 |
| Oracle Reinterp. (理论上限参考) | 75.50 | 75.25 | - | 100.00 | 16.52 |
消融实验¶
1. 可靠性特征与评估模型消融(StreamMER)¶
对比了静态单前缀置信度(Confidence)与全轨迹特征(Trajectory),以及简单线性阈值准则(Linear)与提出的双头可靠性模型(Reliability):
| 可靠性决策方法 | Acc (%) ↑ | Macro-F1 (%) ↑ | 重解释调用率 RR (%) ↓ |
|---|---|---|---|
| Confidence Linear (置信度+线性阈值) | 66.87 | 64.30 | 69.33 |
| Confidence Reliability (置信度+可靠性模型) | 67.98 | 65.87 | 64.66 |
| Trajectory Linear (轨迹特征+线性阈值) | 68.83 | 65.79 | 60.12 |
| Trajectory Reliability (完整 TRACE 方案) | 68.83 | 65.40 | 55.71 |
2. 在线快速路径的输入模态选择消融¶
验证在线流式骨干以纯音频(Audio)作为首选信号的合理性:
| 快速路径模态配置 | 在线路径 Acc | 在线路径 W-F1 | 在线路径 RTF | TRACE 最终 Acc | TRACE 最终 W-F1 | TRACE RR (%) | TRACE 最终 RTF |
|---|---|---|---|---|---|---|---|
| 纯音频 (Audio) | 59.87 | 54.56 | 0.055 | 69.47 | 68.10 | 55.58 | 0.091 |
| 纯视觉 (Visual) | 42.45 | 36.26 | 0.081 | 66.26 | 64.95 | 64.17 | 0.113 |
| 音频 + 视觉 (Audio+Visual) | 60.74 | 54.31 | 0.083 | 69.57 | 67.96 | 56.07 | 0.119 |
3. 解释理由与对话记忆在重解释模块中的消融¶
验证重解释模块生成 Rationale 与更新 Contextual Memory 的贡献:
| 重解释配置 | Acc (%) | W-F1 (%) | UAR (%) | 说明 |
|---|---|---|---|---|
| 完整重解释 (TRACE) | 70.18 | 70.00 | 58.29 | 联合输出情感标签、解释理由与记忆摘要 |
| 无记忆摘要 (w/o Memory Summary) | 66.01 | 65.69 | 61.81 | 去除前序历史对话摘要,准确率下降 4.17% |
| 无解释理由 (w/o Rationale) | 63.31 | 61.84 | 55.31 | 去除推理过程理由生成,准确率大幅跳水 6.87% |
关键发现¶
- 信念轨迹承载了单点置信度无法提供的动态稳定性信息:在验证集上,当在线前缀信念未发生类别跳变(0 次跳变)时,纯在线音频准确率高达 72.6%;而一旦出现 1 次或 3 次类别跳变,在线准确率暴跌至 38.3% 与 24.1%。此时触发上下文重解释分别带来了 74 次与 9 次正向修正(负向变差仅为 19 次与 2 次),充分证明轨迹振荡是绝佳的纠偏触发指示器。
- 音频流作为低延迟先行模态具有极佳的性价比:如果在前缀阶段无差别加入视觉帧,在线路径的实时因子(RTF)从 0.055 恶化至 0.083,但最终整套系统的准确率仅有微不足道的 0.10% 提升(69.47% vs 69.57%)。这确立了“低延迟音频快速跟踪,高开销视觉按需重审”的非对称证据调度优势。
- 重解释率减半但精度几乎无损:TRACE 仅需调用 55.58%(StreamMER)、54.63%(MELD)以及 58.21%(MER2024)的重解释开销,便分别锁定了全量重解释模型 99.0%(69.47 vs 70.18)、97.1%(68.28 vs 70.30)和 97.8%(85.46 vs 87.42)的性能上限,实时因子(RTF)低至 0.091,远低于纯全量重解释的 0.127 与大模型 baseline。
亮点与洞察¶
- 非对称证据流设计:巧妙利用音频信号的时间连续性与低延迟声学特性负责在线信念快速累加,而将高算力开销的视觉帧与对话记忆作为“后援纠错专家”,攻克了流式交互系统无法承受全量多模态并发计算的核心技术堵点。
- 轨迹动力学替代单点置信度:突破了传统动态早退机制过度依赖单步 Softmax 熵或最大概率的缺陷,将相邻散度、类别跳变、持久度以及熵曲线积分提炼为轨迹指纹,使模型能够精确甄别“胸有成竹的自信”与“局部振荡的偶发虚高”。
- 可复用的风险-收益双头仲裁器:双头网络不仅评估当前在线判断的错误风险,还前瞻性地建模引入上下文能否实现正向增益,有效规避了在那些重解释模块同样难以判断甚至会引入多模态幻觉的样本上盲目调度重算。
局限与展望¶
- 依赖预标定轨迹分布在领域漂移下鲁棒性受限:可靠性评估器严重依赖于校准数据中呈现出的信念演进模式。当遇到噪声环境大幅改变或新颖的对话文化语境时,轨迹特征分布可能发生偏移,影响路由准度。
- 极端硬实时下的重解释延迟不可忽略:虽然系统整体 RTF 压缩至 0.091,但在判定需要重解释的样本上,调用 7B 视觉语言大模型仍需引入约 0.89s 的额外时延,在要求毫秒级闭环响应的超强实时场景下仍需进一步量化与剪枝。
- 快速路径完全忽视即时面部线索:若说话人面部展现出极为夸张明显的表情(如掩面痛哭或翻白眼),但声音极轻或处于停顿间隙,纯音频前缀可能产生严重的初期信念误导,未来可探索极低分辨率或稀疏视觉关键帧辅助的混合快路径。
相关工作与启发¶
- vs 离线多模态情感大模型 (AffectGPT / Emotion-Qwen / ViDEmo):离线模型必须在视频与对白完全结束之后一次性接收完整输入,无法胜任实时伴随式交互;TRACE 与其高度互补,既能将前缀信念作为过滤网,又能在需要时无缝接入先进离线模型作为后验重解释器。
- vs 流式视频基础模型 (StreamingVLM / Flash-VStream / ViSpeak):主流流式视频模型侧重于通用动作与指令定位,缺乏对细粒度心理情感演化的信念追踪机制;TRACE 率先建立了基于置信轨迹的不确定性审计机制,为复杂推理任务的流式调度提供了可迁移的方法论。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将流式情感识别形式化为信念轨迹的可靠性审计与自适应分流过程,构思精巧。
- 实验充分度: ⭐⭐⭐⭐⭐ 构建了首个流式情感基准 StreamMER,并对模态、上下文视窗、噪声、特征与消融进行了详尽严谨的实验支撑。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻,方法数学定义严谨清晰,图表逻辑自洽。
- 价值: ⭐⭐⭐⭐⭐ 为实时对话系统、具身智能情感共情提供了极为实用且兼顾低算力成本的高效解决方案。