AffectGPT-RL: Revealing Roles of Reinforcement Learning in Open-Vocabulary Emotion Recognition¶

会议: NeurIPS 2026
arXiv: 2605.06126
OpenReview: https://openreview.net/forum?id=nUblZoo4wF
代码: https://github.com/zheng-lian/AffectGPT-RL
领域: 强化学习
关键词: 开放词表多模态情感识别, 强化学习, 情感轮指标, 奖励黑客, 组相对策略优化

一句话总结¶

针对开放词表多模态情感识别中离散、不可导的情感轮聚类评测指标与传统 Token 交叉熵损失错配的瓶颈，本文提出首个基于强化学习的 AffectGPT-RL 框架，设计五重奖励及长度惩罚项消除奖励黑客，并在消融中揭示了直接预测答案相比推理过程更优的机制洞见。

研究背景与动机¶

人类情感在认知与日常决策中扮演着关键角色，通常通过肢体微动作、面部微表情、语音语调和言语语义等多模态线索交织表达。多模态情感识别（MER）应运而生，然而早期的判别式方法几乎完全建立在 Ekman 六大基本情绪或维数情感理论之上，将人类复杂微妙的心境强行投射到极度受限的离散标签空间，不可避免地丢失了细腻的情感颗粒度。近期兴起的开放词表多模态情感识别（OV-MER）打破了预定义类别空间的束缚，借助大语言模型（LLM）的开放生成能力，引入情感轮（Emotion Wheels, EW）层级聚类机制进行集合相似度度量，极大地推动了情感计算的发展。

然而，现有生成式情感识别模型的训练目标与评估准则之间存在着根本性错配。以往方法普遍依赖监督微调（SFT）下的 Token 级交叉熵损失来对齐预测与参考标签。但 Token 级相似度与情感轮度量之间的相关性极差：例如词汇形态高度接近的 "joyful" 与 "awful"，在 Token 空间拥有极高的表层相似度，但在情感语义层面上却背道而驰；更棘手的是，情感轮指标包含离散查表多级映射（词形还原、同义词聚类、情感轮内外层映射）以及集合交并基数计算，在数学上完全不可导，导致其无法通过标准梯度反向传播直接优化。

既然评估指标无法微分，那么引入能够直接优化非可导黑盒奖励的强化学习技术便成为突破瓶颈的核心抓手。核心 idea：构建两阶段 AffectGPT-RL 框架，利用组相对策略优化（GRPO）将非可导的情感轮层级相似度转化为强化学习奖励信号，并配合长度惩罚机制抑制同义词无限堆砌导致的奖励黑客现象。

方法详解¶

整体框架¶

AffectGPT-RL 将开放词表多模态情感识别任务拆解为两阶段渐进式优化体系：第一阶段采用大规模多模态情感描述数据集进行冷启动预训练（Cold-Start Training），为模型注入基础的多模态感知、长文本情感理解以及遵循特定结构输出（思考过程 <think>...</think> 与预测答案 <answer>...</answer>）的格式对齐能力；第二阶段在高质量人工精标的开放词表数据集上，借助组相对策略优化算法（GRPO）引入多种奖励函数进行策略更新。

针对情感轮指标在评测时会自动合并同义词、促使策略倾向于输出冗长词表以骗取高召回的"奖励黑客（Reward Hacking）"现象，模型在奖励端额外引入非线性长度惩罚项，在维持极高泛化精度的同时确保输出简练紧凑。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入多模态视频与提示词"] --> B["阶段一：冷启动预训练<br/>大规模多模态情感描述数据集注入格式与理解先验"]
    B --> C["阶段二：GRPO 策略采样<br/>对同一输入多路采样 G 个候选输出"]
    C --> D["奖励建模与非可导评估<br/>计算格式/准确率/对齐/双重/感知奖励"]
    D --> E["长度惩罚机制<br/>抑制同义词堆砌与奖励黑客行为"]
    E --> F["组相对优势归一化与策略更新<br/>优化非可导情感轮指标"]
    F --> G["紧凑精准的开放词表情感预测"]

关键设计¶

1. 非可导情感轮准确率奖励：直接打通指标与策略梯度的优化闭环 以往模型无法直接优化情感轮指标，是因为该评估过程包含三级离散映射 \(G_{w_k}(\cdot) = F_{l_3}^{w_k}(F_{l_2}(F_{l_1}(\cdot)))\)：首先将任意词形映射为词元原型（如 "happier" 归一至 "happy"），再由大模型聚类至规范同义词，最后映射至 5 个经典情感轮的外层与内层核心类别。预测集合与真值集合在各情感轮空间计算集合交集与基数比值，求得集合级 Precision、Recall 和 \(F_s^k\)，最终取 5 个轮盘的平均 \(F_1\) 分数作为 \(\text{EW}(o^a, y)\)。

这种离散查找表和集合势运算处处导数为零。AffectGPT-RL 将完整的 \(\text{EW}(o^a, y)\) 直接定义为策略优化的准确率奖励 \(\mathcal{R}_{\text{accuracy}}(o|v,q,y)\)，借助 GRPO 的轨迹采样优势函数绕过反向传播对可导性的苛刻要求：

\[\mathcal{R}_{\text{accuracy}}(o|v,q,y) = \text{EW}\left(o^{a}, y\right) = \frac{1}{K}\sum_{k=1}^{K}\frac{2 \times \text{Precision}_s^k \times \text{Recall}_s^k}{\text{Precision}_s^k + \text{Recall}_s^k}\]

这一设计彻底解决了此前基于 Cross-Entropy 的 Token 级损失与语义评测不一致的问题，使模型探索方向直接对准了情感轮拓扑上的语义重合度。

2. 进程多维奖励建模与协同监督体系 为探究推理过程对最终情感判决的作用，框架构建了覆盖格式、语义一致性与视听多模态忠实度的五重奖励体系。除确保标签闭合的格式奖励 \(\mathcal{R}_{\text{format}}\) 外，针对模型思考部分 \(o^t\)，设计了基于大模型提取隐式情感词集 \(e^t\) 的对齐奖励 \(\mathcal{R}_{\text{alignment}}\)（计算思考情感集与最终答案 \(o^a\) 的 Jaccard 相似度）以及双重奖励 \(\mathcal{R}_{\text{dual}} = \text{EW}(o^t \rightarrow e^t, y)\)。

为确保推理过程不偏离输入视频，引入感知奖励 \(\mathcal{R}_{\text{perception}}\)：利用预训练全模态大模型作为成对判别器（Judge），评估不同采样推理文本 \(d_i\) 与视频 \(v\) 的情感吻合度，建立 Bradley-Terry 成对偏好统计模型，最大化带平局因子的对数似然：

\[\max \mathcal{L}(\theta) = \prod_{i<j}\left(\frac{\theta_i}{\theta_i+\theta_j+\beta}\right)^{\text{win}_{ij}}\left(\frac{\theta_j}{\theta_i+\theta_j+\beta}\right)^{\text{lose}_{ij}}\left(\frac{\beta}{\theta_i+\theta_j+\beta}\right)^{\text{tie}_{ij}}\]

通过估计相对优势参数 \(\theta_i\) 并将胜率排名前 50% 的推理段赋予正向奖励，迫使中间思考链锚定原始视觉和声学线索。

3. 长度惩罚机制：根除同义词膨胀导致的奖励黑客 在采用强化学习优化集合指标时，模型敏锐地抓住了情感轮计算规则中的漏洞：由于同义词在多级聚类后自动坍缩为同一原型，预测多余的同义词不会招致 Precision 惩罚，反而能够扩大命中的轮盘覆盖面，从而单向推高 Recall。这导致模型在无约束更新下倾向于输出包含数十个相近情感词的冗长答案，造成推理时延剧增与可读性急剧恶化。

为根治这一奖励黑客行为，框架提出了三档自适应长度惩罚系数 \(P_k(o^a, y)\)，并在准确率奖励与双重奖励中进行加权缩放。三种惩罚形式随预测词数 \(|o^a|\) 超过真值数 \(|y|\) 的程度由严至宽：

\[P_1 = \frac{1}{|o^a| - |y| + 1}, \quad P_2 = \frac{|y|}{|o^a|}, \quad P_3 = \frac{\log|y|}{\log|o^a|} \quad (|o^a| > |y|)\]

实验表明，\(P_2\) 与 \(P_3\) 能够施加恰到好处的反向梯度压力，既彻底消除了过度冗长的预测，又避免了最严厉的 \(P_1\) 所导致的奖励崩塌，确保了模型在短小精悍的输出下达到极高准确度。

损失函数 / 训练策略¶

训练采用两阶段方案。冷启动阶段采用 MER-Caption+（约 31K 样本），在批量大小为 3 的配置下利用语言模型交叉熵损失学习基本多模态描述与结构化标签语法。强化学习阶段选用去除重叠的高质量人工精标数据集 MER2025-OV（1,000 样本），学习率设为 \(1\times 10^{-5}\)，最大 Epoch 为 60，基于单卡 A100 执行。采用 GRPO 算法对当前策略针对同一视频-问题对采样 \(G=4\) 个响应轨迹，在候选组内依据综合奖励减去组均值并归一化为相对优势度，无需庞大的 Critic 价值网络即可高效稳定地更新多模态大语言模型参数。

实验关键数据¶

主实验¶

在开放词表情感识别基准 OV-MERD+（532 测试例）以及覆盖三种情感任务、涵盖 9 个子数据集的通用情感评测基准 MER-UniBench（12,799 样本）上进行了系统评测。在全模态（音频、视频、文本）统一输入设定下，主要结果对比如下表：

评估基准 / 任务	核心评测指标	AffectGPT-RL (本文)	AffectGPT (基线)	提升幅度
OV-MERD+ (开放词表情感)	EW 平均 F1 (%)	68.05	62.52	+5.53
MER-UniBench (多模态全景)	全任务平均分 (Mean)	79.48	74.77	+4.71
├─ 基础情绪: MER2023	六分类加权 F1 (%)	84.32	78.54	+5.78
├─ 基础情绪: MER2024	六分类加权 F1 (%)	93.75	78.80	+14.95
├─ 基础情绪: MELD	七分类加权 F1 (%)	63.12	55.65	+7.47
├─ 基础情绪: IEMOCAP	四分类加权 F1 (%)	74.26	60.54	+13.72
└─ 情感极性分析 (MOSI)	二分类准确率 (%)	79.39	81.30	-1.91

消融实验¶

针对所设计的奖励函数组合、思考过程的保留与否，以及抵御奖励黑客的长度惩罚形式进行了详尽的消融评测。

实验模块 / 配置	OV-MERD+ 性能 (EW F1)	冗长输出 (Overlong)	奖励退化 (Degradation)	机制说明
无强化学习基准 (SFT Only)	62.52	否	否	仅经冷启动微调，受限于交叉熵错配
单奖励：仅格式奖励 \(\mathcal{R}_{\text{format}}\)	58.12	否	否	格式冷启动已掌握，单一强化导致语义漂移
单奖励：仅感知奖励 \(\mathcal{R}_{\text{perception}}\)	60.45	否	否	外部判别器存在偏好噪声，未锚定情感轮
单奖励：仅准确率奖励 \(\mathcal{R}_{\text{accuracy}}\)	67.85	是	否	直接优化目标指标，但诱发同义词黑客
多奖励：准确率 + 格式奖励	68.39	是	否	结合基本格式约束，未加惩罚时指标最高
多奖励：全部五种奖励并存	64.20	否	否	目标过多互相稀释，优化冲突严重
RL (带思考过程 w/ think)	66.82	否	否	冷启动粗粒度思考引入推理噪声并分散注意力
RL (去除思考直出答案 w/o think)	68.05	否	否	策略直接聚焦于精炼情感词生成与指标优化
惩罚配置：惩罚项 \(P_1(\cdot)\)（线性反比）	67.60	否	是	惩罚过猛，阻碍了边缘合理情感词的探索
惩罚配置：惩罚项 \(P_2(\cdot)\)（真值比例）	67.79	否	否	平衡了长度抑制与召回收益，表现稳健
惩罚配置：惩罚项 \(P_3(\cdot)\)（对数衰减）	68.05	否	否	轻微适度衰减，在保持最佳分数的同时杜绝赘余

关键发现¶

思考过程的反直觉消融：在数学或逻辑推理任务中，保留 Chain-of-Thought 通常显著提升性能；但在开放词表情感识别中，去掉思考过程直接输出情感词（w/o think）反而取得了更佳的性能。究其原因，当前情感粗粒度描述数据包含天然主观噪声，强制生成的伪思考引入了不可靠推断；同时繁复的思维链分散了对情感轮边界优化的聚焦度。
任务迁移的双刃剑现象：强化学习在开放词表（OV-MER）与基础离散情绪任务（如 MER2024 上激增 +14.95）上表现出极强的正向迁移能力，但在连续情感极性分析（Sentiment Analysis 如 MOSI/MOSEI）上出现微弱下滑。这是因为经过开放词表强化的模型倾向于给出更丰富具象的情感标签，而非生硬的正负二值，因而在粗粒度二分类评估下反被惩罚。
数据扩展并未饱和：仅用 10 条高质量样本进行强化学习更新即可获得显著超越基线的增益；随着微调样本逐步增加到 1,000 条，性能持续线性攀升，表明基于情感轮强化学习的拟合上限远未被穷尽。

亮点与洞察¶

将非可导心理学指标转化为强化学习优势：情感轮聚类机制长期以来只能用于评估而无法用于训练。该工作巧妙利用 GRPO 的非可导适应性，跨越了“表层 Token 交叉熵优化”与“底层深层情感语义重合”之间的鸿沟。
揭示情感大模型中的奖励黑客行为与反制之道：精准揭示了生成式模型利用同义词聚类规则无成本推高 Recall 的取巧漏洞，所提出的对数/比例长度惩罚不仅结构极其精炼，且具备普适性，可直接复用于各类基于集合指标的强化学习场景。
少样本高质量奖励更新的泛化威力：仅依靠 1,000 条经过严格两轮专家清洗且剔除重叠的高质量精标数据进行 RL 训练，便能在跨越 11,000+ 测试样本的通用基准上全面大幅刷新多模态情感识别的最先进纪录。

局限与展望¶

思考链的构建质量有待进化：目前推理过程的退化受制于冷启动伪标签的粗糙性。作者指出未来需设计更高质量、多模态时空对齐的情感推理语料，探索在特定复杂、反讽场景下思维链的真正必要性。
任务异构性与奖励平衡难题：连续情感倾向极性（Sentiment）与离散细粒度情感之间的优化目标存在张力。未来需探索帕累托多任务多目标强化学习，消除在基础情感极性上的微弱负迁移。
推理期计算开销与采样优化：GRPO 在训练阶段需要对每条输入并行生成 4 条以上候选轨迹并进行外部情感轮比对，对显存和端到端训练耗时提出了一定要求，探索更高效的策略优化算法（如 DPO 变体或 PPO 轻量化）具有现实价值。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统揭示强化学习在开放词表多模态情感识别中的核心机制与规律。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖单/多奖励、思考链消融、惩罚函数对比、稳定性测试及跨 9 大数据集的全面横向评估。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述切中要害，数学分析与非可导性论证严密，消融图表扎实详尽。
价值: ⭐⭐⭐⭐⭐ 为情感计算社区摆脱受限标签空间和 Token 级损失依赖指明了全新的强化学习技术路径。