CAREBench: Evaluating LLMs' Emotion Understanding by Assessing Cognitive Appraisal Reasoning¶

会议: NeurIPS 2026
arXiv: 2605.17176
OpenReview: https://openreview.net/forum?id=WwTZWhjAvk
代码: https://github.com/ZhaoyueSun/CAREBench
领域: LLM评测
关键词: 认知评价理论, 情绪理解评测, 过程级因果推断, 心理理论, 主观异质性建模

一句话总结¶

CAREBench 基于认知评价理论构建了首个涵盖「情境→开放式评价推理→多维评价量化打分→多标签情绪输出」完整因果链与双重视角的人类真实情绪叙事基准，揭示了大语言模型在下游离散情绪预测上看似比肩人类、实则严重缺乏深层评价推理与主观异质性建模能力的断层现象。

研究背景与动机¶

在大语言模型驱动的人机情感交互、心理健康支持与共情代理等场景中，准确的情绪理解是核心基石。然而，过去情感计算与大模型评测长期依赖将情绪简化为离散分类标签（如 Ekman 六大基本情绪）或连续效价-唤醒度空间，不仅忽视了现实世界中情绪的高度复杂性与共存性，更无法触及人类产生情绪的深层心智状态。为了弥补这一缺陷，近期研究转向了心理学中的认知评价理论（Appraisal Theory），该理论认为情绪并非由外部客观事件直接决定，而是由个体围绕目标相关性、控制感、归因责任等关键维度所展开的主观认知评价所诱发。然而，现有的评价基准数据集普遍存在三大瓶颈：仅收集最终的数值化评价打分（如 5 点量表），缺失评价形成过程中对意图、信念和愿望的开放式心智推理链；严重依赖单一情绪标签，无法捕捉现实体验中多种正负情绪共存的混合状态；绝大多数仅包含第三方旁观者视角，缺少第一人称亲历者与多位观察者之间的透视对比。

这种范式缺陷直接导致评测存在严重盲区：模型可能仅学到了从情境浅层关键词到离散标签或打分的虚假统计关联，而非真正的认知评价推理能力。同时，缺少第一人称亲历者与第三方观察者的配对数据，使得系统性分析观察视角偏差与人类主观异质性成为空谈。即便有少数双视角尝试（如 Crowd-Envent），其文本极短（平均约 20 词）且缺失中间推理文本，无法为剖析模型是否真正具备心智化评价过程提供依据。

本文的切入角度是：必须将情绪理解评测推进至“过程级”（Process-Level），以微叙事框架捕获真实人类生活故事，并完整构建「情境叙事 \(\rightarrow\) 评价推理 \(\rightarrow\) 评价打分 \(\rightarrow\) 情绪响应」的全链条。核心 idea：构建包含第一人称亲历者与多名第三方观察者完整推理链的真实叙事基准 CAREBench，提出覆盖链条逐节点推断、推理注入增益、结构化干预因果敏感度及主观分布异质性建模的四阶段递进式评测框架，系统诊断大语言模型的情感认知机制。

方法详解¶

整体框架¶

CAREBench 旨在评测大语言模型基于认知评价理论的情绪理解机制。整个基准包含高质量的双视角数据集构建与四阶段递进式评测体系。数据构建过程围绕认知评价序列处理模型，将原本隐蔽的情感生成过程显式拆解为四个顺序关联的核心节点：情境微叙事 \(s\)、开放式核心评价推理文本 \(r\)、22 维细粒度评价打分向量 \(\mathbf{a} \in \mathbb{R}^{22}\)，以及多标签情绪强度与类别 \(e = (e_i^\pm, e_l^\pm)\)。数据采集分为两阶段：第一阶段由 1,000 名第一人称亲历者在 GPT-4o 辅助的微叙事对话引导下回忆并记录真实情绪事件并完成三层标注及大五人格（BFI-10）与人口学信息；第二阶段对其中 500 个样本由每例 5 名独立的第三方观察者进行背对背独立标注，累计获得 2,500 条观察者完整推理链记录。评测体系则基于此链路展开四个递进的研究问题（RQ1-RQ4）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["情境微叙事采集<br/>1000 篇真实经历 (GPT-4o 对话引导)"] --> B["双阶段三层级标注机制<br/>亲历者自评 + 5人背对背第三方观察"]
    B --> C["逐节点链条推理评测<br/>RQ1: s→r, s→a, s→e 零样本推断与心智对齐"]
    B --> D["推理链注入增益验证<br/>RQ2: s+r, s+a, s+r+a, s+r_pred 增量消融"]
    B --> E["认知评价反事实干预<br/>RQ3: 跨视角极性翻转 r^(1)→r^(3) 敏感度与皮尔逊相关"]
    B --> F["主观异质性分布建模<br/>RQ4: Persona / Core Appraisals 条件采样与散度评估"]

关键设计¶

1. 双阶段三层级标注机制：显式解构情境到情绪的认知推理链条

现有基准最大的缺失在于将认知评价等同于离散打分数值，跳过了心智推理本身。CAREBench 针对这一断层，依据心理学中的组件过程模型（Component Process Model），显式定义并收集了三层连续标注。第一层为针对 5 个核心评价维度的开放式推理文本 \(r\)（相关性 Relevance、确定性 Certainty、一致性 Congruence、控制感 Control、归因责任 Accountability），通过结构化问答引导标注者在打分前必须用自然语言陈述其对情境动机、因果归因与未来预期的理解；第二层为将 5 大核心维度层级展开为 22 个子维度的 5 点 Likert 量表打分向量 \(\mathbf{a} \in \mathbb{R}^{22}\)（涵盖目标相关、紧迫度、身体动机、社会动机、自我归因、他人归因、控制可能、公平性等）；第三层为 7 点量表正负情绪强度评估与基于预定义词表的正向（10 类）和负向（10 类）多标签多选及共存标注 \(e\)。第一阶段获得 1,000 份第一人称完整自述，第二阶段由 5 位独立第三方观察者对 500 篇叙事进行无偏差独立标注，累计耗资约 9,000 英镑并施加严格的击键速度异常与注意力检测（Attention Check）质检，确保认知链条的纯净度与真实性。

2. 逐节点链条推理与中间过程注入：诊断表层性能与认知推理的解耦

为了打破仅凭下游单一分类指标评估情感能力的局限，评测框架设计了节点孤立推断（RQ1）与链条中间表征注入（RQ2）两种机制。在 RQ1 中，模型在零样本设定下分别执行 \(s \rightarrow r\)（开放式文本生成，使用 BLEU、ROUGE-L、BERTScore 及人类专家一致性评审）、\(s \rightarrow \mathbf{a}\)（评价向量预测，计算归一化均方根误差 RMSE）和 \(s \rightarrow e\)（情绪强度 RMSE 与多标签 Example-F1/Micro-F1/Macro-F1）。在 RQ2 中，为验证模型是否真正将中间评价作为情绪生成的中介，设计了四种增强输入条件对比：基线输入情境 \(s\)、加入第一人称黄金推理文本 \(s+r\)、加入第一人称评价打分 \(s+\mathbf{a}\)、同时加入两者 \(s+r+\mathbf{a}\)，以及加入模型自生成的评价推理文本 \(s+\hat{r}\)。通过检验评价与情绪识别性能的变化量 \(\Delta P(\mathbf{a})\) 和 \(\Delta P(e)\)，精准测度不同模态中间认知表征对下游决策的支撑效力。

3. 结构化反事实评价干预：探测对评价逻辑的真实因果敏感度

大模型在下游任务上的优异表现往往源于统计词共现等浅层关联。为验证模型是否真正内化了评价维度的因果约束，RQ3 引入了受控的结构化评价干预机制。针对每一个评价维度，算法自动筛选出第一人称亲历者打分 \(a^{(1)}\) 与第三方观察者打分 \(a^{(3)}\) 落在量表中心点（中立）两侧的争议样本，保持情境文本 \(s\) 恒定，将模型输入中的推理文本从亲历者视角替换为观察者视角（即 \(r^{(1)} \rightarrow r^{(3)}\)）。接着分别沿两条路径追踪模型响应变化：在 \(r \rightarrow \mathbf{a}\) 路径上，计算模型打分变化量 \(\Delta \hat{\mathbf{a}} = f(s, r^{(3)}) - f(s, r^{(1)})\) 与人类打分真实位移 \(\Delta \mathbf{a} = \mathbf{a}^{(3)} - \mathbf{a}^{(1)}\) 之间的 Pearson 相关系数；在 \(r \rightarrow e\) 路径上，计算情绪强度位移 \(\Delta \hat{e}_i^\pm\) 与真实位移 \(\Delta e_i^\pm\) 以及情绪标签触发率变化 \(\Delta \hat{p}_l\) 与 \(\Delta p_l\) 之间的相关性。只有当模型输出位移与人类位移及心理学评价理论预测（如目标一致性翻转直接主导正负效价反转）保持高度显著的正相关时，才能证明其具备结构化的评价敏感度。

4. 主观异质性分布建模：刻画观察者群体的情感认知分歧

情绪体验与解读具有天然的主观异质性（Subjective Heterogeneity），不同背景的观察者面对同一事件往往产生截然不同的评价。RQ4 评估大模型是否能够捕捉人类第三方评价打分的真实经验分布 \(\mathcal{D}^{(3)}\)。研究设计了三种采样条件以生成模型模拟分布 \(\hat{\mathcal{D}}_c\)：重复随机采样（\(c_{\text{base}}\)，设定温度系数 \(T=0.7\)）、基于人口统计学信息与大五人格构成的角色画像条件采样（\(c_{\text{persona}}\)），以及注入核心评价推理文本条件采样（\(c_{\text{reason}}\)）。通过计算分布均值绝对误差 \(\mu\text{-MAE}\)、方差绝对误差 \(\sigma\text{-MAE}\) 以及反映整体几何形状贴合度的 Wasserstein 距离，量化分布拟合质量；同时计算模型预测维度方差 \(\text{Var}(\hat{\mathcal{D}}_c)\) 与人类真实方差 \(\text{Var}(\mathcal{D}^{(3)})\) 之间的 Spearman 秩相关系数 \(\rho\) 以及前 \(k\) 个高分歧维度的命中精度 \(\text{Precision}@k\)，评估模型是否能够感知“哪些评价维度更容易引发人类主观分歧”。

实验关键数据¶

主实验¶

论文对涵盖闭源前沿模型（GPT-5.2、Claude-Sonnet-4.6）、开源通用基座（Llama 3.1-8B-Instruct、Qwen 3.5-9B）以及情感/心理学领域微调模型（PsyLLM-8B、EmoLLaMa-chat-13B）共 6 款大模型进行了全链条测试。第一人称标注作为黄金标准，第三方观察者为人类基准对照。

模型 / 评估对象	评价推理 ROUGE-L	评价打分 RMSE ↓	正向情绪强度 RMSE ↓	正向情绪 Example-F1 ↑	正向情绪 Macro-F1 ↑	负向情绪强度 RMSE ↓	负向情绪 Example-F1 ↑	负向情绪 Macro-F1 ↑
人类第三方 (Human)	0.163	0.389	0.259	0.615	0.470	0.324	0.564	0.449
Claude-Sonnet-4.6	0.157	0.357	0.213	0.490	0.499	0.237	0.639	0.513
GPT-5.2	0.156	0.365	0.210	0.556	0.475	0.251	0.630	0.500
Qwen 3.5-9B	0.144	0.430	0.222	0.513	0.466	0.251	0.617	0.511
Llama 3.1-8B-Instruct	0.139	0.395	0.246	0.450	0.403	0.251	0.601	0.458
PsyLLM (Qwen-8B 微调)	0.138	0.349	0.239	0.441	0.394	0.284	0.593	0.464
EmoLLaMa-chat-13B	0.175	0.443	0.254	0.224	0.322	0.274	0.532	0.345

中间推理注入与主观异质性消融实验¶

为了探究中间认知表征在模型决策中的真实作用以及模型对人类主观分布的拟合能力，下表汇总了不同输入注入条件下的性能位移（RQ2，以 Claude 与 GPT 为代表）以及模型主观性分布建模效果（RQ4，以 Qwen 为代表）。

实验条件 / 输入设置	评价打分 RMSE \(\Delta\)	负向强度 RMSE \(\Delta\)	负向标签 Example-F1 \(\Delta\)	分布均值 MAE ↓	分布方差 MAE ↓	分布 Wasserstein ↓	分歧秩相关 Spearman \(\rho\) ↑	分歧前五精度 P@5 ↑
Claude: + 亲历者真实推理 (\(s+r\))	-0.019 (显著改善)	-0.011 (改善)	-0.009 (持平)	—	—	—	—	—
Claude: + 亲历者评价打分 (\(s+\mathbf{a}\))	-0.047 (显著改善)	-0.024 (显著改善)	+0.029 (改善)	—	—	—	—	—
Claude: + 模型自生成推理 (\(s+\hat{r}\))	+0.017 (性能劣化)	+0.048 (显著劣化)	-0.055 (显著退步)	—	—	—	—	—
GPT-5.2: + 亲历者真实推理 (\(s+r\))	-0.022 (显著改善)	-0.015 (显著改善)	-0.003 (持平)	—	—	—	—	—
GPT-5.2: + 模型自生成推理 (\(s+\hat{r}\))	+0.011 (性能劣化)	+0.047 (显著劣化)	-0.103 (大幅退步)	—	—	—	—	—
Qwen: 重复随机采样 (\(c_{\text{base}}\))	—	—	—	0.936	0.816	0.992	+0.204	0.275
Qwen: 注入角色画像 (\(c_{\text{persona}}\))	—	—	—	0.874	0.772	0.935	+0.223	0.278
Qwen: 注入核心评价 (\(c_{\text{reason}}\))	—	—	—	0.758	0.875	0.852	+0.271	0.298
Qwen: 角色画像 + 评价 (\(c_{\text{both}}\))	—	—	—	0.729	0.806	0.813	+0.282	0.295

关键发现¶

表层任务比肩人类，深层认知显著滞后：在评价打分数值回归以及负向情绪识别等任务上，Claude-Sonnet-4.6 和 GPT-5.2 等模型得分逼近甚至超越了人类第三方观察者（如负向情绪 Example-F1 达到 0.639 vs 人类的 0.564）。然而在核心评价推理的质性生成上，除特化的 EmoLLaMa 外，多数通用模型得分低于人类；正向情绪识别更是全线溃败（Example-F1 大幅落后人类 6-16 个百分点），对 hopeful、grateful、inspiration 等依赖复合心智推理的情绪漏判极其严重。
自生成推理引入级联噪声：向输入中直接注入亲历者的真实推理文本 \(r\) 或评价打分 \(\mathbf{a}\) 能够全面提升下游预测精度；但当注入模型自生成的评价推理 \(\hat{r}\) 时，几乎所有模型的负向情绪预测和强度回归性能均出现显著劣化（如 GPT-5.2 负向 Example-F1 暴跌 0.103）。定性分析显示，模型在自生成推理时倾向于堆砌夸大化、戏剧化的情绪词汇，不仅未理清认知评价因果，反而将幻觉与级联噪声带入下游预测。
上下游能力严重解耦，领域微调未学透评价机制：在心理健康对话上微调的 PsyLLM 虽然在打分回归（RMSE 0.349）上夺冠，但在下游多标签情绪分类上却未能展现优势；情感微调模型 EmoLLaMa 在文本重合度指标上领先，但在因果干预实验（RQ3）中对评价文本变换表现出近乎为零的敏感度（相关系数接近 0）。这有力证明了当前的领域微调仅拟合了表层词分布，并未形成稳固的评价-情绪因果中介推理能力。
主观异质性机制尚未内化：在主观分布建模（RQ4）中，单纯依靠大模型内置的采样机制或注入 Persona 角色设定，模型预测的分歧度模式与人类真实分歧秩相关几乎处于随机水平（Spearman \(\rho\) 普遍低于 0.28，P@1 低至 0.03-0.08）。这表明当前大模型虽然能生成具有统计方差的多样化打分，但并不理解哪些情境和评价维度在人类社会交往中更容易产生认知分歧。

亮点与洞察¶

从终点标签到全链条心智解构：CAREBench 突破了情感计算二十余年将情绪等同于离散分类或单纯打分的局限，首次将情境、心智推理文本、多维评价与混合情绪构建成完整的因果有向链条，为探究大模型是否具备“情感心智理论”（Affective Theory of Mind）提供了可落地的评测基准。
反事实干预撕下“高准确率”伪装：通过交换亲历者与观察者的分歧评价推理进行受控干预（RQ3），成功分离出了依靠统计关联“蒙对”标签的模型（如 Llama、PsyLLM）与真正对评价因果具备一定敏感度的模型（Claude、GPT-5.2），确立了更具诊断性的模型评估范式。
微叙事框架在情感数据工程上的优雅实践：利用 GPT-4o 交互式分步提问与最小化重组，不仅大幅减轻了人类参与者撰写高质量长篇个人情绪史的认知负担，而且严格保留了原作者的第一人称表达风格，平衡了标注成本与语言生态效度。

局限与展望¶

文化与语言背景局限：数据采集严格限制于英国和美国本土母语为英语的 Prolific 用户，其认知评价逻辑、归因倾向及情绪表达深度嵌于英美文化语境中，所得结论在跨文化（如集体主义文化语境）及多语言环境下的普适性仍待进一步验证。
正负样本自然失衡与观察者规模约束：由于采用自由回忆真实生活事件，数据中负向情绪事件数量约为正向的 1.6 倍，导致正向情绪样本量偏低；受制于高昂的人力标注成本（单例全链条打标成本较高），第三方观察者子集仅覆盖了 500 篇叙事（每篇 5 人），限制了对高阶极端主观差异分布的精确统计拟合。
未来方向：作者指出未来应借助白盒机制可解释性方法（Mechanistic Interpretability）探测大模型内部神经元表征中评价维度的几何编码；同时将全过程评价链条应用于下游真实情绪支持与认知重评（Cognitive Reappraisal）心理干预系统中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出覆盖开放式评价推理与多视角全链条的情绪理解过程级评测基准，理念与范式具有高度开拓性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 款典型模型、四大核心 RQ、过程注入消融、反事实因果干预与主观分布建模，并附带专家人工校验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，心理学理论阐述透彻，实验分析切中痛点，图表丰富且论证有力。
价值: ⭐⭐⭐⭐⭐ 为大语言模型的情感计算与心智能力评估树立了标杆，对未来安全可控的共情交互系统开发具有指导意义。