SayNext-Bench: Why Do LLMs Struggle with Next-Utterance Anticipation?¶

会议: NeurIPS 2026
arXiv: 2602.00327
OpenReview: https://openreview.net/forum?id=OOXhN5Y5Xz
代码: https://saynext.github.io/
领域: LLM 评测
关键词: 大语言模型评测, 下一句预判, 多模态对话, 启动因子, 认知启发架构

一句话总结¶

针对大语言模型在多模态人际对话中难以预判人类对方下一句发言的问题，本文提出了 SayNext-Bench 评测基准与多层级评测体系，并受认知心理学语义启动启发构建了融合显式启动令牌的双路径多模态模型 SayNext-Chat。

研究背景与动机¶

近年来，大语言模型与多模态大模型在对话生成与交互能力上取得了爆发式进展，能够生成高度连贯、语法地道且符合上下文的流畅回复。然而，这种表面的交流流畅度掩盖了一个深层次的认知鸿沟：当被要求根据谈话对方的前序提问以及说话人当前的非言语行为（如面部微表情、视线注视与肢体姿势）去预先推断人类在下一轮对话中“即将说什么”时，即便是 GPT-4o、Gemini 2.5 或开源前沿多模态大模型，表现也会急剧下滑，难以给出语义和意图一致的预测。

这一缺陷反映了大模型与人类交互认知机制的本质差异。人类的对话交流天然依赖活跃的预测性加工机制，人们在倾听他人言语的同时，时刻无意识地利用多模态感官线索提取对方的潜在意图与心理信念，从而在大脑中快速激活高层次的预期表征；而当前大语言模型在机制上主要依赖自回归统计下一个词预测，倾向于捕捉通用语言表层统计共现，既忽视了蕴含丰富交际意图的多模态非言语线索，也缺乏显式的认知先验驱动。现有对话评测基准多局限于文本任务导向状态追踪，或割裂地考察离散情绪识别，缺乏系统性评估多模态下人类心理-认知状态综合预测的基准。本文的核心 idea 是：将下一句预判确立为探测多模态模型深层人类认知模拟能力的关键代理任务，构建包含多层级指标与四种泛化协议的 SayNext-Bench 基准，并受认知双路径与语义启动理论启发设计出通过可学习启动令牌融合感知线索与认知先验的双通道预测模型 SayNext-Chat。

方法详解¶

整体框架¶

SayNext 任务将对话轮次定义为双人交互单元。给定交谈对方的前序提问文本 \(T_A^{\mathcal{Q}}\) 与说话人在提问期间并发的非言语视觉反应视频 \(V_B^{\mathcal{Q}}\)，模型需输出对说话人随后真实回复 \(T_B^{\mathcal{R}}\) 的预测 \(\tilde{T}_B^{\mathcal{R}}\)，即学习映射 \(f_\theta: (T_A^{\mathcal{Q}}, V_B^{\mathcal{Q}}) \mapsto \tilde{T}_B^{\mathcal{R}}\)。为支撑该任务，论文构建了涵盖赛后新闻发布会真实高强度交互场景的 SayNext-PC 数据集（SayNext-PC2K 与 SayNext-PC19K），保证持续机位视角对说话人微表情与姿态的清晰捕捉。

模型 SayNext-Chat 采用认知启发的双路径架构：一条快速通路直接将低层视觉与文本特征映射为回复，另一条深层通路通过归纳得到的启动因子码本，将高层认知先验编码为紧凑的启动向量与专属嵌入令牌，与感知特征协同注入语言模型主干。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    InText["提问文本 TAQ"] --> FastRoute
    InVid["说话人反应视频 VBQ"] --> VisBackbone["视觉骨干 InternViT"]
    VisBackbone --> FastRoute["快速直觉通路<br/>MLP 视觉映射投影"]
    VisBackbone --> ConvLayers["深层认知通路<br/>两层卷积 + 全连接网络"]
    ConvLayers --> PrimeEmbed["启动向量映射与令牌生成<br/>生成启动令牌注入 LLM"]
    ConvLayers --> PrimePred["预测启动向量"]
    Codebook["启动因子码本<br/>20维认知心理特质维度"] -.-> TargetVec["目标启动向量"]
    TargetVec -.-> MSELoss["均方误差回归损失 Lprim"]
    PrimePred --> MSELoss
    FastRoute --> LLM["主干语言模型 InternLM2.5"]
    PrimeEmbed --> LLM
    LLM --> OutText["自回归预测下一句回复"]
    LLM --> CELoss["自回归语言建模交叉熵损失 Ljoint"]
    CELoss --> DynamicLoss["动态平衡总损失 L = Ljoint + λprim Lprim"]
    MSELoss --> DynamicLoss

关键设计¶

1. 认知启发启动因子码本与目标向量构建：从无序文本中提取高层心理表征

在认知心理学中，语义启动效应表明先验刺激能够预先激活大脑中的关联表征，从而加速后续信息处理。为了将这种无形的心理预期转化为可量化监督的计算信号，作者利用大语言模型（GPT-4.1）对训练集中的大量对话响应样本进行语义关联归纳，提取出反映情绪状态、心理压力与竞争意图的高频行为心理特质。通过对抽取的因素进行 \(k\)-means 聚类并采用轮廓系数（Silhouette Coefficient）评估分离度与紧凑度，最终选定 \(k=20\) 个互补特质（如 Perceived Pressure、Affect、Opponent Appraisal、Motivation 等），构建起跨正负两极的标准化启动码本。对于每个回复样本，引导 LLM 依据码本打分赋予一个目标启动向量 \(\mathbf{y} \in [-1, 1]^{20}\)，其中符号表示正负倾向，绝对值大小代表激活强度，0 则代表未显现，从而为后续模型的主动预期建立起稳定的结构化先验参考。

2. 快速与深层协同的双路径预测架构：感知线索与认知先验的有机解耦

受到人类认知双系统理论启发，SayNext-Chat 设立了功能解耦的双通路。快速通路采用 InternViT-300M 提取视频多帧视觉表征，经由两层 MLP 投影器映射至语言模型的嵌入空间，与提问文本拼接作为多模态感知输入；深层认知通路则专门处理高层次预期推断。它将视频特征送入由两层卷积与全连接层构成的专用适配器，并分化出双重功能：其一，适配器输出显式投影到 20 维预测向量 \(\hat{\mathbf{y}}\)，直接回归逼近目标启动向量 \(\mathbf{y}\)；其二，适配器输出高维连续嵌入，作为专属的启动令牌（Priming Token），与标准视觉令牌和文本令牌并在序列前部输入至 InternLM2.5-7B 主干模型。这种设计让模型无需在单一自回归注意力中硬性混合低层像素与高层心理态，显著提升了生成稳定性和意图一致性。

3. 多层级评估指标体系：跨越字面匹配的深层语义-意图对齐

人际对话具有高度的一对多开放性，字面完全一致既不现实也非好预期的唯一标准。因此，SayNext-Bench 拒绝使用单一 BLEU 指标，构建了三层递进的综合评估体系： - Level 1 词汇与语义相似度：涵盖词级别重合度（BLEU-4、ROUGE-L）与语义向量空间余弦相似度（BERTScore-F1、Sentence-BERT）； - Level 2 情绪与意图一致性：引入 NRC-VAD 连续情感空间中的效价（Valence）与唤醒度（Arousal）一致性指标，并部署专用微调分类器评测 7 种离散情绪（DEC）和 9 种共情意图（IC）的判定匹配率； - Level 3 整体对齐偏好：借助前沿模型（GPT-4.1 与 Gemini-2.5-Pro）担任 LLM-as-Judge 评审，对候选预测与真实人类回答的契合度执行盲评打分与胜率排名。

损失函数 / 训练策略¶

模型训练采用多任务联合优化，语言主干模型和视觉骨干均使用 LoRA（\(r=16\)）微调，启动模块从头训练。总损失函数联合了自回归语言建模交叉熵损失 \(\mathcal{L}_{\text{joint}}\) 与启动向量的均方误差回归损失 \(\mathcal{L}_{\text{prim}}\)：

\[\mathcal{L} = \mathcal{L}_{\text{joint}} + \lambda_{\text{prim}} \mathcal{L}_{\text{prim}}\]

为防止回归损失在训练初期因量纲差异主导或干扰语言模型的生成分布，设计了基于指数移动平均（EMA）的自适应动态权重更新策略：

\[\lambda_{\text{prim}} = \min\left(\max\left(\frac{\tilde{\mathcal{L}}_{\text{prim}}^{(t)}}{\mathcal{L}_{\text{prim}}^{(0)} + \epsilon}, 0\right), 1\right)\]

\[\tilde{\mathcal{L}}_{\text{prim}}^{(t)} = \mu \tilde{\mathcal{L}}_{\text{prim}}^{(t-1)} + (1 - \mu) \mathcal{L}_{\text{prim}}^{(t)}\]

其中平滑系数设定为 \(\mu = 0.99\)。优化器采用 AdamW，初始学习率设为 \(1 \times 10^{-4}\)，配合余弦学习率衰减调度。

实验关键数据¶

主实验¶

在 SayNext-PC2K 数据集的说话人相关协议（Subject-Dependent）下，SayNext-Chat 与主流闭源前沿模型及同级别开源多模态大模型进行了系统对比：

模型	LO-B (%) ↑	LO-R (%) ↑	SS-B ↑	SS-S ↑	CEC-V ↑	CEC-A ↑	DEC ↑	IC ↑	JGPT 胜率 ↑	JGem 胜率 ↑
No-vision (纯文本基线)	0.574	11.005	0.4921	0.2632	0.61549	0.69160	0.9037	0.8044	—	—
InstructBLIP-7B	0.466	8.679	0.4596	0.2856	0.50761	0.60748	0.6758	0.6424	7.26%	9.33%
VideoLLaMA3-7B	0.554	13.696	0.5397	0.4072	0.71166	0.75820	0.8450	0.7407	16.30%	12.30%
LLaVA-NeXT-Video-7B	0.472	12.143	0.4469	0.3715	0.63044	0.69315	0.8755	0.7894	17.93%	15.70%
Emotion-LLaMA-7B	0.380	14.046	0.5139	0.3478	0.78967	0.82126	0.5793	0.5348	6.81%	5.48%
InternVL2-8B	0.772	13.936	0.5468	0.4546	0.79863	0.81969	0.9064	0.8172	21.78%	25.19%
GPT-4o (闭源前沿)	1.081	14.623	0.5489	0.4415	0.79441	0.80838	0.9034	0.8053	—	—
Gemini-2.5-Flash (闭源)	0.710	11.951	0.5300	0.3686	0.65538	0.70022	0.8663	0.7340	—	—
SayNext-Chat (本文)	2.307	17.957	0.5651	0.4722	0.80140	0.82847	0.9378	0.8874	29.93%	32.00%

消融实验¶

为验证启动机制在不同多模态主干网络中的有效性以及不同注入方式的影响，论文在 InternVL2-8B 与 VideoLLaMA3-7B 上进行了不同方案的相对增量对比（\(\Delta\) 相对原始未微调基线）：

骨干网络	变体配置	\(\Delta\)LO-B (%) ↑	\(\Delta\)LO-R (%) ↑	\(\Delta\)SS-B ↑	\(\Delta\)SS-S ↑	\(\Delta\)CEC-V ↑	\(\Delta\)CEC-A ↑	\(\Delta\)DEC ↑	\(\Delta\)IC ↑
InternVL2-8B	因子文本提示注入 (Factor in Prompt)	-0.708	-3.343	-0.03988	-0.07260	-0.10859	-0.08465	-0.09979	-0.09082
InternVL2-8B	连续数值提示注入 (Vector in Prompt)	-0.715	-3.278	-0.03517	-0.06980	-0.08949	-0.08249	-0.09642	-0.12409
InternVL2-8B	仅常规 LoRA 微调 (Only Finetune)	+1.308	+3.664	+0.01870	+0.01770	-0.02506	-0.01751	+0.00768	+0.03758
InternVL2-8B	微调 + 启动令牌 (本文 SayNext-Chat)	+1.535	+4.021	+0.01830	+0.01760	+0.00277	+0.00878	+0.03139	+0.07017
VideoLLaMA3-7B	因子文本提示注入 (Factor in Prompt)	-0.425	-2.189	-0.01173	-0.04620	-0.01678	-0.02802	-0.00916	-0.02984
VideoLLaMA3-7B	连续数值提示注入 (Vector in Prompt)	-0.445	-1.931	-0.00570	-0.05310	-0.02608	-0.04135	-0.02683	-0.02981
VideoLLaMA3-7B	仅常规 LoRA 微调 (Only Finetune)	+1.309	+3.586	+0.02332	+0.04560	+0.06546	+0.04309	+0.06166	+0.10080
VideoLLaMA3-7B	微调 + 启动令牌 (本文方法)	+1.558	+3.816	+0.02501	+0.05930	+0.07069	+0.04652	+0.07647	+0.12450

关键发现¶

纯微调与启动机制的协同效应：仅使用 LoRA 微调虽然能在词汇重合度上带来提升，但在情绪连续空间（CEC-V 与 CEC-A）上往往出现负向退化；只有引入受显式回归监督的启动令牌，模型才能在全面拉升词汇相似度的同时显著改善情绪与意图一致性（DEC 提升 +0.0314，IC 提升 +0.0702）。
软嵌入令牌远优于硬性 Prompt 注入：将心理因子以纯文本或浮点数字符串形式直接拼入 Prompt 会引发严重的注意力扰动，导致所有层级指标全线显著掉点，证明模型无法直接通过提示词消化抽象高维心理度量，必须借助独立的连续特征空间与注意力机制对齐。
视觉线索的不可替代性：对比 No-vision 基线可见，缺失视觉特征使得模型在意图一致性和长序列语义相似度上落后明显；注意力热图进一步表明，SayNext-Chat 能够精确将注意力扩展到说话人的全脸微表情与肢体手势区域，而非像传统模型那样仅机械聚焦于嘴部运动。

亮点与洞察¶

认知科学启发与现代多模态架构的融合：将认知心理学中的“语义启动”与“双路径决策”概念转化为深度模型中的码本回归与软令牌注入机制，以优雅轻量的工程方式赋予了 LLM 主动预判能力。
填补多模态交互评测空白的完整基准链路：构建了从大规模稳定视角真实数据清洗（SayNext-PC）、四种严格协议（跨说话人、跨场景、可扩展性）、到三层递进多维度评估的闭环，为拟人化智能体交互研究设立了标准标尺。
即插即用的模块化先验注入：启动向量与深层通路的训练可无缝迁移至不同开源多模态大模型底座，其挖掘出的 20 维心理行为维度在跨数据集场景下具有高度通用性和跨文化稳定性。

局限与展望¶

一对多生成与词汇精确度的内在矛盾：尽管模型在整体语义和意图对齐上大幅领先，但 BLEU-4 整体依然偏低（在 2% 左右），反映出人类语言即兴发挥的高度随机性，单轮上下文难以锁定唯一的具体句式。
语用高阶现象理解不足：当前模型在面对反讽、双关、冷幽默等高阶修辞时表现乏力，往往按照字面正面情绪推测，导致预测与说话人真实的戏谑或防御心理产生偏差。
多轮历史动态捕捉受限：主实验仍聚焦于单轮即时问答视频，对长期交互中累积的人物个性基准线、历史恩怨等超长上下文尚未实现深度的动态记忆建模。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性形式化多模态下一句预判任务，巧妙引入语义启动与双路径认知机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2K 与 19K 数据集、跨场景 IEMOCAP 验证、消融实验、人工盲评与 LLM-as-Judge 评审。
写作质量: ⭐⭐⭐⭐⭐ 叙述逻辑严密，图表详实，问题定位清晰且具备深厚的认知科学洞察。
价值: ⭐⭐⭐⭐⭐ 为人机协同交互、具身智能主动协同与安全意图前置探测提供了极具参考价值的基准与方法范式。