跳转至

Simulating Multimodal Multiparty Student Interactions with Large Language Models for Training Adaptive Pedagogical Agents

会议: EMNLP 2026
论文: ACL Anthology
领域: 对话系统
关键词: 用户模拟;多模态交互;多方对话;强化学习;自适应教学智能体

一句话总结

本文提出了一种基于纯文本大语言模型的多方多模态学生互动模拟框架,通过将视线与动作内联为舞台指示文本,结合阶段提示约束与逐轮角色强化,成功支持了自适应教学机器人对话策略的强化学习训练。

研究背景与动机

在多方教学人机交互场景中,教学机器人不仅需要理解言语内容,还必须敏锐地协调多方社交动态,例如发言权轮转、基于注视的倾听者选择以及非语言反馈通道。强化学习(RL)是优化此类自适应干预策略的理想范式,但其广泛应用受制于真实交互数据采集的高昂成本与伦理风险——在敏感的教育场景中直接让人类学生与处于探索阶段的策略试错交互既耗时又不可行。虽然用户模拟器长期以来被用作低成本的替代环境,但传统基于规则或议程的模拟器缺乏语言多样性,而近期的 LLM 模拟器大多局限于双人纯文本场景,忽略了注视、手势等关键多模态社交信号。

这种局限性在三方或多人教学中尤为致命:谁在注视谁往往与说了什么同等重要,脱离非言语线索的模拟器无法让策略学会适时介入或平衡参与度。然而,引入复杂的多模态感知生成模型又会面临高延迟和训练开销,且 LLM 在长对话多轮模拟中普遍存在角色漂移(persona drift)与模式崩塌,导致个性差异逐渐收敛至均质化。

本文切入的角度是:复杂的非语言社交信号其实可以通过文本内联“舞台指示”精准表达,使得现成标准纯文本 LLM 无需专门的多模态架构即可模拟出具有动态话轮控制与稳定性格差异的三方互动。核心 idea:将视线与手势显式序列化为对话历史中的内联舞台指示文本,结合两阶段话轮结构提示与逐轮动态角色强化(DIR),构建兼具高语言真实感与可控社交动态的多模态三方教学模拟器,进而支持在线异步与离线强化学习策略的高效训练。

方法详解

整体框架

本文构建的自适应教学智能体训练环境由三大核心组件闭环驱动:基于 AIML 规则的基础对话管理引擎(负责生成固定的教学言语模板)、强化学习智能体策略(负责调控注视方向 \(G\) 与言语指称 \(R\) 的社交投递行为),以及作为环境动态生成器的纯文本大语言模型(如 Qwen3-14B-Chat 或 Mistral-24B-Instruct)。环境将教学机器人与两位学生的协作解题建模为部分可观测马尔可夫决策过程(POMDP),输入为带有舞台指示的滑动窗口对话历史,输出为机器人的社交动作;模拟器随后生成兼具同伴讨论与对机器人汇报的双阶段多模态响应。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["对话状态输入<br/>滑动窗口内联文本历史"] --> B["解耦动作选择<br/>言语指称 R 与注视 G"]
    B --> C["响应增强模块<br/>注入舞台指示与基础文本"]
    C --> D["阶段结构化生成<br/>两阶段约束 Phase 1 & 2"]
    D --> E["动态角色强化 DIR<br/>逐轮注入性格倾向 Prompt"]
    E --> F["模拟响应与环境状态更新<br/>生成言语与学生注视动作"]

关键设计

1. 多模态信号的文本内联编码:双向解耦注视与言语指称

以往多模态交互建模常依赖庞大的跨模态生成网络,计算开销巨大且难以即插即用。本文提出将非语言通道直接降维编码为内联“舞台指示”(stage directions)。在机器人到模拟器的输入方向,RL 智能体的离散动作被转换为附加在台词后的括号描述,例如 Emma: "What do you think is next?" (Emma looks at the monitor and shrugs),显式建立共同注意力锚点;在模拟器到机器人的输出方向,约束 LLM 生成带有学生非言语行为的括号标记(如 (Student A looks at Student B)),RL 智能体直接将解析出的文本 token 作为环境观测特征。在动作空间设计上,智能体控制解耦的离散动作集 \(\mathcal{A} = \mathcal{R} \times \mathcal{G}\)(大小为 12),其中言语指称 \(\mathcal{R} \in \{\text{Student A}, \text{Student B}, \text{None}\}\),注视方向 \(\mathcal{G} \in \{\text{Student A}, \text{Student B}, \text{Monitor}, \text{Thinking}\}\),两者的独立性使得策略能够学习如“面向学生说话但注视屏幕”等去向指示手势。

2. 结构化阶段提示机制:两阶段话轮强约束

在三方协作学习中,学生交互遵循严格的“先合作讨论、后对师汇报”的社会规范。如果仅凭自由提示,LLM 极易跳过同伴协作直接向机器人抢答,导致互动结构坍塌。为此,框架引入阶段标记提示(Phase Tagging),硬性约束 LLM 按照结构化标签生成响应:在 [Phase 1: Peer Discussion] 中,两位学生只能在彼此之间就解题步骤进行讨论交涉,严禁向机器人发言;在 [Phase 2: Explanation to the Robot] 中,由且仅由一名学生面向教学机器人汇报最终得出的共识步骤。这种显示阶段划分建立了清晰的话轮转折边界,确保模拟环境精确复现了真实协作学习的话轮治理规则。

3. 学生原语与动态角色强化(DIR):防止角色漂移与模式崩塌

长上下文对话模拟中,LLM 普遍面临上下文稀释效应,导致性格差异逐渐抹平为中庸的泛化语调。本文定义了五个离散层级的“学生原语”(Student Primitives,从 Extremely Shy 到 Very Confident,量化分值 \(P \in \{1, \dots, 5\}\)),用于控制学生主动发言与抢占话轮的倾向。为保证长期模拟的一致性,设计了动态角色强化(Dynamic Instruction Reinforcement, DIR)机制:在每个交互轮次,将高优先级的单轮性格指令动态追加至当前 prompt 末尾(例如明确标注“学生 A 极为害羞、罕见主动开口;学生 B 极度自信、主导对话”),并在生成完成后将该系统附注从对话历史中剥离。这种临时性高频强化既避免了历史上下文膨胀,又保证了不同性格不平衡度下的发言熵持续稳定。

4. 基于 ICAP 的多目标奖励与异步强化学习架构

针对不可微的教学目标,框架设计了结合认知参与 ICAP 理论的双组件即时奖励函数:

\[R_{\text{total}}(t) = \alpha_E R_E(t) + \alpha_D R_D(t)\]

其中权重设为 \(\alpha_E = \alpha_D = 0.5\)。\(R_E(t)\) 为基于词数分布的香农熵平衡奖励(Word Count Entropy),衡量两名学生发言量的均衡性;\(R_D(t)\) 为对话表达率(Dialogue Expressivity Ratio),通过统计两名学生共享的独特词汇重合度衡量同伴间的词汇对齐与知识共建水平。为解决单步 LLM 生成耗时超 30 秒导致的训练瓶颈,算法采用异步 PPO(APPO)结合 IMPALA 架构,将数据采集采样器与策略优化学习器完全解耦,利用 V-trace 离策略修正弥补通信延迟,吞吐量达 9.97 steps/sec(远超同步 PPO 的 1.46 steps/sec)。

一个完整示例

在辅导比例问题的场景中,设定学生 A 为“Shy”(\(P=2\)),学生 B 为“Extremely Shy”(\(P=1\))。机器人 Emma 介绍问题并点头:Emma: So to make the punch... I may need to make up to eight pitchers. (Emma nods)。 进入模拟流程后,LLM 首先生成阶段 1:(Student A glances at Student B, then back at the paper) Student A: Hmm, maybe we need to figure out how long it takes to make one pitcher first? (Student B looks up briefly, then back down) Student B: (Nods slowly) Maybe. 随后,Emma 执行离散动作选择注视学生 A,模拟器进入阶段 2,仅被选中的学生 A 向 Emma 汇报单步思路:(Emma looks at Student A) Student A: Let’s start with the smallest amount you might need... If you can figure out how long it takes to make one pitcher... 该过程展示了内联动作、阶段隔离与性格倾向在单个交互轮次中的协同落实。

实验关键数据

主实验

论文在由 12 对真实大学生(71 个完整解题对话,737 个轮次,2,770 个多模态话语)构成的真实机器人辅导数据集上进行了全方位评测。下表展示了模拟生成话语与人类真实语料的 BERTScore F1 语义相似度对比,以及离策略评估(Off-Policy Evaluation, OPE)的双重稳健估计量 \(V_{\text{DR}}\)。

评估维度 / 任务 评估指标 本文模型 (Mistral-Full / Offline-Sim) 对照基线 (Qwen-Full / PPO Online) 真实参考 / 上界 (Human / Offline-Real)
语言真实感 (总体) BERTScore F1 \(\uparrow\) 0.8626 0.8741 0.9019 (人际一致性)
语言真实感 (Phase 1 同伴) BERTScore F1 \(\uparrow\) 0.8600 0.8943 0.9223
语言真实感 (Phase 2 汇报) BERTScore F1 \(\uparrow\) 0.8747 0.8728 0.9093
话轮依从性 Phase Coherence Score (PCS) 0.443 (95% CI: [0.381, 0.504]) 0.237 (95% CI: [0.207, 0.268]) 0.366 (95% CI: [0.300, 0.433])
真实数据 OPE 策略评估 双重稳健估计 \(V_{\text{DR}} \uparrow\) 1.009 (Offline-Simulated DQN) 0.921 (PPO Online) / 0.990 (Random) 1.126 (Offline-Real 理论上限)

消融实验

下表汇总了不同模拟配置与策略训练变体在模拟内平均汇报奖励及 OPE 四种离线评估估计量上的表现:

策略 / 模拟配置 采样策略与算法 模拟内平均奖励 (Sim Reward) \(V_{\text{DR}}\) (双重稳健) \(V_{\text{IS}}\) (重要性采样) 评估稳定性说明
Random (Baseline) N/A 4.8713 ± 2.6707 0.990 (0.945–1.036) 0.999 (0.967–1.026) 随机动作基线
PPO (Online) Uniform / PPO 4.3401 ± 2.8202 0.921 (0.673–1.223) 0.914 (0.674–1.172) 低吞吐量导致采样不充分
Uniform (Online) Uniform / APPO 4.7386 ± 3.1636 0.933 (0.583–1.214) 0.966 (0.823–1.147) 均匀采样难度较低
ImbalanceFocused (Online) Imbalanced / APPO 5.1612 ± 3.1446 1.012 (0.489–1.456) 0.953 (0.709–1.166) 针对不平衡样本学习到稳健干预
Offline-Simulated (DQN) Uniform / DQN 4.7927 ± 3.1943 1.009 (0.936–1.117) 1.002 (0.979–1.052) 纯合成日志训练,媲美在线
No Gaze/Gesture (消融) Imbalanced / APPO 5.1299 ± 2.7334 Unreliable (> 10⁶) Unreliable (> 10⁶) 非言语剥离导致分布漂移,权重爆炸
Offline-Mixed (50/50) Uniform / DQN 5.5675 ± 2.9760 1.056 (0.931–1.162) 0.988 (0.906–1.075) 混合数据参考
Offline-Real (Reference) Uniform / DQN 4.8101 ± 3.3901 1.126 (0.899–1.414) 0.914 (0.707–1.103) 真实数据拟合上限

关键发现

  • 多模态接地的必要性:当剥离视线和手势(No Gaze/Gesture 消融)时,策略虽然在纯文本模拟器内部刷到了 5.13 的高分,但在真实交互日志上做离策略评估时,重要性采样权重发生灾难性爆炸(\(> 10^6\)),有效样本量(ESS)崩溃至 \(< 2.0\)。这表明缺少注视信号会导致策略动作分布过度陡峭,与人类真实的社交动力学发生严重分布漂移。
  • 动态角色强化消除均质化:词数分布熵(WCE)随着预设性格不平衡等级从 Level 0 递增到 Level 4 呈现单调下降趋势(均值从 0.94 降至 0.58,Kruskal-Wallis 检验 \(H(4)=77.8, p<0.001\))。消融去掉 DIR 后,上下文稀释导致不平衡度差异在长轮次中彻底抹平。
  • 纯合成离线预训练极具扩展性:在由模拟器生成的 600 万条随机交互日志上通过离线 DQN 训练的策略,\(V_{\text{DR}}\) 达到 1.009,全面达到甚至略优于昂贵的在线交互策略,证明合成交互数据能有效打破环境实时推断的高延迟瓶颈。
  • 涌现的自适应干预策略:RL 智能体自主学会了“一致性线索提示”(Congruent Cueing),即在引入新问题时主动将言语提问与直视注视相绑定;同时学会在 AIML 系统发生模板复读故障时调低干预预期。

亮点与洞察

  • 巧妙的内联舞台指示将离散控制与语言生成无缝桥接,绕开了复杂多模态骨干网络的训练门槛,使得标准 LLM 可直接充当具身多方互动的逼真沙盒。
  • 采用不平衡课程采样训练策略,让智能体在极端发言偏斜场景下磨炼干预能力,显著提升了策略在常规测试场景下的稳健性与泛化度。
  • 揭示了多模态非语言信号作为离策略强化学习“隐式正则化约束”的关键作用,为衡量 LLM 对话模拟中的 Sim-to-Real 鸿沟提供了实证范式。

局限与展望

  • 真实评估基准规模较小(仅 12 对学生、71 个会话),受限于样本量,四种 OPE 估计量的置信区间存在部分重叠,对精细策略排名的统计检验力有限。
  • 存在显著的风格 Sim-to-Real 差距:指令微调 LLM 表现出明显的冗长偏见(平均句长 ASL 显著偏长,Flesch-Kincaid 难度等级达 6.2,远高于真实人类学生的 4.1)。
  • 离散的文本舞台指示无法直接迁移至物理连续交互空间(如需要亚秒级空间连续注视轨迹和物体抓取的装配任务)。

相关工作与启发

  • vs. DuetSim 等 LLM 用户模拟器:以往工作主要集中在双人、纯文本任务型对话;本文拓展至三方(一对二)机器人教学交互,并将视线与动作通道纳入统一表征。
  • vs. 传统基于规则/议程的模拟器(如 Agenda-Based):传统方法缺乏自然的词汇生成能力与自发讨论多样性;本文在保持结构与性格可控的同时保留了现代大模型的语义丰富度。
  • vs. Maidment et al. (2022):早期工作在小样本真实日志上构建静态 POMDP;本文通过大模型生成海量互动数据,支持离线与异步强化学习的高通量探索。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 巧妙利用文本舞台指示解决多方多模态交互模拟难题,打通了 LLM 模拟器与强化学习策略训练的端到端管线。
  • 实验充分度: ⭐⭐⭐⭐☆ 涵盖语义相似度、话轮遵守率、性格熵以及四种 OPE 评估指标,消融实验论证了非言语信号的必要性,仅受限于真实对比集规模。
  • 写作质量: ⭐⭐⭐⭐⭐ 叙述逻辑严密,数学符号与系统架构定义清晰,详实交代了 Sim-to-Real 鸿沟与伦理边界。
  • 价值: ⭐⭐⭐⭐⭐ 为教育智能体、协作机器人及多模态对话策略的低成本安全孵化提供了极具参考价值的方法论。