NARRA-Gym for Evaluating Interactive Narrative Agents¶

会议: NeurIPS 2026
arXiv: 2605.08503
代码: https://github.com/narra-gym/NARRA-Gym
领域: 其他
关键词: 交互式叙事, LLM评测基准, 多智能体协同, 步调控制, 情感个性化

一句话总结¶

提出了首个面向交互式叙事智能体端到端评估的执行环境 NARRA-Gym，通过分阶段世界构建、多层记忆与主动步调干预，系统揭示了前沿大模型在多轮长程交互中“叙事流畅度”与“抗拒敏感个性化”之间的核心脱节。

研究背景与动机¶

大语言模型在静态文本生成与离线叙事创作上已展现出极高的流畅度，并在游戏 NPC 驱动、剧本辅助创作及人机协同故事生成等交互式媒体场景中得到广泛探索。然而，交互式叙事远不止于生成语法通顺、辞藻华丽的段落。它要求模型在长程多轮交互中，同时维系因果连贯的故事世界、鲜活且符合心理动机的角色演进、张弛有度的叙事步调，并持续与用户的深层情感轨迹对齐。只要记忆召回、情节规划或情感共情中任何一个环节断裂，整场沉浸式交互就会瞬间崩解。

现有的评估基准严重缺乏对这种动态交互特性的覆盖。标准 LLM 评测长期偏重单轮问答与封闭推理，而现有的叙事基准大多停留在静态故事理解、离线语料切片评分或事后总体打分上。这类评估能够捕捉单段落的修辞质量，却彻底忽略了在动态选择与开放文本输入下，系统能否维系长期故事张力、因果一致性及真实情感共鸣。模型常常在表面上生成了符合语境的优美场景，但在深层逻辑上却过早向用户妥协、落入陈词滥调的说教，或彻底忽视用户核心的情感抗拒。

本文的核心切入点在于借鉴经典强化学习环境（如 OpenAI Gym）的交互沙盒范式，将交互式故事生成转化为具备状态转移、行为约束与完整轨迹追踪的可执行评测协议。核心 idea：构建可执行的交互式叙事评测沙盒 NARRA-Gym，将故事世界构建解耦为结构化蓝图，在多轮交互中联合调度多分辨率记忆、三级停滞防御与新颖性约束的交互道具合成，通过大模型裁判与真实人类偏好双轨协议全面度量叙事智能体的交互可靠性。

方法详解¶

整体框架¶

NARRA-Gym 的核心理念是将交互式叙事从松散的演示系统转变为标准、可复现的评测协议。整个评测流程划分为两个互补阶段：从用户情感种子到结构化故事世界的初始化阶段（Narrative Architect），以及运行用户动作驱动的多轮交互主循环（Interaction Loop）。

在初始化阶段，系统接收用户输入的自由文本情感种子与偏好问卷，由叙事架构师顺序执行故事基底、世界设定、角色设定、幕结构大纲及开场场景五步构建，输出机器可读的故事状态。进入交互循环后，用户可通过按钮选择或自由文本进行交互；记忆智能体装配多层上下文，生成模型推进故事节拍，步调智能体与结构卫士实时检测并拦截情节停滞，规划智能体提供反思性指导，道具智能体按需生成可交互的 HTML/CSS/JS 网页道具，最终在状态更新与全量轨迹持久化后进入下一轮。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户情感种子与偏好画像"] --> B["五阶段结构化世界构建<br/>基底→设定→角色→大纲→开场"]
    B --> C["多层级记忆状态装配<br/>静态画像 / 动态情节 / 情感旅程"]
    C --> D["LLM故事推进生成<br/>剧情节拍与分支候选项"]
    D --> E["三级递进式步调干预<br/>停滞检测与结构卫士拦截"]
    E --> F["规划反思与道具合成<br/>意图推断与自适应HTML道具"]
    F -->|更新情节状态与交互日志| G["进入下一轮交互循环"]

关键设计¶

1. 五阶段结构化世界构建：解耦叙事构思与场景落地

端到端一次性生成完整故事世界极易导致角色扁平、设定前后矛盾或情节脉络空洞。NARRA-Gym 设计了分步可追溯的初始化管线，将构思失败与场景落地失败彻底解耦： - 阶段一（故事基底）：由情感种子提炼标题、主题前提、潜在情感潜流及主角核心目标； - 阶段二（场景与世界构建）：将抽象情绪具象化为物理世界与空间框架，保障后续地点转换的因果连续性； - 阶段三（角色构建）：建立包含主角与配角在内的角色档案，固定性格特质、语言风格与关系图谱； - 阶段四（幕结构大纲）：生成多幕蓝图，并引入“批评-重写（critic-then-refiner）”审查回路，对新颖度、悬念、步调与共鸣度进行 1-10 分打分，低于阈值触发重写； - 阶段五（开场场景生成）：产出开场正文、首次对白、隐藏线索与初始张力，将开放文本转化为完备的机器可读 Episode State。

2. 多层级记忆状态装配：显式维护长程因果与情感轨迹

简单的全量对话历史拼接（Context Stuffing）不仅快速消耗上下文窗口，而且模型无法从冗长的扁平文本中精准捕捉故事核心线索。Memory Agent 维护了三种具有不同更新周期的显式状态层： - 用户画像层（User Profile）：记录用户的情感诉求、偏好基调与舒适边界，初始化后保持只读； - 故事状态层（Story State）：每一轮非系统交互后，基于启发式规则抽取当前目标、未解冲突、活跃线索与最近转折点；每 3 轮调用轻量模型生成对话滚动摘要（rolling summary）并同步校准结构字段； - 用户旅程层（User Journey）：持续记录带时间戳的情感波动轨迹（情绪、强度、触发源）与关键决策。每轮 Prompt 注入的并非杂乱的历史堆叠，而是高度提炼的状态变量，强迫模型在表层对话与深层世界状态之间保持严格一致。

3. 三级递进式步调干预与情节停滞防御：杜绝无限原地打转

在开放式交互叙事中，模型极易陷入局部辞藻华丽但主线情节毫无推进的“第二幕停滞”。Pacing Agent 构建了三层防御机制，将交互按交互对（Exchanges）划分 5 个升级阶梯（<5 次正常引导，5-6 次增强冲突，7 次激活结构卫士，8-13 次强制场景/线索质变，≥14 次强制收束）： - Prompt 动态步调控制：根据交互轮数与已访问地点，自适应注入从温和推进到强制突变的元指令； - 停滞检测器（Stagnation Detector）：检测最近 8 条消息中是否存在重复选择、NPC 是否在近几轮反复套用陈词滥调的安慰词，以及比对每 6 轮的连续滚动摘要；若摘要文本在去除空白后完全重合，则立即触发强制突变标记（forced-advancement flag）； - 后置结构卫士（Structure Guard）：在模型生成完成后介入审查，若生成结果未产生实质性叙事推移，卫士直接介入修改场景状态，强制注入重大事实揭露（reveal）、场景强制转移或升级危机冲突。

4. 差异化交互道具合成：带语义距离约束的多模态外化

为了打破纯文本交互的单调性，Artifact Agent 能够在情节需要时合成可直接在浏览器中渲染执行的 HTML/CSS/JavaScript 交互道具（如可展开的泛黄信件、可交互探索的地图、机关密码锁等）。然而，生成模型极易在多轮中反复滥用相同的交互范式。为此，系统为每个道具在四个维度（基础类型、视觉风格、语义内容、交互模式）进行显式标签化。

给定候选道具标签集 $T_c$ 与历史道具标签集 $T_p$，系统计算综合标签相似度： $$s_{\mathrm{tag}}=\min\!\Bigl(\frac{|T_{c}\cap T_{p}|}{|T_{c}\cup T_{p}|}+0.2\cdot\mathbb{1}[\text{shared content}]+0.2\cdot\mathbb{1}[\text{shared interaction}],\;1.0\Bigr)$$ 同时计算道具描述文本的 Jaccard 相似度 $s_{\mathrm{sum}}$，取二者最大值作为综合相似度。系统与过去 6 个已接受道具逐一比对，若 $\max(s_{\mathrm{tag}}, s_{\mathrm{sum}}) > \tau$（设阈值 $\tau = 0.58$），则触发一次带明确去重指令的重试，强制模型探索全新交互模态与视觉隐喻。

一个完整示例¶

以一位处于严重职场倦怠、难以区分工作日与周末的资深后端工程师 Raj 为例： 1. 初始化：叙事架构师解析其情感种子，在阶段一确立“虚幻控制感与系统失控”的主题基底；阶段三将主角设计为沉迷于排查永无休止分布式幽灵 BUG 的架构师，NPC 为冷漠但高效的系统调度员；阶段四生成从“机械守序”走向“彻底宕机并面对虚无”的三幕蓝图。 2. 交互推进：在第 3 轮，用户输入自由文本“我尝试重启服务器，但内心知道这毫无意义”。记忆智能体将“无意义感”打上情感旅程标签并更新当前目标。 3. 步调干预：第 7 轮时，检测器发现 Raj 连续 2 轮在控制台循环输入检查指令，滚动摘要完全一致，立即触发停滞警报；结构卫士强行干预，下一轮不再描写平静的代码终端，而是强制触发机房断电事故并引入外部突发访客。 4. 道具合成：道具智能体结合当前剧情，生成一份带磨损噪点与时序图交互的 HTML 崩溃日志分析器，相似度得分为 0.32（低于 0.58），通过校验成功嵌入前端供用户点击排查。

损失函数 / 训练策略¶

本工作为纯评测基准与环境系统构建，不涉及模型参数训练。所有生成模型均在统一的环境脚手架下以纯推理零样本方式运行，系统全程记录提示词、输出结构、API 延迟与内部干预状态。

实验关键数据¶

主实验¶

主实验包含两大协议： 1. 自动化 LLM-as-judge 评测：涵盖 9 个前沿大模型，在 8 个具代表性的模拟角色故事（共 72 个完整交互 Episode）上运行，由 GPT-5.4-mini、Gemini 3.1 Pro、Claude Sonnet 4.6 三个独立裁判模型在 11 维细粒度指标上打分并取均值（StoryQ 为 7 个故事维度均值，UX 为 4 个用户体验维度均值，满分 5.0 分）。 2. 人类盲评验证：12 名具备高熟练度的英文评审员基于自身真实的定制体验进行交互测试，通过 Plackett–Luce 效用模型聚合模型排名。

下表展示了自动化评测中 9 款前沿生成模型的核心对比结果：

模型	开源状态	综合故事质量 (StoryQ)	综合用户体验 (UX)	连贯性 (Coh)	角色塑造 (Char)	满意度 (Sat)	复用倾向 (Reuse)
Claude Sonnet 4.6	API	3.90	3.86	4.04	3.96	3.79	3.83
Claude Opus 4.6	API	3.48	3.43	3.25	3.67	3.29	3.33
DeepSeek V4 Pro	开源权重	3.20	3.04	3.38	3.42	2.67	2.75
GPT-5.4	API	3.17	3.07	3.04	3.25	2.88	2.92
DeepSeek V3.2	开源权重	3.14	3.03	3.46	3.12	2.83	2.92
Doubao Seed 2.0	API	2.73	2.62	2.96	2.88	2.42	2.42
GLM-5.1	开源权重	2.68	2.60	2.83	2.83	2.50	2.58
Gemini 3.1 Pro	API	2.56	2.49	2.71	2.58	2.46	2.42
Qwen3.5-397B	开源权重	2.43	2.29	2.62	2.54	2.08	2.08

消融实验¶

为了剖析环境脚手架对维持交互体验的关键作用，论文在系统消融分析与 Claude Sonnet 4.6 的个案失效审计中，对步调干预、记忆结构与角色难度差异进行了多维度对照：

配置 / 审计维度	评测表现 / 观察指标	说明与核心影响
完整 NARRA-Gym 环境	交互稳定率 100%	依靠柔性降级与结构卫士拦截，无会话异常崩溃
移除 Pacing Agent（无停滞干预）	严重情节停滞	模型陷入无限第二幕，NPC 重复空洞建议，交互疲劳度激增
移除结构化 Memory Agent	显式因果与线索漂移	退化为平铺历史后，模型遗忘前期伏笔与初始情感边界
最易角色：Hye-jin（遇阻作曲家）	平均 StoryQ 3.71	创意受阻的情感矛盾清晰直接，模型极易组织艺术共鸣隐喻
最难角色：Sara（产后重度疲惫母亲）	平均 StoryQ 2.49	面对愤怒、筋疲力尽与自我消解时，多数模型误入过早说教与虚假正能量
最优模型跨角色鲁棒性 (Sonnet 4.6)	StoryQ 极差 3.00–4.57	跨角色表现平稳，在绝大部分情感设定下均能保持高质量
次优模型跨角色崩溃 (Opus 4.6)	StoryQ 极差 1.38–4.52	均分较高但在特定抗拒型角色中出现严重逻辑崩解

关键发现¶

流畅度不等于可用性（StoryQ 与 UX 的脱节）：几乎所有前沿大模型均能写出生动流畅的单段对白或场景描摹，但在“复用倾向”和“过程助益性”等用户体验维度上大幅滑坡（如 DeepSeek V4 的 StoryQ 达 3.20，但 Sat 仅为 2.67）。许多模型能够维持表面合理的场景，却无法让这种交互对用户产生真实的价值。
抗拒敏感个性化（Resistance-Sensitive Personalization）是最大痛点：质检 65 篇长程交互记录显示，模型最频发的失败不是语言语法错误，而是过早提供解决方案（Over-solutioning）或回避核心抗拒。例如在面对博士生 Mei 的科研瘫痪时，模型急于将深层的耻辱感重构成日常时间规划任务，引发用户强烈的心理抗拒。
人评与裁判模型在中层模型上的显著偏好分流：人类盲评与多裁判聚合在顶级模型（Sonnet 4.6 与 Opus 4.6 稳居前两名）上表现出极高的一致性；但在中游梯队，人类偏好显著提升了 Doubao、Gemini 与 Qwen 的排名，表明人类用户对交互节奏的体感与开放接纳度具有超越文本严谨性的主观感知。

亮点与洞察¶

将不可捉摸的“交互叙事”转化为 Gym 级可执行沙盒：打破了过去纯靠人工评阅或静态切片打分的局限，通过初始化解耦、三层记忆与递进步调防御，构建了可复现、带完整因果轨迹日志的标准化评测协议。
双重维度指标打通“故事质感”与“人机体验”壁垒：明确提出了包含 7 项叙事维度与 4 项 UX 维度的全景评价体系，量化证明了“文笔好的模型在交互陪伴上可能极其生硬”。
多模型裁判偏差对齐方案的可迁移性：揭示了自动化裁判中不同模型存在的固有系统截距漂移（GPT-5.4-mini 极严、Gemini 极宽、Sonnet 居中），通过三裁判均值与 Plackett–Luce 效用聚合，为开放式主观评测提供了高可靠的去偏范式。

局限与展望¶

模拟角色覆盖面仍有扩展空间：当前自动化评测基于 8 个典型心理特征的角色画像，未来需扩展更多跨文化、多年龄层及复杂精神状态的人群样本以提升泛化性。
裁判打分绝对尺度的对齐机制仍待增强：尽管三裁判均值降低了单模型偏差，但绝对分值依然受裁判模型分布影响，未来可引入基于 Elo 机制或连续截距校正的方法进一步稳定打分。
实时真人闭环评测规模受限：人类受试者评测单次长达 20 分钟以上，高昂的时间成本限制了大规模人工盲测的频次，未来需探索更低成本的人机混合评测范式。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立面向交互式叙事全流程的可执行评测沙盒，设计了完备的步调与新颖性干预体系。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 9 款顶尖模型、8 大复杂角色、3 款裁判模型全矩阵及严格的人类盲测与失效审计。
写作质量: ⭐⭐⭐⭐⭐ 体系完备，逻辑极其严密，概念定义清晰且附录材料详实。
价值: ⭐⭐⭐⭐⭐ 填补了 LLM 在多轮长程交互与情感对齐能力评测上的关键空白，对人机共创与情感交互具深远指导意义。