Frame of Reference: Addressing the Challenges of Common Ground Representation in Dialogue¶

会议: ACL 2026
arXiv: 2601.09365
代码: GitHub
领域: 强化学习
关键词: 共识建立, 关系指代, 情境对话, 强化学习, 对话记忆

一句话总结¶

本文提出 IndiRef 基准测试，用于评估对话系统通过"关系指代"（如"昨天我们去的那个公园旁边的咖啡馆"）建立和利用持久共识（common ground）的能力，发现现有 LLM 在全上下文条件下准确率不超过 50%，并通过合成数据 + GRPO 强化学习训练将性能提升 15-20%。

研究背景与动机¶

领域现状：在对话中，共识（common ground）指的是对话参与者之间积累的共享知识、信念和假设。近年来 LLM 已展现出执行某些基础对话行为（如确认、回应）的能力，但这些行为是否代表真正的理解仍不确定。

现有痛点：(1) 现有 LLM 可能只是通过生成合理的回应来"模拟"理解，而非真正建立和利用共识——即"理解的幻觉"；(2) 对话历史增长后，系统必须依赖记忆管理技术从已建立的共识中检索信息，但现有方法（摘要、RAG、知识图谱）在处理复杂关系指代时表现不佳；(3) 缺乏有效的基准来测量对话系统建立持久、可用共识的能力。

核心矛盾：情境对话中，实体往往没有唯一的指代表达（如同一个房间可以被称为"有电视的房间"或"浴室前面的房间"），且指代关系涉及空间、时间、属性等多维度的关系推理。现有表示方法无法充分捕捉这些实体间关系。

本文目标：(1) 提出一个基于关系指代解析的基准来评估对话系统的共识建立能力；(2) 评估现有常用共识表示方法的效果；(3) 通过合成数据和强化学习改善系统的对话理解能力。

切入角度：受 Kruijt and Vossen (2022) 启发，利用人类对话中常见的"关系指代"（通过空间、时间、属性等关系来引用实体）作为测试共识能力的探针——如果模型能正确解析这类指代，说明它确实建立了有效的共识。

核心 idea：将"解析复杂关系指代"作为衡量对话系统共识建立能力的核心指标，并通过合成情境对话数据 + GRPO 训练来增强 LLM 的多步推理能力。

方法详解¶

整体框架¶

框架包含三个研究问题：(1) 基准测试——提出 IndiRef 基准，包含 400 个基于关系指代的问答对；(2) 表示方法评估——在资源受限条件下对比摘要、分块检索和本体论三种共识表示方法；(3) 性能提升——通过合成数据生成和 GRPO 强化学习训练改善模型表现。输入为情境对话历史，输出为对关系指代问题的正确回答。

关键设计¶

IndiRef 基准测试:
- 功能：评估对话系统通过关系指代利用共识的能力
- 核心思路：基于两个对话数据集（Meetup 和 Spot the Difference），手动构建 400 个问答对（每类 100 个），覆盖四种指代类型：时间指代（如"我们看完蜘蛛侠之后去的那个泰国餐厅"）、空间指代（如"桌上的瓶子"）、属性指代（如"黄色房子"）和推理共识（隐含信息的理解）。设计为对抗性——包含多个同类实体以防止简单关键词匹配，并通过指示代词（你的/我的）测试视角区分能力
- 设计动机：现有基准只测试即时对话行为（如确认），无法衡量系统是否真正建立了可持久利用的共识
共识表示方法对比 (Writer-Reader-Generator 框架):
- 功能：在资源受限场景下评估不同共识存储和检索方法
- 核心思路：采用 \(W\)（写入）-\(R\)（读取）-\(G\)（生成）框架。对比三种方法：(a) 摘要——将对话历史压缩为摘要 \(s_t\)；(b) 分块检索——将对话切分为重叠的话语块 \(c_i\)（7 条话语，步长 3），检索最相关的 top-k 块；(c) 本体论方法——使用 Agent 提取实体、属性、关系和说话者信息，构建结构化知识，并通过多步查询（RAG[n]→Process→Final）检索信息。测试了稀疏（BM25）和稠密（NV-Embed-V2）两种嵌入方式
- 设计动机：真实长对话场景中完整历史无法放入上下文窗口，需要评估哪种表示方法能最好地保留关系信息
合成数据生成 + GRPO 训练:
- 功能：解决情境对话训练数据稀缺问题并提升模型推理能力
- 核心思路：采用"环境优先、对话在后"的三阶段生成流程：(a) 程序化构建模拟世界，两个导航者探索并记录时空事实；(b) 脚本控制器同步导航者的经历并生成对话脚本，LLM 仅负责在脚本约束下生成话语；(c) 从真实事实中确定性地提取问答对。生成约 600 个问答对后，使用 GRPO 训练 Llama 3.1-8B，对正确回答给予正奖励
- 设计动机：现有 LLM 缺乏情境对话的训练数据，直接用 LLM 生成对话会导致推理部分不可靠，因此将推理逻辑交给程序化脚本控制器

损失函数 / 训练策略¶

使用 GRPO（Group Relative Policy Optimization）进行训练，奖励函数基于回答正确性——模型生成的回答与预定义答案匹配时给予正奖励。训练数据来自合成对话场景的约 600 个问答对。

实验关键数据¶

主实验¶

全上下文基线（不同 LLM 在 IndiRef 上的表现，FEM/LLM-as-Judge）

模型	时间指代	空间指代	属性指代	推理共识
Gemma2-2B	0.20/0.18	0.18/0.16	0.24/0.26	0.26/0.16
Llama3.1-8B	0.38/0.32	0.46/0.38	0.46/0.44	0.20/0.20
Gemma2-27B	0.50/0.44	0.58/0.56	0.48/0.44	0.28/0.26
Qwen-QWQ-32B	0.38/0.32	0.52/0.38	0.44/0.40	0.40/0.40

资源受限场景下不同表示方法对比（Llama3.1-8B，Meetup）

方法	时间	空间	属性	推理
全上下文基线	0.38/0.32	0.46/0.38	0.46/0.44	0.20/0.20
摘要	0.32/0.28	0.34/0.26	0.30/0.25	0.28/0.18
分块(NV-Embed)	0.24/0.20	0.08/0.06	0.16/0.08	0.22/0.24
分块(BM25)	0.26/0.24	0.20/0.16	0.20/0.18	0.24/0.26
Agent本体论	0.40/0.36	0.38/0.34	0.38/0.30	0.24/0.22

消融实验¶

GRPO 训练效果（Llama3.1-8B）

配置	时间	空间	属性	推理
原始（全上下文）	0.38/0.32	0.46/0.38	0.46/0.44	0.20/0.20
In-Context Learning	0.60/0.56	0.58/0.54	0.62/0.58	0.42/0.34
GRPO 训练	0.58/0.52	0.66/0.54	0.62/0.60	0.46/0.42

Agent 本体论 + GRPO 训练

配置	时间	空间	属性	推理
无 GRPO	0.40/0.36	0.38/0.34	0.38/0.30	0.24/0.22
有 GRPO	0.48/0.46	0.44/0.42	0.52/0.44	0.36/0.38

关键发现¶

即使在全上下文条件下，最强模型（Gemma2-27B）在所有类别上的准确率均未超过 58%，说明关系指代解析对当前 LLM 极具挑战性
所有资源受限表示方法均不如全上下文基线，信息损失是核心问题
Agent 本体论方法优于摘要和分块方法，说明多步检索和显式实体-关系建模有助于理解上下文
推理型模型（Qwen-QWQ）在推理共识类别上表现最优（0.40），但在其他类别上表现一般，且常出现幻觉
GRPO 训练在 Meetup 和 STD 数据集上均提升 15-20%，证明合成数据训练可迁移到不同场景

亮点与洞察¶

"关系指代解析"作为共识能力的探针是一个精巧的设计——它将抽象的"理解能力"转化为可量化的 QA 任务
合成数据生成的"环境优先"方法值得借鉴——将推理逻辑交给程序化控制器、语言生成交给 LLM，确保数据的事实正确性
发现稀疏嵌入（BM25）在命名实体检索上略优于稠密嵌入，这对 RAG 系统设计有参考价值

局限与展望¶

IndiRef 基准规模较小（400 个问答对），且手工构建限制了扩展性
仅在 8B 参数量的模型上进行了 GRPO 训练，更大模型可能受益更多
合成数据的领域较窄（主要是导航场景），对其他情境对话的泛化性有待验证
Agent 本体论方法在相似图像场景（STD）中容易合并不同参与者的信息

评分¶

新颖性: ⭐⭐⭐⭐ 将"关系指代"作为共识能力的探针是独到的视角，合成数据方法设计巧妙
实验充分度: ⭐⭐⭐⭐ 多种表示方法、多个模型对比，但数据集规模较小
写作质量: ⭐⭐⭐⭐⭐ 三个研究问题层层递进，实验设计清晰，分析深入
价值: ⭐⭐⭐⭐ 揭示了对话系统在共识建立方面的根本缺陷，为具身对话和社交机器人提供了评估方向