跳转至

DiscoTrace: Representing and Comparing Answering Strategies of Humans and LLMs in Information-Seeking Question Answering

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/nehasrikn/discotrace
领域: NLP 理解
关键词: 问答系统, 篇章分析, 修辞结构理论, 大语言模型, 策略表征

一句话总结

本文提出篇章级长文本问答策略表征框架 DiscoTrace,将回答分解为修辞边界上的篇章行为与具体问题解读意图的有序二元组序列,揭示了人类不同社群迥异的修辞规范,并从语用学视角证实大语言模型存在答非所选、策略单一以及追求广度而牺牲深度的结构性缺陷。

研究背景与动机

随着人机交互由简单的离散事实检索转向开放、主观乃至充满歧义的复杂信息寻求场景,长文本问答(Long-form Question Answering, LFQA)逐渐成为大语言模型交互的核心形态。面对真实场景中模糊不清、前提有误或多维度的复杂提问,作答者存在极宽的策略选择自由度:既可以主动追问澄清前提,也可以直接选定某一合理假定展开论证,亦或是横向梳理多种解读。然而,现行基于人类反馈强化学习(RLHF)的对齐管线与通用偏好评测,往往将事实正确性、文风、详实度与回答的修辞策略混为一谈,无形中以单一原型用户的偏好抹平了多样化的信息需求。

这一困境的核心矛盾在于:长文本回答的质量本身具备高度语境敏感与多目标属性,但学界长期缺乏一种能够在结构层面解耦「回答了什么意图」与「采用何种修辞手段作答」的形式化表征工具。以往基于 ELI5 数据集的研究多聚焦于概念简化这一单一目标,且经典篇章标注往往局限于通用语句功能(如陈述、提问)或浅层组织角色(如背景、总结),无法刻画作答者针对外部提问所采取的主动语用动作,如驳斥前提、主动澄清或划定解读边界。

本文的切入角度是将语言行为理论(Speech Acts)与修辞结构理论(RST)相融合,把回答动作投影到特定问题的潜在解读空间中。核心 idea:将长文本回答抽象为「问题关联篇章行为」与「问题解读意图」配对的有序离散二元组序列 DiscoTrace,通过修辞树边界粗粒度化与多候选语义匹配,实现对人类社群与大模型作答宏观策略的可解释度量与跨域对比。

方法详解

整体框架

DiscoTrace 的输入为一个信息寻求型问题 \(Q\) 以及对应的长文本回答 \(A\)(可伴随社群语境元数据 \(C\)),输出为策略序列 \(S_{DT} = \{(a_1, i_1), (a_2, i_2), \dots, (a_n, i_n)\}\)。整个推断流水线由三个递进阶段构成:基于修辞结构理论的树解析与边界分段、问题关联篇章行为标注、以及候选解读空间构建与二元组匹配。整体流向呈现出由局部篇章树粗化为行为片段、再映射至全局问题解读空间的层级收敛结构。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入:问题 Q 与回答 A"] --> B["阶段1:RST 树解析与边界分段<br/>基于边界关系合并 EDU 为行为片段"]
    B --> C["阶段2:篇章行为多级标注<br/>判定 5 大家族 21 类行为并核验修辞资格"]
    C --> D["阶段3:候选解读生成与意图配对<br/>构建解读空间 SI 并完成资格行为配对"]
    D --> E["输出:策略序列 SDT<br/>行为-解读二元组序列"]

关键设计

1. 基于边界关系的 RST 粗粒度语义分段:解决原子单元断裂与问答跨层关联失配 传统修辞结构理论(RST)将文本解析为基本篇章单元(EDU)的二叉层叠树,但单个 EDU 通常仅为短从句,粒度过细且仅表达句内或句际局部依存,难以直接作为独立的问答策略动作。为此,本文设计了边界关系驱动的自底向上树遍历合并算法。首先利用端到端 RST 解析器构建包含 18 类修辞关系的二叉树;随后定义一组标志修辞重心转移的「边界关系集合」(包括 Contrast、Comparison、Topic-Change、Evaluation、Summary 以及核性特定的 Background)。算法自根节点递归,当父节点的修辞与核性组合落入边界集合时切分子树,同时对 Background 关系施加双侧不低于 3 个 EDU 的规模阈值约束以过滤无意义的轻微转折;非边界关系则保持递归并在更深层未触发切分时折叠为连续跨度。由此将破碎的 EDU 聚合为兼具语意完整性与修辞独立性的粗粒度行为片段(Action Segments)。

2. 层次化问答篇章行为本体:形式化解耦作答者的交际策略空间 针对传统对话行为在问答任务中覆盖不全的局限,本文通过数据驱动迭代归纳出覆盖 5 大家族共 21 种篇章行为的专用本体体系。五大家族包括: - 回答问题(Answer Question, AQ):包含提供背景(Provide Background)、提供案例(Provide Example)、直接陈述答案(Assert Answer)、提供推导论证(Provide Reasoning or Justification)、给出建议指导(Provide Recommendation)、超出解读空间作答(Answer Question outside of Interpretation Space)以及引用权威外部来源(Cite External Source)。 - 向提问者寻求信息(Seek Information, SI):包含主动请求澄清(Clarification)、探测提问背景动机(Probe Context)以及反诘前提(Counter-Question)。 - 评价/修正提问(Comment on the Question, CQ):包含驳斥错误前提(Reject Presupposition)、纠正常识/术语(Correct Fact/Term)、元问题评论(Comment on Question)、重构提问方式(Redirect Formulation)以及辨析/梳理多重解读(Disambiguate or Surface Interpretations)。 - 重定向问题(Redirect the Question, RQ):包含指引外部资料(Direct to Resource)与推荐领域专家/社群(Recommend Expert)。 - 无效/填充动作(No-Op, NO):包含拒绝作答(Non-Answer)、陈述性寒暄(Presentational)、插话评论(Aside/Other Remark)以及后续帮助邀请(Offer)。

在具体标注执行时,由提示词驱动的大模型在给定前序片段标签的序列标注设定下,逐个审视片段及其内部 EDU,精准识别局部修辞转移(如先驳斥前提后补充论据),保证边界判别的连贯性。

3. 空间投影与资格筛选驱动的意图配对:锚定回答动作的真实信息目标 仅识别行为类型(如「陈述答案」)仍无法判断作者具体回应了提问者的哪一重疑虑。本文进一步引入问题解读空间 \(S_I\) 的显式建模。对于输入问题 \(Q\),利用双模型(GPT-4.1 与 Claude Sonnet 4.6)结合社群背景生成互不重叠的无歧义候选具体读法,并通过指令微调的嵌入模型去重构建 \(S_I\)。至关重要的是,本文提出了行为修辞资格(Act Eligibility)约束机制:并非所有篇章动作都承载具体解读。例如「驳斥前提(Reject Presupposition)」直指提问本身的缺陷,并不接纳任何具体解读;「陈述性寒暄(Presentational)」纯属修辞填充。系统仅对显式认领解读的 10 类资格行为(如 Assert Answer、Provide Background、Clarification 等)开启意图配对模块,利用大模型从 \(S_I\) 中检索最佳匹配解读标识或判定为 NONE,最终输出标准形式的 \((a_j, i_j)\) 序列。

一个完整示例

以 Reddit 语言学社区(r/asklinguistics)真实案例为例:提问为「语言能否被数学所描述?(Can language be described by math?)」。 1. 解读空间生成:生成三种潜在读法:\(i_1\)=数学能否有效描述一系列语言学现象?\(i_2\)=数学能否描述语言学现象的全部?\(i_3\)=数学能否精确模拟人类语言生成与理解的因果物理过程? 2. 人类专家回答拆解: - 文本段 1:“What exactly do you mean?” \(\to\) 篇章行为为 Clarification,意图标签为 NONE。 - 文本段 2:“Yes, mathematical logic and discrete mathematics has often been used in describing and explaining language at various different levels.” \(\to\) 篇章行为为 Assert Answer,意图绑定为 \(i_1\)。 - 文本段 3:“Two major areas, syntax and semantics, have treated natural languages as being formal languages...” \(\to\) 篇章行为为 Provide Background,意图绑定为 \(i_1\)。 - 文本段 4:“Is the question 'can math usefully describe...' or is it 'can math describe the totality...'?” \(\to\) 篇章行为为 Surface Interpretations / Disambiguate,意图绑定为 NONE。 - 文本段 5:“The answer could be 'yes' for all of those, but it's most transparently a yes for the combo of 'a range' and 'similar output'.” \(\to\) 篇章行为为 Assert Answer,同时覆盖 \(i_1\) 与 \(i_3\)。

该示例清晰呈现出人类作答者先确认边界、选定合理假定深挖、再显式澄清歧义的多元语用策略。

实验关键数据

主实验

实验依托从 Reddit 抓取的 9 大代表性社群(涵盖专家型如 AskHistorians、AskEconomics;通用问答型如 explainlikeimfive、NoStupidQuestions;经验育儿型如 ScienceBasedParenting 等)共 2,700 个过滤信息寻求型问题及 18,968 条真实回答展开。在行为序列上训练二元文法(Bigram)模型 \(p(a_{next} | a_{prev})\),以交叉困惑度(Cross-Perplexity)度量社群间及人类与大模型之间的修辞策略分布差异。

模型 / 评估组别 测试场景与提示模式 困惑度中位数 (Perplexity) 评估基准与说明
人类社区对内 (Human self-perplexity) 9 大社群内部留出测试 5.5 - 7.9 (中位数 7.9) 人类社群自身策略的一致性基准
人类社区跨社群 (Human cross-community) 72 对不同人类社群互测 6.1 - 14.9 专家类社群互测平滑,通用类社群更易被预测
Claude Haiku 4.5 Default 零样本直接回答 19.9 远高于任何人类跨社群困惑度,策略同质化显著
Qwen3-32B Default 零样本直接回答 21.4 无论面对何种领域,均采用机械固定的行文模式
Claude Sonnet 4.5 Default 零样本直接回答 28.2 顶尖闭源模型默认策略与人类各社群严重偏离
Claude Sonnet 4.5 Mimic 提示模拟社群规范 16.4 注入详尽社区规则后差距收窄,但仍未达人类基线

在具体社区模拟测试中,当给 Claude Sonnet 4.5 注入 AskHistorians 的严格学术守则(禁止猜测、强制引证、避免空话)时,其困惑度由 26.2 降至 16.3,但仍无法触及该社区人类本身的 7.9;在 ScienceBasedParenting 社区,其困惑度由 21.8 降至 14.0,同样显著高于人类内部的 7.9。

解读选择与投入深度分析

针对回答究竟覆盖了哪些提问意图以及在各意图上的篇幅投入展开定量统计。专用指标投入度(Dedication)定义为回答中分配给某一特定解读的资格片段占全部资格片段的比例,投入度越高反映作答越聚焦于深入论证,越低则反映浮于表面的横向罗列。

作答主体 提示模式 (Prompt Mode) 平均资格片段数 (Segments / Ans) 匹配到解读片段数 (Matched / Ans) 投入度均值 (Dedication Mean) 投入度中位数 (Dedication Med)
Human (人类作答者) — 3.3 2.5 0.62 0.53
Claude Haiku 4.5 Default 5.7 4.6 0.46 0.40
Qwen3-32B Default 12.1 10.4 0.40 0.31
Claude Sonnet 4.5 Default 5.8 4.8 0.48 0.40
Claude Sonnet 4.5 Mimic 社群规则 9.8 8.0 0.41 0.33

同时,9 大人类社群的问题解读空间 \(|S_I|\) 分布在 \(3.1 \pm 1.4\) 至 \(3.9 \pm 1.9\) 之间,人类单条回答的解读覆盖率通常仅为 34% - 45%(例如 explainlikeimfive 为 \(0.45 \pm 0.25\),NoStupidQuestions 仅为 \(0.34 \pm 0.22\))。在解读选择频率分布上,人类作答呈现出强烈的头部长尾特征;而大模型在人类选择概率低于 10% 的边缘罕见解读上,Haiku 的作答概率超过 20%,Qwen3-32B 更达到 40%。

关键发现

  • 大模型普遍表现出「过度作答(Over-answering)」与广度倾斜:人类习惯于深入回答 1-2 个核心意图,投入度中位数达 0.53;而大模型(如 Qwen3-32B 片段数高达 12.1、投入度仅 0.31)倾向于对潜在可能的所有细微读法面面俱到地泛泛而谈,以膨胀的 token 长度掩盖对真实意图研判的缺失。
  • 社群修辞规范无法仅凭 Prompt 弥合:即便将详尽的社区长篇规则作为系统提示输入给顶尖模型,模型仅在表面词汇或格式上迎合,其内在篇章转移转移概率(困惑度 14.0 - 16.3)依然无法复现人类作答策略的语用规律。
  • 专家型社区与通用型社区存在结构性策略不对称:通用社区(如 explainlikeimfive、NoStupidQuestions)的行为模式较为松散直白,可被各类模型轻易拟合;而专业社区(如 AskHistorians、AskEconomics)具备高频的引证(Cite External Source)、背景铺陈(Provide Background)与前提反诘,彼此之间具备良好的跨域修辞泛化性,但通用模型或普通用户极难反向拟合。

亮点与洞察

  • 将修辞结构理论与语言行为学融为一体:DiscoTrace 没有孤立看待句子级篇章关系或抽象实体关联,而是将树状 RST 边界作为骨架,创新性地把「交际动作」与「问题特定解读」绑定为二元组,首次在计算语言学层面实现了对长文本回答宏观策略的精细量化。
  • 揭示了 LLM 对齐技术带来的修辞同质化副作用:指出当前 RLHF 偏好学习机制通过单一口味的数据洗礼,过度压制了模型的交际多样性,导致模型不仅在词汇句法上冗长,更在宏观论证与意图选择层面退化为一种千篇一律的「对冲规避型」策略。
  • 为个性化智能体与偏好解耦评测提供了可规划支架:DiscoTrace 能够作为受控生成的中间离散规划表征。例如,面向医疗咨询时可预先规划「直接陈述答案 + 论证 + 推荐专家」策略,而面向临床医生则可切换为「辨析解读 + 引用权威期刊」,真正将论证策略与语言润色彻底解耦。

局限与展望

  • 数据源局限于英语 Reddit 生态:论文所有分析均基于特定历史跨度的 Reddit 英文板块,未能涵盖 StackOverflow、Quora 等问答平台以及跨语种、跨文化背景下的交际规范差异。
  • 高阶标注依赖专有闭源大模型:流水线中的行为标注与意图语义对齐高度依赖 GPT-4.1 等闭源商业接口,虽然经过人工双盲抽检取得高一致性(Kappa 达 0.75 / 0.62),但标注本身的内在偏差可能潜移默化影响评估结论。
  • 策略表征仅停留在离散规划层面:目前工作着重于利用 DiscoTrace 进行事后分析与策略差异诊断,尚未在强化学习循环或受控解码中实现端到端的策略条件生成验证。

相关工作与启发

  • vs ELI5 与传统 LFQA 评测 (Fan et al., 2019; Xu et al., 2022):以往研究过度偏重通用科普场景,提出的句子角色仅反映信息组织功能(如 summary、example),且人为剔除了含歧义或前提错误的问题;DiscoTrace 拓展至跨学科 9 大社群,引入主动追问、前提反驳等 21 种交际行为,并建立完备的问题解读绑定机制。
  • vs QUD 讨论中问题框架 (Roberts, 2012; Namuduri et al., 2025):QUD 关注文本内部语句隐式解析出的子问题流;DiscoTrace 则始终锚定作答者针对外部显式提问的语用决策路径,直接刻画用户意图的筛选与取舍。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出将篇章行为与解读空间联合建模的长文本问答策略表征,视角极具开创性。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 9 大垂直领域社群、2700 个问题与近两万条长答案,统计检验与跨困惑度设计严密扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进,图表直观且语用学动机阐述深刻。
  • 价值: ⭐⭐⭐⭐⭐ 对破除 LLM 刻板对齐偏好、发展可解释的个性化自适应问答系统具有重大理论与实用指导意义。