跳转至

LLM Summaries Systematically Distort Topic Distributions

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/shreeya1510/llm-summarisation-bias
领域: NLP 理解
关键词: 大模型摘要, 主题分布失真, 先验偏差, 忠实度评测, 多文档摘要

一句话总结

系统性评测揭示大语言模型在多文档摘要中会系统性且顽固地扭曲原始主题分布,优先放大其预训练先验认为重要的主题,甚至对完全缺席的主题凭空强调,且提示工程与模型扩缩容均无法消除该偏差。

研究背景与动机

在大数据与生成式 AI 时代,企业机构与消费者越来越依赖大语言模型对海量客户反馈进行多文档摘要,以支撑产品迭代规划、资源分配以及购买决策。这种决策实践的核心前提是假设模型生成的摘要能够真实、按比例反映原始语料库中所讨论的主要议题与情感倾向。然而,既有针对 LLM 摘要质量的研究多集中于事实一致性幻觉或情感比例不敏感(例如无法如实反映正负面比例、过度代表多数派意见或受位置偏差影响),却长期忽视了一个更为基础但至关重要的维度:大模型在提炼海量反馈时,是否能够如实保持源文本中各主题的分布比例。

当源语料中各主题的比例发生变化时,理想的摘要系统应当能够敏锐感知并按比例分配叙述权重。然而现有抽象式摘要模型往往倾向于生成流畅但泛化的总结,其内在信息压缩机制极易受预训练阶段吸收的背景语言分布影响。在长上下文和多文档输入场景下,模型面临注意力选择与信息覆盖权衡,极易将注意力固化在特定高频认知主题上,导致少数但关键的业务信号(例如严重的技术故障或价格投诉)在总结中被彻底边缘化,进而产生致命的决策误导。

为了科学量化并剖析这一现象,本文构建了高度受控的多领域评测基准,将输入主题比例显式锚定,系统探究 11 种主流 LLM 在生成摘要时是否存在主题失真及其内在诱因。核心 idea:通过构建跨 50 个垂直领域、覆盖 10 类主题的受控合成与真实评测体系,证实 LLM 摘要存在方向高度一致且跨模型共识的系统性主题分布扭曲;该偏差主要源于模型在预训练阶段固化形成的领域重要性先验,甚至在主题完全缺失时仍会凭空放大,任何前沿模型扩展或提示词工程均无法有效缓解。

方法详解

整体框架

本文构建了一套严格受控的双阶段评测流水线,旨在排除传统摘要评测中输入边界模糊、主题交织重叠等混淆因素。整体流程由三个核心阶段构成:首先构建每个样本只包含单一明确主题且情感严格均衡的受控评论语料集(Survey);其次将随机打乱顺序的评论输入待测大模型生成固定段落的多文档摘要;最后利用结构化 LLM 裁判(LLM Judge)从摘要中反推各大主题所占百分比,并与真实的输入比例计算对称平均绝对百分比误差(SMAPE)与 JS 散度(JSD)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["受控评论集构建<br/>50领域 × 10主题 × 正负均衡"] --> B["受控多文档摘要生成<br/>随机打乱消除位置偏差"]
    B --> C["LLM裁判主题分布反推<br/>提取预测占比并归一化"]
    C --> D["先验相关性与鲁棒性验证<br/>探究预训练领域先验根因"]

关键设计

1. 受控基准构建:单主题解耦与精确分布注入 为了在没有混淆变量的前提下精确评估模型对主题权重的敏感度,评测必须避免真实评论中单句话杂糅多个主题导致的标注歧义。为此,研究团队设计了 50 个贴近实际商业场景的垂直领域(如餐厅、笔记本电脑、航空公司、在线家教等),每个领域定义 10 个互斥且完备的核心业务主题(如餐厅领域的食物品质、等待时间、服务态度、价格性价比等)。针对每个主题生成正负情感各半的极简短评论(1-2 句),建立起包含 50,000 条合成评论的母库,并在全库内严格验证去重(Jaccard 相似度 > 0.8 的近似重复仅有 1 对)与情感标签准确性(独立分类器一致性达 100%)。在标准主实验中,每个评测 Survey 抽取 40 条评论(10 主题 × 4 条,且每主题包含 2 正 2 负),确保真实输入的主题分布为严格均衡的 10%。

2. 受控多文档摘要生成:多模型与输入扰动控制 在摘要生成阶段,针对待测的 11 款大语言模型(覆盖 GPT-5-mini、GPT-5.4-mini、Llama-3-8B、Llama-3.3-70B、OLMo-3.1-32B、Qwen3-14B/80B 以及 GPT-5.4、Gemini-3.1-Pro、DeepSeek-V3.2、Claude Sonnet 4.6 等前沿闭源和开源模型),评测 prompt 显式要求模型生成的摘要必须如实且成比例地反映调查中所讨论主题的真实分布。为彻底消除由于文档排列次序导致的长文本“迷失在中间”(Lost in the Middle)或首尾注意力偏差(Position Bias),所有传入的评论均在每个 Survey 运行前执行全随机乱序(Shuffle)。采样温度全局设为 0.0 以保障结果的可复现性与确定性。

3. 结构化 LLM 裁判反推与多维分布散度度量 为了从非结构化的自然语言摘要中准确还原模型所呈现的主题权重,研究引入 LLM Judge 执行结构化概率反推。裁判提示词列出该领域 10 个主题的权威定义与说明,要求裁判通读摘要后输出各主题在摘要中所体现的重要程度百分比(总和归一化至 100%)。通过设置无摘要直接评测原始评论的 No-Sum 基准(GPT-5-mini 裁判在原始评论上的 SMAPE 仅为 16.3%),严密证明了裁判自身并不会凭空产生系统性偏差,误差主要源自摘要本身。核心评测指标采用尺度无关且具有对称性的 SMAPE 以及反映整体分布差异的 Jensen-Shannon 散度(JSD)。对于真实比例 \(a_i\) 与裁判预测比例 \(p_i\):

\[ \text{SMAPE} = \frac{100\%}{n} \sum_{i=1}^n \frac{2 |a_i - p_i|}{|a_i| + |p_i|} \]

4. 先验相关性假说与极限缺失扰动验证 为了探究为什么模型会在均衡输入中稳定地放大某些特定主题,研究提出了“预训练领域先验偏见”假说。通过在不提供任何评论的前提下,直接要求大模型对各领域内的 10 个主题按其对客户满意度的重要性进行独立排序,并与摘要中主题的平均预测比例计算 Spearman 秩相关系数 \(\rho\)。进一步,研究设计了极端的主题完全剔除实验(Topic Omission):从输入评论中彻底移除主实验中被过分放大的头号主题(输入由 40 条缩减为 36 条,真实占比为 0%),用以检验模型是否具备敏锐识别“零提及”事实的能力,还是凭借刻板印象凭空捏造。

实验关键数据

主实验

在 50 个领域上对比了 7 种主流模型在同模型裁判(Same-Model Judge)下的表现,并引入直接对原始评论进行打分的无摘要基线(No-Sum Baseline)。

模型 参数量 / 架构 SMAPE (%) ↓ JSD ↓ 相对 No-Sum 恶化
No-Sum Baseline (GPT-5-mini) - 16.3 ± 5.9 0.009 ± 0.005 -
Qwen3-14B 14B (NF4) 34.8 ± 5.2 0.022 ± 0.006 +18.5%
Qwen3-80B 80B 35.3 ± 8.0 0.028 ± 0.012 +19.0%
GPT-5.4-mini Undisclosed 39.4 ± 6.5 0.030 ± 0.009 +23.1%
GPT-5-mini Undisclosed 40.8 ± 4.7 0.030 ± 0.007 +24.5%
OLMo-3.1-32B 32B 41.9 ± 6.1 0.032 ± 0.009 +25.6%
Llama-3.3-70B 70B 47.2 ± 6.8 0.041 ± 0.011 +30.9%
Llama-3-8B 8B 59.2 ± 10.0 0.064 ± 0.023 +42.9%

消融与鲁棒性分析

针对 10 个代表性领域的子集,系统检验了输入长尾倾斜(Skewed vs Balanced)、前沿顶尖大模型、主题完全剔除以及提示工程变体的影响。

实验配置 / 扰动维度 测试模型 / 策略 关键指标 表现与说明
输入分布倾斜 (Skewed Distribution) GPT-5.4-mini
Llama-3.3-70B
SMAPE: 36.7% → 51.7%
SMAPE: 46.0% → 59.0%
输入长尾(25%~2.5%)时误差大幅恶化,模型近乎无视真实倾斜,仍固守先验高频项
前沿模型扩缩容 (Frontier Models) GPT-5.4
Claude Sonnet 4.6
DeepSeek-V3.2
Gemini-3.1-Pro
SMAPE: 32.1 ± 4.0%
SMAPE: 31.8 ± 5.2%
SMAPE: 29.6 ± 5.1%
SMAPE: 25.3 ± 8.9%
顶尖千亿/MoE模型主题失真依然显著(平均 >25%),模型规模扩增未能根除偏差
主题完全缺失 (Topic Omission) GPT-5.4-mini (GPT)
Llama-3.3-70B (Llama)
平均分配占比: 7.9 ± 4.2% (GPT)
平均分配占比: 8.8 ± 4.2% (Llama)
真实占比为 0% 的核心主题,在餐厅食物质量中仍被预测分配 14.2% / 17.3%
提示工程 (Prompting Variants) Default (Proportional)
Simple (3-para)
Accuracy (Strict Factual)
Chain-of-Thought (CoT)
SMAPE (GPT-5.4-mini):
38.0 ± 10.1%
34.7 ± 9.9%
33.2 ± 8.6%
45.7 ± 24.6%
显式要求准确性仅带来轻微改善;CoT 强制先算比例反产生反弹效应,失真剧增至 45.7%
输入语料容量 (Review Count r) r = 20, 40, 80, 160 SMAPE: 36.7% / 37.2% / 36.0% / 37.3% (GPT) 评论条数从 20 扩至 160,SMAPE 几乎完全持平,证实失真与上下文长度压力无关
真实世界数据迁移 (Real-world ABSA) SemEval & Airline GPT-5.4-mini: 42.1 ± 9.4%
Llama-3.3-70B: 60.4 ± 10.5%
在真实餐厅、酒店、电脑与航班评论中重现高误差与同构先验放大现象

关键发现

  • 高度跨模型共识的定向扭曲:失真并非随机的信息损失。在同一个领域内,不同模型甚至同一模型在 10 次独立随机 Survey 运行中,放大的核心主题高度趋同。例如在家具店领域,7 款模型共 70 次运行中,“产品质量”在 62 次中成为头号过量预测主题(理论随机概率仅为 7 次/70);在线家教中“教师质量”占 57/70,航空公司中“地勤服务”占 53/70。
  • 与模型内在先验的强相关性:独立询问模型各主题重要性所得的排序,与摘要中实际放大的主题比例呈现强正相关,50 个领域的平均 Spearman \(\rho\) 高达 0.68,其中 42 个领域 \(\rho > 0.5\)(家庭保洁达 0.93,餐厅达 0.72)。这确凿证明了摘要实质上反映的是模型在预训练语料中吸收的领域“刻板印象”。
  • 无中生有的“幽灵强调”:最惊人的发现在于主题缺失测试,即便输入中完全删除了某种主题,摘要依然会在首段使用模式化语言(如“顾客重点关注了食物品质与菜单丰富度”)强调该主题,裁判最终在零输入主题上仍给出了平均近 8%~9% 的分配比例。
  • 提示词与思维链的反向反弹:提示词工程无法消除失真。更为吊诡的是,引入思维链(CoT)强制模型在摘要前先统计各主题出现频次与比例,反而导致 GPT-5.4-mini 和 Llama-3.3-70B 的 SMAPE 显著飙升至 45.7% 与 58.0%,表现出明显的“讽刺性反弹(ironic rebound)”效应。

亮点与洞察

  • 问题视角的原创性:首次系统性指出了文本摘要评测长期忽视的“主题分布保真度”问题,揭示了大模型摘要不仅在事实层面可能产生幻觉,更在宏观宏观结构与话题比重上存在固化的系统性认知偏差。
  • 严密受控的实验闭环:通过 50,000 条单主题受控合成评论与 50 个领域的精心解耦,配合 No-Sum 基准消除了裁判偏差疑虑,并借助缺失实验与先验相关性分析完成了无可辩驳的因果链条论证。
  • 对商业与决策实践的警示价值:工业界常将 LLM 摘要直接用作舆情监控和用户心声洞察的量化代理,本研究证明了摘要极易掩盖真正的负面信号(如将罕见的食物评价过度放大,掩盖了广泛的价格抱怨),提示相关系统必须配合结构化统计而非纯端到端摘要。

局限与展望

  • 语言与模态单一:评测语料全为英文且局限于商业客户反馈领域,尚无法确定该主题先验偏见在多语言环境或科学论文、政务新闻等其他文体中是否存在同等强度的扭曲。
  • 单主题假设与真实多样性间隙:为保证因果评测纯净,实验依赖单条评论仅含单一主题的设定,与真实用户复杂、多议题交织的非结构化评论存在一定差距。
  • 缓解机制的探索留白:论文充分论证了现有 Prompt、温度调节与模型规模均告失效,但尚未提出一种真正能够强制大模型按真实统计分布输出摘要的解码或架构级解决方案。

相关工作与启发

  • vs 多文档摘要事实性与幻觉研究 (Peters & Chin-Yee, 2025; Maynez et al., 2020):传统工作主要关注局部实体、因果关系或命题级的事实错误(Factual Inconsistencies);本文将视角拓展至文档集合宏观层次上的“统计分布失真”,证明即使没有具体捏造事实,话题权重的扭曲同样构成致命的不忠实。
  • vs 长上下文与位置偏差研究 (Liu et al., 2023; Chen et al., 2026):既有长文本研究指出模型注意力易受开头/结尾位置(Lost in the Middle)或文档数量增加影响;本文通过完全乱序和多样本规模(20~160条)对照,证明主题分布失真与上下文长度无关,完全由预训练先验主导。
  • vs 观点聚合与情感合成 (DeYoung et al., 2024; Aghaebe et al., 2026):已有工作表明模型在正负面比例合成上存在多数派过度代表问题;本文在固定情感平衡的条件下,进一步揭示了独立于情感的、纯粹的主题维度偏见。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从微观/宏观主题分布保持的全新视角对 LLM 多文档摘要开展大规模系统性质疑。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 50 个领域、11 款主流开源与闭源模型、50,000 条受控样本,配套全面的鲁棒性检验与真实数据校验。
  • 写作质量: ⭐⭐⭐⭐⭐ 论证链条极其严密清晰,图表丰富自洽,层层推进排除混淆因素。
  • 价值: ⭐⭐⭐⭐⭐ 对当前大模型在商业智能、用户反馈分析、政策咨询等下游决策场景中的盲目应用敲响了强有力的警钟。