Evaluating Whether LLMs Can Reliably Connect the DOTs?¶

会议: NeurIPS 2026
arXiv: 2609.38406
代码: https://github.com/BridgeAI-Lab/Narrative-Infilling
领域: LLM 其他
关键词: Narrative Infilling、Text Infilling、Story Completion、Instruction Specificity、Reasoning Paradigms

一句话总结¶

本文提出了包含约 9.2K 实例的多领域叙事文本完形填空（Narrative Infilling）评测基准，系统评估了 20 款开源大语言模型在不同指令特异性与推理引导下的连贯桥接能力，实证发现模型规模无法保证填空质量（Gemma-2-2B 以 4.02/5 斩获榜首并超越 70B 模型），显式思维链推理收益仅微弱增加（+0.6%），而反事实推理则显著破坏叙事一致性。

研究背景与动机¶

现实世界中的事件记录往往是嘈杂、零散且不连续的。无论是在新闻快讯、法庭目击证词还是历史档案中，信息很少以完整连贯的篇章呈现，需要读者利用常识与上下文线索在碎片间推断遗失的关键桥梁。这种在宏观叙事结构中填补缺失跨度并保持双向语境自洽的过程被称为叙事完形填空（Narrative Infilling）。

虽然现代语言模型在预训练阶段普遍引入了填充目标（如 Fill-in-the-Middle），但现有的完形评测基准多局限于短语级别的 Token 补全、句子融合或极短段落拼接，着重考察局部语法与短程连续性，严重脱离了全篇故事的故事弧线、人物关系和因果时序一致性要求。更关键的是，大模型在面临不同详细度的指令指导（Instruction Specificity）以及引入溯因推理、因果推理或思维链（Chain-of-Thought）引导时，其真实填空表现与规模扩展效应尚属未知。

核心 idea：通过对四大真实跨领域语料（百科全书、常识故事、新闻报道、视觉叙事）进行 1 至 3 句跨度的主动掩蔽，构建包含 9,142 个测试实例的宏观叙事完形基准，并建立融合自动评估与多维度定性裁判的双轨框架，对 1.5B 到 70B 跨度的 20 款大模型展开系统化评估，剖析指令精细度、推理引导模式与叙事上下文边界对连贯生成能力的本质约束。

方法详解¶

整体框架¶

该研究系统建立了多领域叙事文本完形填空的基准构建、指令设计与多维质量评估管线。整个评测流程包含三个关键阶段： 1. 多领域语料采样与多跨度掩蔽（Multi-Domain Masking）：从 Wikipedia、ROCStories、CNN/DailyMail 和 SIND 提取基础语料，在开头、中间、结尾位置系统性掩蔽 1-3 句连续句子构造 9,142 个完形测试实例； 2. 两轴正交指令空间设计（Instruction Design）：沿 TELeR 规范构建 5 个等级的指令特异性（L0 到 L4），并在适度指令级（L2）下正交挂载 4 种推理策略（溯因推理、因果推理、思维链推理与反事实推理）； 3. 自动与定性双轨评价系统（Dual-Track Evaluation）：综合表面重合度自动指标与基于五大叙事维度（流畅度、语境忠实度、双向连贯性、叙事一致性、信息量）的定性评估，结合人类专家校验（Cohen's \(\kappa=0.654\)）与大规模 LLM-as-a-Judge 批量裁判。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多领域真实语料库<br/>(Wiki / ROC / CNN / SIND)"] --> B["多跨度与全位置掩蔽<br/>(1-3 句连续遮蔽 / 首中尾分布)"]
    B --> C["9,142 实例叙事完形基准"]
    C --> D["两轴正交指令空间<br/>(TELeR 5 级特异性 + 4 种推理引导)"]
    D --> E["20 款开源大语言模型<br/>(1.5B - 70B 参数规模)"]
    E --> F["双轨质量评估系统<br/>(Lexical/Semantic 指标 + 5 维叙事定性评分)"]

关键设计¶

1. 覆盖多维语篇结构的叙事基准构建：兼顾局部填充与全局剧情推演

为了全面考察模型在不同文体、故事长度和话语结构下的生成稳定性，基准从四大代表性语料中均匀抽样并构建： - 短程紧凑叙事：ROCStories（平均 5 句，严格围绕常识因果递进的日常微型虚构小说）与 SIND（平均 5 句，基于图片序列生成的具象化视觉故事）； - 长篇复杂话语：CNN/DailyMail（平均 33.37 句，倒金字塔结构、富含多源直接引语的新闻长文）与 Wikipedia（平均 39.57 句，客观中立、强事实性与密集实体链接的百科长文）。

在每个样本中，算法分别在文章的开端（Opening，5,314 例）、腹地（Middle，2,700 例）与收尾（Closing，1,128 例）系统掩蔽 1、2 或 3 个连续完整句子，并替换为占位标记。单句遮蔽重点检验基于紧邻前后句的局部平滑过渡能力，而三句连续遮蔽则剔除了关键的核心转折情节，强迫模型根据全局因果骨架重构完整的子情节演进。将最大遮盖长度设为 3 句可保证上下文依然保留足够的故事骨架以避免任务退化为开放式天马行空的编造。

2. 基于 TELeR 分级的指令特异性空间与四重推理范式

为了探究模型对指令指导粒度的敏感性，评估沿用标准 TELeR 分级体系构造了 5 档提示词： - 极低特异性（L0）：仅提供输入样本与占位符，无任何任务背景或动作引导； - 低特异性（L1）：单句指令，仅指示模型输出缺失文本； - 适度特异性（L2）：段落级指令，阐述双向连贯与语境匹配的子要求； - 高特异性（L3）：结构化无序列表，逐项罗列格式、风格、背景一致性与逻辑连贯标准； - 极高特异性（L4）：在 L3 基础上引入 In-context Few-shot 样例示范。

在基准中点（L2）上，进一步解耦正交引入四种思维范式： - 溯因推理（Abductive）：指导模型反向推导最能解释前后上下文断层的隐式背景动机； - 因果推理（Causal）：强制显式抽取上文诱因并推导符合物理或常识逻辑的直接结果； - 思维链推理（Chain-of-Thought）：引导模型在输出最终补全前逐步自省推演剧情演变； - 反事实推理（Counterfactual）：提示模型枚举其他可能剧情后再抉择最稳妥填充。

3. 解耦表面重合与叙事质感的五维定性评测体系

针对 ROUGE、BERTScore 等传统自动指标仅衡量 n-gram 或浅层语义重合而无法识破“局部词汇契合但故事逻辑断裂”的固有缺陷，研究确立了针对叙事填充的五维专家评测准则（1-5 分 Likert 评分）： 1. 流畅度（Fluency）：文本自然程度与语法精确性； 2. 语境忠实度（Context Faithfulness）：生成内容是否扎根于周围已知故事事实，杜绝凭空凭造无支撑核心实体； 3. 双向连贯性（Bidirectional Coherence）：文本与前置引导句和后续承接句之间的时序、因果衔接平滑度； 4. 叙事一致性（Narrative Consistency）：人物性格、主线基调、时态与事件因果链路的全局保全程度； 5. 信息增益（Informativeness）：生成文本是否切实推动情节推进，惩罚空洞无物的泛化套话。

在 300 篇双盲人工标注中，人类评估者之间达到平均 \(\kappa = 0.654\) 的稳健一致性，而基于 GPT-4.1-mini 的自动化评判打分与人类专家的 Spearman 秩相关系数达到 \(\rho = 0.583\)，证明了大规模模型裁判的客观可靠性。

实验关键数据¶

主实验¶

实验涵盖 6 大模型家族（Gemma-2、LLaMA-3.x、Mistral、Qwen-2.5、DeepSeek-R1-Distill、OLMo-2）共 20 款开源指令大模型。自动指标均值（AtAvg：BERTScore、ROUGE-1、METEOR、chrF、Sem-F1 平均）与定性评测均值（QAvg：五维度 5 分制均值）对比如下：

模型家族 / 代表模型	参数量	L0 极低 (AtAvg / QAvg)	L1 低特异 (AtAvg / QAvg)	L2 适度 (AtAvg / QAvg)	L3 高特异 (AtAvg / QAvg)	L4 极高 (AtAvg / QAvg)
Gemma-2-2B (最佳表现)	2B	0.286 / 3.746	0.342 / 4.021	0.337 / 3.988	0.334 / 3.971	0.288 / 3.881
LLaMA-3.1-8B	8B	0.311 / 3.878	0.354 / 3.831	0.357 / 3.933	0.352 / 4.018	0.306 / 3.777
Mistral-small	24B	0.307 / 3.652	0.376 / 3.694	0.371 / 3.719	0.365 / 3.730	0.357 / 3.814
DeepSeek-Qwen-32B	32B	0.327 / 3.672	0.374 / 3.762	0.375 / 3.763	0.375 / 3.774	0.353 / 3.715
LLaMA-3.3-70B	70B	0.314 / 3.707	0.375 / 3.642	0.375 / 3.647	0.371 / 3.647	0.258 / 3.367
Qwen-2.5-14B	14B	0.332 / 3.818	0.365 / 3.781	0.359 / 3.740	0.359 / 3.754	0.312 / 3.725
DeepSeek-LLaMA-70B	70B	0.291 / 3.627	0.346 / 3.865	0.353 / 3.862	0.352 / 3.859	0.337 / 3.777
DeepSeek-Qwen-1.5B	1.5B	0.268 / 3.237	0.315 / 3.293	0.313 / 3.288	0.304 / 3.316	0.229 / 2.328
全模型综合均值 (Overall)	-	0.298 / 3.700	0.345 / 3.762	0.348 / 3.800	0.344 / 3.781	0.295 / 3.643

消融实验：显式推理引导策略对比¶

在适度指令级（L2）下，针对 10 款代表性大型模型（\(\ge 7\text{B}\)）测试四种显式推理引导策略的平均表现：

推理范式	自动指标均值 (AtAvg)	定性指标均值 (QAvg)	高质量输出比例 (得分 > 4)	相比 L2 基线增益	核心特征总结
L2 无特定推理基线	0.362	3.800	62.8%	基准参考	隐式自回归自然生成
溯因推理 (Abductive)	0.363	3.806	63.4%	+0.2%	Olmo-2-13B 达 3.933 最优
因果推理 (Causal)	0.362	3.813	63.8%	+0.3%	强化前后事件逻辑锁链
思维链推理 (Chain-of-Thought)	0.364	3.822	64.0%	+0.6%	信息量提升 1.3%，微弱领先
反事实推理 (Counterfactual)	0.355	3.646	54.9%	-4.1%	探索发散过度，引发虚构脱缰

核心发现¶

规模与质量脱节（Scale Does Not Guarantee Quality）：参数规模并不必然转化为叙事完形质量。仅有 2B 参数的轻量模型 Gemma-2-2B 在 L1/L2 提示下斩获 4.021 的全场最高分，全面压制 32B 的 DeepSeek-Qwen（3.774，落后 6.1%）与 70B 的 LLaMA-3.3（3.707，落后 7.8%）。大模型在局部自回归中极易产生细微偏航与多余发挥，反而削弱了双向闭环接缝的紧实度。
指令过载的反噬效应（Instruction Inversion）：从 L0 提升到 L2 带来了显著增益（AtAvg 提升 16.7%，QAvg 提升 2.7%），但当提示词进一步膨胀至包含 Few-shot 的 L4 级别时，模型性能断崖式下跌（全模型 QAvg 从 3.80 跌至 3.64）。样例反而转移了模型的注意力焦点，稀释了对周围上下文核心线索的敏感度。
显式推理收益极低且反事实有害：思维链推理仅带来边际增益（+0.6%），主要贡献体现在丰富了生成信息量（Informativeness），而对连贯性与真实性几无提升；反事实推理则导致 QAvg 暴跌至 3.64，诱发严重的剧情脱轨。
自动指标与定性裁判的极端失配：n-gram 表面自动指标与定性叙事质量的 Kendall 秩相关系数极弱（最高相关仅 0.141），在长叙事理解中依靠词重合无法识别深层故事因果断裂。

亮点与洞察¶

诊断维度精辟，直击长文本生成死穴：传统文本生成评估习惯于把故事续写（Open-ended Story Generation）与句子补全混为一谈，本文首次在多领域大规模真实长篇语境下形式化定义并测试了“双向约束下的完形桥接”能力，揭示了模型“承上启下”能力的脆弱性。
反直觉的规模异化发现：实证打破了“模型越大做叙事完形填空必然越好”的技术迷信，指出在双向严格约束的任务中，过度参数化带来的发散联想反而成为负向干扰，为小型精调端侧大模型的高效落地提供了关键实验支撑。
评测设计纯粹严谨：通过正交解耦指令复杂度与思维范式，细致刻画了上下文长度、掩蔽位置（首尾受边界限制更难，腹地因双向约束反而更易）对不同流派架构（MoE、Dense、Distill）的影响谱系。

局限与展望¶

依赖单模态文本上下文：数据集虽然抽样了包含视觉叙事的 SIND，但实际评测仍全部将视觉转写为文本后开展，尚未直接测试多模态大模型在图文混合流中的跨模态时空完形填空能力。
缺乏动态长度弹性：当前实验固定了掩盖长度为 1-3 句且在解码时设定了固定的长度惩罚上限，未探讨模型在未知缺失篇幅下的自适应段落长度弹性决策。
未来方向：探索引入更严格的事件图谱（Event Graph）约束机制，研发针对长文本双向填充的专用紧致微调策略，克服反事实思维引发的幻觉偏航。

评分¶

新颖性: ⭐⭐⭐⭐ 首次系统化构建包含近万实例的多领域叙事文本完形填空基准与正交评测体系。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 大模型家族 20 款开源大模型（1.5B-70B），横跨 5 级指令与 4 种推理范式，数据翔实详尽。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，图表完备精良，问题阐述深入浅出。
价值: ⭐⭐⭐⭐ 揭示了参数规模不等于语境填充能力的现象，为长文本连贯生成与端侧模型微调带来重要指导。