DocFollow: A Hierarchical Fine-Grained Constraints Following Benchmark in Long Contexts for LLMs¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/leonbig/DocFollow
领域: LLM 评测
关键词: 长文本生成、长输入长输出、细粒度约束遵循、实体级约束、确定性评测协议
一句话总结¶
针对现有长文本评测忽视“长输入长输出(Long-In-Long-Out)”且依赖不可靠 LLM 打分的问题,DocFollow 构建了涵盖 5 大领域 20 个子领域的 2,436 个专家校验实例,提出层次化细粒度约束体系与基于“信息抽取 + 规则计算”的无偏评测协议。
研究背景与动机¶
大语言模型在长上下文理解与长文本生成上取得了显著进展,但已有基准主要集中在两种割裂的范式:一是以长文档摘要、长文本问答(如 NIAH、L-Eval、LongBench)为代表的“长输入短输出(Long-In-Short-Out)”;二是以开放式故事创作(如 LongWriter)为代表的“短输入长输出(Short-In-Long-Out)”。然而在现实世界的专业文档写作场景中(如学术论文重写、综合访谈材料生成事实调查报告、根据合规框架重构公司年报等),模型必须同时吞吐数千字的长上下文输入,并在生成数千字长篇输出的过程中,严格遵守贯穿篇章、句段与实体关系的复杂多层约束。这种“长输入长输出(Long-In-Long-Out)”交汇任务仍缺乏系统深入的评测基准。
制约该评测领域推进的核心矛盾体现在任务设计与评测可靠性的双重缺失。一方面,现有少数涉及长文本生成的评测(如 LongGenBench、WritingBench)要么将输入限制在极短指令,要么仅考察风格、个性化等粗粒度、主观性强的泛化要求,未能覆盖实体级与篇章逻辑级的细粒度微观约束;另一方面,依赖 LLM-as-a-judge 的自动打分方式在长文本多约束场景下暴露出严重的自相矛盾、位置偏差与不可靠性,而全人工专家评审的高昂成本又使得规模化评测难以为继,传统 n-gram 指标(如 BLEU、ROUGE)更无法捕捉长程语义结构的对齐度。
本文从任务形式化与评测解耦两方面切入:将长文本生成严谨形式化为在给定原文档、目标主题与约束集合下的“文档跟随(Document-Following)”任务,通过控制主题迁移幅度与约束复杂度构建双维度难度梯度;同时在评测端彻底摒弃主观打分,将评测不确定性解耦为原子级信息抽取分类,所有约束判定均由确定性规则脚本完成。核心 idea:构建首个兼具长输入与长输出的细粒度约束跟随基准 DocFollow,通过层次化约束设计(篇章主题、长度、句间逻辑、实体类别、实体关系)与“LLM 仅作原子信息抽取 + 确定性规则判分”评测协议,揭示当前前沿大模型在长程生成中实体级微观控制严重溃缩的瓶颈。
方法详解¶
整体框架¶
DocFollow 将评测任务定义为文档跟随任务(Document-Following):给定原始文档 \(X\)(附带原始主题 \(T\))、修改后的目标主题 \(T'\) 以及多层约束集合 \(\{c_1, c_2, \dots, c_n\}\),要求大模型在保持上下文连贯与目标主题一致的前提下,生成满足全部指定约束的新长文档 \(X'\)。
评测框架在横向(主题迁移难度 R1–R3)与纵向(约束累加难度 L1–L4)两个正交维度构建控制梯度。在评测计算端,DocFollow 创新性地将整体评测不确定性解耦为成熟、客观的原子级分类子任务:大模型仅扮演无评分权力的信息抽取器(执行实体命名识别 NER、句间关系分类与实体关系抽取 RE),随后将抽取出的三元组与对齐序列输入确定性规则程序,计算精准客观的约束匹配得分。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["长输入源文档 X + 目标主题 T' + 约束集 {ci}"] --> B["多级主题迁移与约束生成<br/>R1-R3 主题变换 × L1-L4 递进约束"]
B --> C["双端专家校验与难度标定<br/>ChatGPT-3.5 下界筛除 + 15 位资深学者可行性复核"]
C --> D["大模型执行长文本重写<br/>生成长输出文档 X' (平均 2,610 tokens)"]
D --> E["原子级信息抽取<br/>LLM 严格受限抽取 NER 实体与 RE 关系三元组"]
E --> F["确定性规则评分计算<br/>C1-C5 自动化数学比对与严格约束打分"]
关键设计¶
1. 双维度分级任务构建:主题迁移(R1–R3)与层次化约束(L1–L4)正交解耦
为了对大模型在长程上下文中的控制能力进行精准画像,DocFollow 摒弃了单一维度的扁平 prompt,构建了两个维度的正交难度空间。主题迁移维度包含三级:R1 为关键词替换(用反义词或近义词替换核心词,测试语义微调敏感度);R2 为组件级替换(在同一子领域内替换事件或上下文实体,测试领域内新约束适应);R3 为领域内跨子领域迁移(保持宏观论证框架不变,将主题映射到同领域下的不同子领域,如从实验设计映射到技术方案)。约束复杂度维度则采用累加递进结构: - L1(粗粒度篇章约束):包含 C1 主题一致性约束(要求生成文档中每个实体均服务于目标主题 \(T'\))与 C2 长度匹配约束(保持句子数量与各句词数与原文档 \(X\) 对齐); - L2(句段篇章逻辑约束):在 L1 基础上叠加 C3 句间逻辑关系约束(要求生成文档相邻句之间的语篇逻辑关系如因果、转折、递进等与原文档对应句对等价); - L3(实体级微观类别约束):在 L2 基础上叠加 C4 实体类别约束(要求生成文档中每个实体与原文档对应位置实体的本体类型保持一致,如 Person、Org、Tech); - L4(实体间关系微观约束):在 L3 基础上叠加 C5 实体语义关系约束(要求两两实体之间的语义关系三元组类型完全保持原文档对应的结构骨架)。
2. 专家驱动的双向过滤与基准构建流水线:下界标定与人工可行性检验
基准构建覆盖学术工程、教育、商业金融、文学艺术、政治法律 5 大核心领域及 20 个细分子领域,汇聚来自 UN Parallel Corpus、arXiv、Project Gutenberg、SEC EDGAR、PubMed Central 和 WWC 等权威公开库的代表性语料。由 15 位资深博士组成的专家团队(按领域分为 5 个三人组)进行全流程把关。首先利用多模型生成 5–15 词的核心原主题,并按 R1–R3 生成候选新主题,专家评审通过率的一致性检验 Fleiss' Kappa 达 0.85–0.88。在数据验证阶段,提出双向质量过滤机制:一方面利用较弱基线模型(ChatGPT-3.5-Turbo)进行长输入预测试,直接剔除弱模型已能轻松满足全部约束的过于简单(Too Easy)样本,避免评测区分度衰减;另一方面由领域专家对预测试失败的复杂实例逐一审查,剔除由于主题跨度过大导致在人类专业写作中也无法合理保留语篇关系的不可行(Too Hard)样本。最终筛选出 2,436 个高质量长文本实例,各子领域均衡分布(约 120 篇),原文档 token 长度跨越 750 至 8,323(平均 2,610 tokens)。
3. 规则驱动的无偏评测协议:将主观评判解耦为原子抽取与数学校验
为彻底避免 LLM-as-a-judge 的打分偏见与不可靠性,DocFollow 制定了全自动化、可复现的数学评测协议。对于 C2 长度约束,直接由统计程序计算句子数与词数的归一化绝对误差: $\(S_{C2} = \left[1 - \left(a \frac{|N'_S - N_S|}{N_S} + (1 - a) \frac{|N'_W - N_W|}{N_W}\right)\right] \times 100\%\)$ 其中 \(N_S, N'_S\) 分别为原文档和生成文档的句子数,\(N_W, N'_W\) 为对应词数,默认权重设为 \(a = 0.5\)。对于 C1 主题一致性约束,LLM 仅对单句中的实体进行二元相关性判定,统计生成文档中与目标主题不符的实体数量 \(N_{inco}^i\),结合句长 \(N'^i_W\) 计算综合惩罚得分: $\(S_{C1} = \left[1 - \left(\frac{1}{N'_S} \sum_{i=1}^{N'_S} \frac{N_{inco}^i}{N'^i_W}\right)\right] \times 100\%\)$ 对于微观细粒度约束 C3(句间关系)、C4(实体类别)和 C5(实体间关系),采用通用的“对齐-分类-规则比对”三步机制:大模型仅执行实体/句子间对齐及预定义本体类别分类(NER / RE),最终得分均由确定性匹配比率给出: $\(S_{C3/C4/C5} = \frac{N'_{g3/g4/g5}}{N'_{3/4/5}} \times 100\%\)$ 其中 \(N'_{g}\) 为判定为完全匹配的对齐对数量,\(N'\) 为生成文档中的总对数。人工验证表明,大模型在原子信息抽取上的组内相关系数(ICC)达到 0.85–0.87,评测打分与人类专家二选一偏好达成 85% 的强一致性。
实验关键数据¶
主实验¶
评测涵盖 13 个主流大模型,测试温度设定为 0.9(生成 3 次取均值),信息抽取器设定为确定性解码(温度 0.0)。表 1 汇报各模型在不同主题修改等级(R1–R3)下 5 种约束得分(SC1–SC5)及总体平均分(直接引用论文 Table 3 核心模型数据):
| 模型 | R1: SC1/SC2/SC3/SC4/SC5 | R2: SC1/SC2/SC3/SC4/SC5 | R3: SC1/SC2/SC3/SC4/SC5 | 综合均分 (Avg.) |
|---|---|---|---|---|
| Claude-4.5-Sonnet | 95.2 / 79.9 / 63.8 / 66.8 / 58.6 | 97.1 / 82.6 / 65.6 / 66.6 / 59.6 | 91.7 / 83.2 / 65.4 / 67.6 / 62.5 | 73.7% |
| DeepSeek-V3.2 | 96.4 / 79.8 / 62.2 / 65.7 / 57.2 | 95.3 / 82.3 / 66.3 / 66.8 / 59.2 | 91.3 / 80.3 / 65.1 / 65.4 / 56.6 | 72.4% |
| DeepSeek-R1 * | 90.9 / 79.3 / 61.6 / 68.2 / 58.2 | 92.6 / 82.7 / 54.4 / 65.7 / 60.3 | 82.7 / 82.6 / 61.2 / 62.8 / 51.7 | 70.4% |
| Qwen3-235B (thinking) * | 91.1 / 80.4 / 51.6 / 62.7 / 58.2 | 91.7 / 82.6 / 55.2 / 63.5 / 66.3 | 82.3 / 84.1 / 63.4 / 63.2 / 54.7 | 69.9% |
| Qwen3-235B (no thinking) | 96.3 / 79.7 / 67.3 / 61.8 / 61.1 | 93.8 / 85.4 / 63.6 / 67.8 / 60.3 | 91.7 / 80.6 / 52.1 / 39.9 / 17.9 | 67.9% |
| ChatGPT-5.2 | 93.3 / 69.1 / 58.1 / 52.8 / 48.7 | 93.5 / 74.1 / 66.5 / 60.7 / 50.7 | 92.7 / 72.2 / 65.6 / 54.7 / 51.7 | 66.9% |
| ChatGPT-5.1 | 89.6 / 60.4 / 56.3 / 51.8 / 49.6 | 95.2 / 61.8 / 63.3 / 56.5 / 52.3 | 92.1 / 63.6 / 64.1 / 55.2 / 54.8 | 64.6% |
| LLaMA 4 Scout | 92.6 / 72.4 / 52.1 / 52.6 / 45.6 | 91.9 / 75.7 / 49.9 / 52.3 / 50.6 | 84.1 / 76.4 / 52.8 / 59.6 / 49.3 | 63.9% |
| Qwen3-8B (thinking) * | 95.2 / 72.4 / 43.6 / 40.7 / 27.4 | 98.1 / 79.2 / 47.7 / 47.6 / 41.8 | 92.4 / 84.6 / 62.2 / 59.3 / 53.7 | 63.1% |
| Claude-4.5-Haiku | 90.1 / 65.6 / 44.3 / 34.2 / 26.2 | 92.2 / 66.4 / 43.3 / 29.6 / 22.2 | 90.7 / 69.5 / 45.4 / 31.3 / 25.7 | 51.8% |
(注:带 * 为推理模型。SC1: 主题一致性; SC2: 长度控制; SC3: 句间逻辑; SC4: 实体类别; SC5: 实体间关系。)
消融与生成策略分析¶
论文在附录进一步对比了不同 Prompting 策略以及基于图结构引导生成的 DocFollower 框架(在 ChatGPT-4.1、DeepSeek-V3 和 Claude-3.5-Sonnet 上的表现,直接引用 Table 6 核心数据):
| 模型体系 | 生成策略配置 | R1: SC1 / SC5 | R2: SC1 / SC5 | R3: SC1 / SC5 | 综合平均分 (Avg.) |
|---|---|---|---|---|---|
| DeepSeek-V3 | DocFollower (本文框架) | 94.7 / 67.8 | 94.0 / 64.6 | 96.5 / 68.7 | 77.5% |
| Direct Prompting | 91.0 / 44.4 | 91.5 / 49.7 | 82.4 / 49.5 | 63.0% | |
| Chain-of-Thought (CoT) | 89.9 / 37.8 | 90.8 / 42.1 | 82.3 / 48.3 | 58.8% | |
| Self-Critic | 92.1 / 52.5 | 92.3 / 55.5 | 87.2 / 55.3 | 66.0% | |
| Few-shot | 97.4 / 54.0 | 99.3 / 49.5 | 83.1 / 59.4 | 66.5% | |
| Claude-3.5-Sonnet | DocFollower (本文框架) | 93.5 / 58.7 | 94.6 / 67.3 | 95.4 / 64.6 | 74.4% |
| Direct Prompting | 92.1 / 21.2 | 91.3 / 25.1 | 91.5 / 34.6 | 53.5% | |
| CoT | 89.1 / 17.2 | 91.3 / 16.9 | 91.7 / 32.1 | 51.6% | |
| Few-shot | 97.3 / 25.1 | 92.2 / 28.6 | 95.4 / 42.4 | 58.0% |
关键发现¶
- 粒度递减溃缩(Granularity Degradation):所有模型均呈现出从篇章级粗粒度到实体级细粒度的性能阶梯式溃缩。在 L4 极端多约束下,头部模型(如 Claude-4.5-Sonnet、DeepSeek-V3.2)的主题一致性(SC1)仍能维持在 86%–97%,但实体关系约束(SC5)普遍跌至 50%–60%,中小型开源模型和轻量商用模型(如 Claude-4.5-Haiku)在复杂场景下的 SC5 甚至断崖式暴跌至 16.2%–25.7%。
- 推理模型的泛化权衡:以 Qwen3-235B 为例,在简单 R1 场景下无思考版本在粗粒度指标表现更好(SC3 达 67.3% vs 思考版 51.6%),但在高难度 R3 跨子领域迁移下,无思考版本在细粒度约束全面崩溃(SC4 降至 39.9%,SC5 仅 17.9%),而开启思考的模型凭借长程推理依然保持了坚挺的实体约束(SC4 达 63.2%,SC5 达 54.7%)。
- Prompt 策略的反直觉效应:常规推理中行之有效的 CoT 提示词在复杂多约束长文本生成任务中反而导致性能全面衰退(平均分下降 4%–12%),这表明长思考链消耗了上下文注意力带宽,干扰了正文多目标协同;相反,Few-shot 提供了明确的结构样本,表现显著优于零样本;而显式建模实体关系图的 DocFollower 实现了最高达 10.9% 的端到端涨幅,证明结构化先验对长文本受控生成的关键价值。
- “前重后轻”衰减模式(Front-loading Effect):在生成文本的位置序列上,前 10% 区间各模型约束遵循度极高(SC1/SC2 达 0.9 以上),随着生成持续推进到 80%–100%,篇章控制力迅速滑坡至 0.65–0.7,揭示了自回归架构随生成长度累积产生的注意力发散与记忆衰减。
亮点与洞察¶
- 评测视角的范式转换:首次将长上下文基准从单向的 Long-In-Short-Out 或 Short-In-Long-Out 拓展至高度贴合专业工作流的 Long-In-Long-Out 生成,指出了当前长文本大模型仅具备宏观主题一致性而严重欠缺微观实体与语篇控制的本质缺陷。
- 无偏评测协议设计:彻底摆脱不可靠且昂贵的“LLM 作为评判裁判”范式,将长文本评测解耦为确定性数学规则与单一实体/关系的信息抽取任务,通过原子化降维保证了长文本自动化评测的高可靠性(ICC ~0.86,与人类偏好一致性达 85%)。
- 图先验引导的生成框架 DocFollower:证明了非结构化自回归生成在面对密集细粒度约束时的局限性,通过骨架提取、实体映射与粗到细受控解码,为未来受控长文本生成架构演进提供了极具潜力的技术路径。
局限与展望¶
- 生成范式仅限于文档重写:作者指出 DocFollow 目前的核心任务聚焦于在参考文档约束下的改写与重构,尚未覆盖从零构思(Ab initio creation)、开放对话或无约束长文本综合生成等形态。
- 单语种与专业领域边界:当前基准实例仅包含英文语料,且集中在精选的 20 个学术与专业子领域,对于跨语言生成、口语化非正式表达或高壁垒法律特定法条的泛化能力仍待进一步检验。
- 多轮次评测计算开销:评测协议需要多阶段调用模型执行信息抽取(每个实例多次重复运行),计算开销较为昂贵;作者提出未来应探索微调专用的小型轻量信息抽取模型以替代前沿商用 LLM,在保持准确度的同时降低评测成本。
相关工作与启发¶
- vs LongGenBench & WritingBench: 传统长文本生成评测要么限制输入长度为短 prompt,要么依赖主观粗粒度指标与黑盒 LLM 打分;DocFollow 实现了真正的长输入与长输出双向长程化,并引入实体级确定性规则指标。
- vs FollowBench: FollowBench 率先建立了细粒度多级指令遵循基准,但其主要针对短文本与单轮指令;DocFollow 将细粒度约束推进到上千字的长上下文文档语篇层面,揭示了长程生成下微观约束相互干扰与退化的深层现象。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统形式化 Long-In-Long-Out 细粒度约束遵循任务,评测解耦思路极具启发性。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 13 个主流顶级闭源与开源大模型,构建了多轮详尽的消融、位置衰减与人类相关性验证。
- 写作质量: ⭐⭐⭐⭐⭐ 任务形式化定义严谨,层次化图表丰富,附录给出了完整的协议与案例分析。
- 价值: ⭐⭐⭐⭐⭐ 为长上下文 LLM 的微观受控生成评测确立了新的高标准基准,对专业长文档生成具有重要指导意义。