Learning Evidence Highlighting for Frozen LLMs¶

会议: NeurIPS 2026
arXiv: 2604.22565
OpenReview: https://openreview.net/forum?id=zp3Z9viMjA
论文: https://arxiv.org/abs/2604.22565
领域: LLM效率
关键词: 长上下文推理, 证据高亮, 强化学习, 冻结大模型, 弱监督决策

一句话总结¶

提出 HiLight 框架，通过训练轻量级 Emphasis Actor 在无损原始上下文的前提下注入极简高亮标记，以弱监督任务级奖励解耦证据抽取与推理，显著提升冻结 LLM 在高噪声长上下文下的推理与推荐效果。

研究背景与动机¶

大语言模型在多文档问答、智能体轨迹分析和超长用户历史推荐等长上下文场景中展现出强大的推理潜力，但在信噪比极低的长文本中往往容易错失决定性证据。由于上下文过度稀释或存在大量高度相似的干扰项，LLM 普遍面临“迷失在中间”（Lost in the Middle）等注意力分配失效问题。单纯扩充上下文窗口不仅无法自愈，反而常因干扰信息的引入导致推理性能恶化。

长上下文推理失败的根源在于现有范式将“证据抽取”（从杂乱背景中定位少数关键信息）与“逻辑推理”（在抽取线索上执行多步推断）强行耦合在同一个自回归前向传递中。传统解决方案要么依赖硬性剪枝（如检索 Top-$k$ 片段）而破坏了长程语义连贯性与消歧线索，要么通过文本重写与压缩引入不可逆的信息失真，且严重依赖高成本的 token 级人工标注或模型内部梯度。

本文的切入角度是模拟人类阅读长文时划重点的非破坏性标注行为，将证据定位与复杂推理显式解耦，在完全保留原始文本内容与顺序的同时仅注入轻量高亮边界标记。核心 idea：将长上下文输入侧标记建模为弱监督决策问题，训练轻量级 Emphasis Actor 在预算约束下注入极简高亮标记，仅依据冻结下游 Solver 的任务最终奖励进行强化学习优化，实现无损、可跨模型零样本迁移的证据增强。

方法详解¶

整体框架¶

HiLight 将长上下文处理显式拆解为两个阶段：首先由轻量级强调执行器（Emphasis Actor）对原始查询 $Q$ 与长上下文 $X$ 进行全注意力编码并估计 token 级重要性概率，经预算投影与跨度合并后，以无损方式注入成对的极简高亮标记，构造出带有显式重点的增强上下文 $\hat{X}$；随后将 $\hat{X}$ 连同 $Q$ 喂入保持参数冻结的目标求解器（Solver LLM）完成最终下游推理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：查询 Q + 原始上下文 X"] --> EAP["基于轻量 LM 的重要性评分<br/>全注意力计算 token 显著概率"]
    EAP --> BPS["预算约束投影与跨度合并<br/>Top-k 筛选与邻近标记合并成段"]
    BPS --> TI["无损高亮标记注入<br/>插入极简边界标记形成上下文 X^"]
    TI --> FS["冻结 Solver 推理与奖励计算<br/>下游模型生成回答并输出任务奖励"]
    FS -.->|弱监督任务奖励反馈| GPG["分组策略梯度优化<br/>组内优势归一化与正则化更新 Actor"]
    GPG -.->|更新参数| EAP

关键设计¶

1. 基于轻量 LM 的重要性评分：端到端建模 token 级显著性分布 在极低信噪比文本中定位关键线索，要求模型具备全局感知力，同时避免引入过高的计算开销。HiLight 采用轻量级预训练语言模型（如 0.6B–4B）作为 Actor $\pi_\theta$，接收拼接输入 $[Q; X]$ 并进行双向全注意力编码，提取上下文每个 token 的隐状态 $\mathbf{h}_i$。为了轻量且高效地映射显著性，系统通过带温度参数 $\tau$ 的可学习投影向量 $\mathbf{w}_p \in \mathbb{R}^d$ 与层归一化计算伯努利概率： $$p_i = \sigma\left(\frac{\mathbf{w}_p^\top \mathrm{LayerNorm}(\mathbf{h}_i)}{\tau}\right)$$ 该设计将序列级别的离散选词空间分解为因子化的伯努利策略，既保证了全序列细粒度证据感知的表达能力，又避免了自回归自生成标记的巨大推理延迟。

2. 预算约束投影与跨度合并：结构化控制高亮预算与语义连续性 若不对高亮 token 比例施加限制，策略极易退化为全文本标记或零散碎片。HiLight 引入显式预算比例 $\gamma \in (0, 1]$，将允许高亮的最大 token 数硬性约束为 $k = \lfloor \gamma L \rfloor$。在训练阶段，Actor 先依照独立伯努利分布采样初筛掩码 $\tilde{M}$，随后通过确定性投影算子 $\mathrm{Proj}_k(\tilde{M})$ 保留得分最高的至多 $k$ 个 token 以满足硬预算；在推理阶段，则直接确定性选取概率最高的 Top-$k$ 个 token。为了消除单个 token 碎片化对阅读流的破坏，跨度合并机制将相邻的高亮 token 以及间隔小于阈值 $\delta$ 的临近碎片缝合成连续的语义片段，确保高亮区域承载完整的短语或子句实体。

3. 无损高亮标记注入：以极低开销引导冻结黑盒模型注意力 针对文本压缩与剪枝容易误删多跳推理连接词及背景消歧信息的弊端，非破坏性变换算子 $g(X, M)$ 在不改动原始文本字词、不调整语序的严格前提下，仅在合并跨度的起始与结束位置插入极简的结构化文本标签（如 <start_important> 与 <end_important>）。这为下游的冻结求解器构建了一个明确的注意力归因锚点，促使 Solver 将有效注意力集中在锚定证据上，同时保留周围上下文以供复杂逻辑验证与排他性反思。

4. 基于任务奖励的分组策略梯度优化：摆脱细粒度证据标注的弱监督对齐 由于绝大多数真实任务仅有最终任务结果而无逐 token 证据真值标注，HiLight 采用弱监督强化学习范式，仅借助冻结 Solver 的下游任务指标作为反馈信号。针对单样本离散决策方差过大的问题，算法采用组大小为 $G$ 的组内采样策略（Grouped Policy Gradient）：对同一输入生成 $G$ 个不同的高亮假设喂入 Solver 获得对应任务奖励 $\{r_j\}_{j=1}^G$，并在组内计算标准化优势函数： $$\hat{A}_j = \frac{r_j - \mu_r}{\sigma_r + \epsilon}$$ 总优化目标由策略梯度损失 $\mathcal{L}_{\text{PG}}$、鼓励探索的序列伯努利熵正则项 $\mathcal{L}_{\text{ENT}}$ 以及约束平均预测率逼近预算比例 $\gamma$ 的目标长度软正则项 $\mathcal{L}_{\text{LEN}} = \left(\frac{1}{|\Omega|} \sum_{i\in\Omega} p_i - \gamma\right)^2$ 共同构成，确保在无需 Solver 内部梯度或人工标注证据的前提下稳定收敛。

损失函数 / 训练策略¶

训练整体损失函数定义为： $$\mathcal{L}(\theta) = \mathcal{L}_{\text{PG}} + \lambda_{\text{len}} \mathcal{L}_{\text{LEN}} + \beta_{\text{ent}} \mathcal{L}_{\text{ENT}}$$ 其中 $\mathcal{L}_{\text{PG}} = -\frac{1}{G}\sum_{j=1}^G \hat{A}_j \log \pi_\theta(\tilde{M}_j \mid Q, X)$，$\lambda_{\text{len}}$ 和 $\beta_{\text{ent}}$ 分别为长度惩罚和熵正则化系数（实验中设为 $\lambda_{\text{len}}=0.01$, $\beta_{\text{ent}}=1.0$）。优化采用 Adam 优化器，学习率 $1 \times 10^{-4}$，权重衰减 $1 \times 10^{-2}$，组采样大小 $G=4$。

实验关键数据¶

主实验¶

主实验在 4 个极具代表性的长文本基准上进行对比（Solver 统一为 Qwen3-14B，Actor 依任务选用 0.6B–4B），全面对比手工提示（MI）及多种先进自动提示优化方法（PRL, BFRS, OPRO, DSPy MIPROv2, APE）。

数据集	评估指标	手工提示 (MI)	最优基线 (Best Base.)	本文 (HiLight)	较最优基线提升	较 MI 提升
Amazon-Beauty	HR@10	0.02256	0.02730 (DSPy)	0.02877	+5.38%	+27.53%
Amazon-Beauty	NDCG@10	0.01247	0.01432 (PRL)	0.01587	+10.82%	+27.27%
HotpotQA	EM	0.556	0.593 (BFRS)	0.606	+2.19%	+8.99%
HotpotQA	F1	0.706	0.723 (OPRO)	0.741	+2.49%	+4.96%
SQuAD 2.0	EM	0.586	0.644 (PRL)	0.661	+2.64%	+12.80%
SQuAD 2.0	F1	0.647	0.694 (BFRS)	0.721	+3.89%	+11.44%
PubMedQA	Acc.	0.921	0.930 (DSPy)	0.940	+1.08%	+2.06%
PubMedQA	M-F1	0.776	0.768 (OPRO)	0.821	+5.80%	+5.80%

消融实验¶

消融实验探究核心机制的必要性：对比无高亮基线 (MI)、同预算随机高亮 (Random)、少样本带高亮示范 (Few-shot)、以及仅保留选中内容并剔除其余上下文的硬剪枝策略 (Pruned)。

配置 / 变体	Amazon Beauty HR@10	Amazon Beauty NDCG@10	HotpotQA EM	HotpotQA F1	说明
手工提示 (MI)	0.02256	0.01247	0.556	0.706	无标记纯文本基线
随机高亮 (Random)	0.02380	0.01270	0.521	0.635	相同预算随机标记，破坏注意力
少样本提示 (Few-shot)	0.02403	0.01315	0.556	0.695	3-shot 带高亮示范，占用输入窗口
硬剪枝提取 (Pruned)	0.02740	0.01448	0.525	0.658	仅输入高亮片段，多跳问答大幅掉点
完整模型 (HiLight)	0.02877	0.01587	0.606	0.741	非破坏性高亮，双任务均取得最优

关键发现¶

非破坏性优于硬剪枝：在稀疏推荐场景中，Pruned 表现虽好于 MI，但依然落后于完整保留上下文的 HiLight；而在需要跨段落桥接推理的 HotpotQA 上，Pruned 的 EM 暴跌至 0.525（低于基线 0.556），证实硬剪枝会严重损毁多跳逻辑所需的连接词与背景结构。
高噪声、低信噪比任务收益最大：Amazon-Beauty 的长交互历史中噪声占比极高，HiLight 相对 MI 带来超 27% 的暴涨；而在证据高度聚焦的 PubMedQA 上提升相对温和但依然稳健（Acc +1.08%, M-F1 +5.80%）。
零样本跨架构泛化与可解释对齐：使用 Qwen3-14B 训练的 Actor 策略，在未经微调的情况下直接迁移至 Gemma-3-27B (+31.56% NDCG@10)、Llama-3-70B (+27.37% NDCG@10) 甚至商用黑盒 GPT-5 mini (+6.65% NDCG@10) 均取得显著正向收益；在 HotpotQA 人工标注事实重合度测试中，无监督的 Actor 命中 F1 达到了 0.7817。

亮点与洞察¶

将输入侧标记转化为无损控制界面：不同于丢弃信息的硬压缩或容易幻觉的改写总结，插入轻量级标签既不改变语义信息，又能直接介入 LLM 的注意力聚焦过程。
显著降低训练与推理算力开销：训练期仅需 1.2 万次 Solver 查询，相比自动提示优化 baseline（如 PRL 需 12 万次）降低 5–10 倍调用成本；推理期轻量 Actor 仅增加数十至数百毫秒延迟（占总推理延迟不足 3%），且增加 token 数量不到 1.01 倍。
模型无关的通用证据结构沉淀：跨模型族和尺度的零样本迁移实验证明，通过下游弱监督学到的显著性并不绑定于单一骨干的特定偏置，而是成功捕捉到了任务和文本内在的客观证据拓扑。

局限与展望¶

单轮查询依赖与高并发缓存复用：当前框架为每条具体查询单独生成标记，在多轮对话交互场景下，动态变动的高亮标签会导致长文本的前缀 KV Cache 无法直接重用，有待设计兼顾缓存亲和性的层级标记机制。
极端错误累积风险：错误分析表明，约 16.5% 的偶发失效源自 Actor 对非决定性跨度的误导性高亮，这需要后续结合更强的置信度感知机制进行动态自适应回退。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙规避了破坏性剪枝与昂贵微调，首次实现黑盒弱监督的长上下文非破坏性高亮。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖推荐、多跳问答、生物医学等多样化任务，辅以丰富的消融、跨模型迁移、上下文长度极限测试及可解释性分析。
写作质量: ⭐⭐⭐⭐⭐ 论证清晰严密，从问题形式化、算法设计到实验权衡层层递进。
价值: ⭐⭐⭐⭐⭐ 对工业界海量上下文检索增强、长历史智能体决策及黑盒大模型落地具有极高借鉴价值。