COMPLLLM: Fine-tuning LLMs to Discover Complementary Signals for Decision-making¶

会议: NeurIPS 2026
arXiv: 2602.19458
OpenReview: https://openreview.net/forum?id=4kMncKrhE7
论文: https://arxiv.org/abs/2602.19458
代码: 暂未开源
领域: 大语言模型 / 自然语言处理
关键词: 互补信息发现、决策理论、强化学习、GRPO、可解释决策辅助

一句话总结¶

本文提出决策理论驱动的 LLM 调优框架 ComplLLM，通过构建基于最佳可达期望效用增益的奖励函数并结合 SFT 与 GRPO 强化学习，使语言模型能够从非结构化文本中精准挖掘出上游推荐模型所遗漏的离散互补决策信号。

研究背景与动机¶

在临床辅助诊断、多模态内容审核以及同行评审等复杂人机协作与多智能体决策场景中，下游决策者（如主管医生或审稿主席）通常需要综合上游推荐系统给出的初步决策或风险评分，以及自身掌握的非结构化上下文信息（如放射影像报告、用户长篇对话或人类审稿意见）。然而，现有的机器学习可解释性方法（如特征归因、显著图或文本理由提取）大多只专注于解释单个模型为何产生特定输出，所依据的也是模型自身的特征输入。这种孤立解释范式在协作决策流中遇到了明显瓶颈：下游决策者真正需要的并不是对上游模型既有推理的机械复述，而是希望明确知道上下文文本中存在哪些未被上游推荐所吸纳、甚至与现有结论冲突的增量决策依据。

这类未被充分利用但对最终状态至关重要的证据构成了互补信号。现有的主题挖掘方法（如 LDA、BERTopic）仅依据文本中的词频或聚类分布提取概念，与最终的决策目标完全脱节；近期基于稀疏自编码器（SAE）或提示词的假设生成方法（如 HypotheSAEs）虽然能够关联预测目标，但它们对上游推荐决策处于盲视状态，不可避免地会频繁提取出上游模型早已充分利用的共性冗余特征，无法为协作决策带来实质性的边际效用提升。如何在无需人类专家预先枚举的前提下，让大语言模型自适应地从非结构化文本中提炼出针对既有决策具有独立增量效用的离散信号，是人机互补决策领域的核心挑战。

解决这一问题的核心在于打破“仅对文本重要性建模”的传统思路，将信号提取与决策理论中的信息价值严格绑定。核心 idea：基于统计决策理论形式化定义互补信息价值，将模型提取信号带来的最佳可达期望效用提升作为奖励函数，通过两阶段提示估计数据生成过程，并依次采用带有链式思考的监督微调（SFT）与群相对策略优化（GRPO）强化学习，使 LLM 能够精准提取与上游决策互补的高价值离散信号。

方法详解¶

整体框架¶

ComplLLM 形式化了一个双智能体协作决策流：上游推荐智能体基于自身特征 \(X\) 给出推荐概率或预测标签 \(Z \in \mathcal{Z}\)，下游监督智能体持有非结构化文本信息 \(T \in \mathcal{T}\)，需要在结合 \(Z\) 的基础上做出最终决策 \(D \in \mathcal{D}\) 以最大化决策效用 \(U(D, Y)\)（其中 \(Y \in \mathcal{Y}\) 为真实世界状态）。ComplLLM 的目标是训练语言模型学习映射 \(\texttt{LLM}_\theta: \mathcal{T} \times \mathcal{Z} \to \mathcal{S}\)，输出一组离散二元信号 \(\mathbf{S} = (\mathbf{S}_1, \dots, \mathbf{S}_M) \in \{0, 1\}^M\)。

整个训练流程分为三个环环相扣的阶段：首先，利用参考语言模型通过两轮自适应采样挖掘文本中的候选基本信号空间，并结合贪心回归算法估计信号、推荐决策与真实状态之间的后验分布数据生成过程；其次，在训练样本上依据效用增益门槛筛选出正向互补信号，构造包含证据、相关性与互补价值的反思链（CoT），对目标 LLM 进行热启动监督微调；最后，构建以标准化最佳可达效用增益为核心、带有文本事实支撑约束的密集奖励函数，采用 GRPO 算法进行无幻觉的强化学习微调。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["上游推荐决策 Z + 非结构化文本 T"] --> Step1["数据生成过程估计与候选信号空间发现<br/>两轮采样提炼基本信号空间与后验分布"]
    Step1 --> Step2["决策效用驱动的互补信号生成与 CoT 监督微调<br/>筛选超额效用信号并用反思链热启动"]
    Step2 --> Step3["互补信息收益奖励建模与 GRPO 强化学习<br/>基于最佳可达效用增益做无幻觉策略优化"]
    Step3 --> Output["离散互补信号集合 S 与下游决策支持"]

关键设计¶

1. 数据生成过程估计与候选信号空间发现：从非结构化文本中自适应构建信号空间与后验模型

为了在缺乏人工预定义信号标注的情况下量化信号价值，必须首先估计特征、信号与真实状态之间的联合分布。ComplLLM 设计了两轮 LLM 提示采样机制：在第一轮中，参考模型 \(\texttt{LLM}_{\text{ref}}\)（采用 Qwen3-8B）对每个文本实例 \(t_i\) 自由提出潜在文本线索，在温度 0.7 下采样 \(\zeta=7\) 次，并依据统计置信度界限计算频率阈值 \(N_\tau = \frac{z_{1-\delta/2}^2 p(1-p)}{\epsilon^2}\)（其中 \(p\) 为先验 \(\pi(Y)\)，\(\epsilon=0.1, \delta=0.05\)），过滤掉偶发的长尾噪声，最终取高频信号的并集形成维度为 \(M\) 的候选基本信号空间 \(\mathcal{S}=\{0, 1\}^M\)。在第二轮中，模型对每个实例 \(i\) 与每个候选信号 \(j\) 逐一判定其在 \(t_i\) 中是否发生，经多数投票得到二元基准指示向量 \(\mathbf{s}_i^{(0)}\)。随后，系统采用贪心特征与交互项选择算法（Greedy Feature and Interaction Selection），以边缘预测改善超过阈值 \(\varepsilon_{\text{main}}\) 和 \(\varepsilon_{\text{int}}\) 为判据，构建关于状态 \(Y\) 的后验概率回归模型 \(\pi(Y \mid \mathbf{S}, Z)\)。

2. 决策效用驱动的互补信号生成与 CoT 监督微调：基于超额效用增益构造高质量热启动样本

传统的生成式标注容易产生文本中虽有提及但对决策毫无帮助的冗余描述。ComplLLM 依据决策理论，将信号集合 \(\mathbf{S}\) 在给定推荐 \(Z\) 时的最佳可达效用定义为面对诱导后验分布时的最优动作期望回报：

\[\hat{U}(\pi(Y \mid \mathbf{S}, Z), Y) = \max_{d \in \mathcal{D}} \mathbb{E}_{y \sim \pi(Y \mid \mathbf{S}, Z)} [U(d, y)]\]

在此基础上，对每个训练样本 \((t_i, z_i, y_i)\)，系统从已发生信号 \(\mathbf{s}_i^{(0)}\) 中筛选出满足超额边际增益的子集 \(\mathbf{s}_i^{(1)}\)，即要求 \(\hat{U}(\pi(Y \mid \mathbf{s}_i^{(1)}, z_i), y_i) > \hat{U}(\pi(Y \mid z_i), y_i) + \epsilon\)。这确保了生成的标签严格具备互补决策价值。为了避免直接微调标签导致推理能力脆弱，ComplLLM 进一步利用参考模型生成包含三要素的结构化思维链（Chain-of-Thought）：文本中的直接证据、信号与目标状态的医学/领域关联机理、以及相较于上游预测 \(z_i\) 为何构成了增量修正，并以此思维链监督微调骨干网络。

3. 互补信息收益奖励建模与 GRPO 强化学习：防止幻觉与自适应策略优化的闭环

监督微调仅能让模型模仿离线挖掘出的固定信号组合，无法主动在策略空间中权衡信号的精简性与泛化性。ComplLLM 进一步引入群相对策略优化（GRPO），其核心贡献在于设计了抗幻觉的互补奖励函数：

\[R(\mathbf{s}, z_i, y_i) = \begin{cases} 1 & \text{若 } \mathbf{s} \text{ 与标准互补集合 } \mathbf{s}_i^{(1)} \text{ 均为空集} \\ \frac{\hat{U}(\pi(Y \mid \mathbf{s}, z_i), y_i) - \hat{U}(\pi(Y \mid z_i), y_i)}{\alpha_i} & \text{若 } \mathbf{s} \text{ 得到文本支持} \\ 0 & \text{其他情况（包含幻觉未发生信号）} \end{cases}\]

其中归一化常数 \(\alpha_i = \hat{U}(\pi(Y \mid \mathbf{s}_i^{(1)}, z_i), y_i) - \hat{U}(\pi(Y \mid z_i), y_i)\) 保证了跨样本奖励尺度的均衡。严格的文本支撑约束要求输出的所有二元信号必须在第一阶段的基准发生检验中被证实（即 \(\forall j \in \mathbf{s}, \mathbf{s}_{i,j}^{(0)} = 1\)），彻底杜绝了模型为迎合效用奖励而胡乱编造未提及病症或事实的幻觉行为。GRPO 在每步为每个输入采样 \(G=12\) 个候选信号组合，利用组内平均奖励计算相对优势值并更新策略，使模型学会自适应输出最精炼且信息增益最大的互补信号。

损失函数 / 训练策略¶

模型在两阶段调优中采用统一的 Qwen3-8B 骨干架构。SFT 阶段采用标准自回归因果语言建模损失微调思维链与信号输出，训练 2 个 epoch，初始学习率为 \(5 \times 10^{-6}\)，搭配余弦退火调度器。GRPO 阶段以 SFT 权重为起点，最大训练轮数为 10 个 epoch，当验证集奖励改善小于 0.01 时触发早停（Early Stopping），策略学习率设为 \(1 \times 10^{-6}\)（部分任务为 \(3 \times 10^{-6}\)），输出最大序列长度设为 1,500 token。整个训练在 4 块 NVIDIA H100 GPU 上完成，SFT 耗时约 1.5 小时，GRPO 耗时约 30 小时。

实验关键数据¶

主实验¶

论文在人工合成基准（基于 MIMIC-CXR 与 CheXpert 构造，人为扣除水肿与胸腔积液标签以产生严格互补基准）以及三大真实世界决策任务上展开评测： 1. 医学诊断（MIMIC-CXR）：基于胸透影像 Foundation Model 预测心脏功能不全概率（准确率 0.819），利用放射报告文本补充信号； 2. 内容审核（DICES）：上游推荐为特定人群（亚裔千禧一代高学历女性）标注偏好（准确率 0.847），目标为预测多数投票平均标注； 3. 学术审稿（Review5K）：上游模型为 Gemini 2.0 Flash 针对论文生成的审稿决策（准确率 0.627），利用人类长篇审稿文本提取遗漏信号预测最终 AC 录用结果。

主评测指标包含表面相似度（Surface Similarity）、F1 评分、显著互补信号数量（# Sig，经 Bonferroni 校正 \(p < 0.05\)）以及包含提取信号后的最佳可达总准确率（Total Acc）。

数据集 / 场景	方法	表面相似度	F1 评分	显著信号数 (# Sig)	决策总准确率 (Total Acc.)	边际提升 (\(\Delta\) Acc.)
Synthetic (人工控制)	Agent 初始推荐	-	-	-	0.818	基准
	BERTopic	0.84	0.17	1	0.820	+0.002
	HypotheSAE	0.90	0.38	8	0.835	+0.017
	Zero-Shot (Qwen3-8B)	0.91	0.42	5	0.829	+0.011
	Few-Shot (Qwen3-8B)	0.95	0.38	3	0.826	+0.008
	ComplLLM (本文)	0.98	0.67	16	0.864	+0.046
MIMIC-CXR (医疗诊断)	Agent (CXR-FM 影像推荐)	-	-	-	0.819	基准
	BERTopic	-	-	1	0.818	-0.001
	HypotheSAE	-	-	6	0.831	+0.012
	Zero-Shot	-	-	5	0.825	+0.006
	Few-Shot	-	-	3	0.823	+0.004
	ComplLLM (本文)	-	-	12	0.839	+0.020
DICES (内容审核)	Agent (特定人群标注)	-	-	-	0.847	基准
	HypotheSAE	-	-	2	0.854	+0.007
	ComplLLM (本文)	-	-	4	0.878	+0.031
Review5K (审稿决策)	Agent (Gemini 2.0 Flash)	-	-	-	0.627	基准
	HypotheSAE	-	-	6	0.649	+0.022
	ComplLLM (本文)	-	-	8	0.692	+0.065

消融实验¶

消融实验重点验证了后训练阶段中 SFT 与 GRPO 的解耦贡献，以及向下游独立决策模型（Gemini 2.0 Flash）提供提取信号时的实际性能增益：

实验配置 / 变体	MIMIC-CXR 准确率	DICES 准确率	Review5K 准确率	核心说明
ComplLLM (SFT + GRPO 完整模型)	0.839	0.878	0.692	策略最优，置信区间窄且方差最小
ComplLLM (仅 SFT，去除 GRPO)	0.832	0.865	0.668	缺乏在线优势重加权，表现退化且方差增加
仅 Agent 自身决策 (无文本信号)	0.819	0.847	0.627	缺乏互补信息输入的性能底线
全量直接微调 Benchmark (不可解释上限)	0.841	0.880	0.701	端到端黑盒微调，不生成离散信号
下游真实决策注入 (Review5K)
论文原文文本输入	-	-	0.742	仅依据原论文判定录用
论文原文 + 人类审稿意见	-	-	0.788	引入非结构化文本审稿意见
论文原文 + 审稿意见 + ComplLLM 信号	-	-	0.797	互补信号使 Gemini 2.0 决策准确率绝对提升 0.9%

关键发现¶

强化学习对真实多模态决策至关重要：在合成数据上，仅靠 SFT 即可获得与全模型相近的效果；但在 MIMIC-CXR、DICES 和 Review5K 等真实高噪声场景中，仅 SFT 模型的增益明显受限（如 Review5K 仅达到 0.668 vs 0.692），表明 GRPO 的群优势对比能够有效惩罚低信息度表达，筛选出真正具备统计显著性的互补信号。
挖掘信号兼具广度与效用：在 MIMIC-CXR 中，ComplLLM 发现了 12 个统计显著信号（如 negative pneumothorax 带来 +0.0048 准确率增益，positive pleural effusion 带来 +0.0040 增益），而 HypotheSAE 仅发现 6 个，Zero-Shot 仅发现 5 个。这证明以效用为导向的调优能够挖掘出更多样化且非显而易见的互补线索（例如排除阴性指征同样具有高决策价值）。
专家定性验证高度吻合：针对两位资深临床医师（心内科教授与内科教授）的双盲定性测试显示，ComplLLM 提取的互补信号（如肺充血、心影增大、无胸腔积液等）与专家临床判断高度一致，显著增强了医生对更新后风险概率的信任度。

亮点与洞察¶

范式转换的协作可解释性：将解释的目标从传统的“单一模型自我辩护”转变为“面向协同协作的边际信息增益”，从根本上解决了下游决策者面对冗余解释产生警觉疲劳的痛点。
决策理论赋能 RL 密集奖励设计：利用诱导后验分布下的最佳可达效用差值作为奖励，巧妙地将抽象的“互补性”转化为可数学计算、可归一化的强化学习数值反馈信号。
事实支撑门槛彻底杜绝幻觉：在奖励函数中硬性嵌入文本发生事实约束，只要生成信号未在文本中得到佐证即强制零奖励，兼顾了强化学习的探索性与医疗/司法级的高保真要求。

局限与展望¶

长尾微弱信号遗漏风险：在第一阶段构建基本信号空间时，频率阈值 \(N_\tau\) 的硬性过滤可能会剔除发生率极低但对某些特异性罕见病极为关键的长尾临床信号。
人机信念动态漂移未闭环建模：当上游推荐智能体与下游监督者为同一个人（如人类初判后借助 LLM 查漏补缺）时，展示互补信号会直接重塑人类的先验认知，导致既定信号的边际价值随时间动态衰减，未来需引入持续学习与动态信念演化机制。
回归后验模型依赖高保真估计：当前方法依赖 Algorithm 1 的贪心回归模型作为奖励中继代理，若训练样本规模受限或特征维度爆炸，代理回归模型的拟合误差可能向下传导影响 GRPO 的收敛质量。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次将统计决策理论中的互补信息价值构建为大语言模型的强化学习奖励目标]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖合成数据校验、三项真实多领域任务、医生临床双盲定性访谈及下游闭环验证]
写作质量: ⭐⭐⭐⭐⭐ [理论推导严谨自洽，方法论与问题定义清晰，实验论证环环相扣]
价值: ⭐⭐⭐⭐⭐ [为多智能体协同、人机协作决策与高可靠可解释 AI 提供了兼具理论深度与实用价值的新路径]