Positive-Unlabeled Preference Optimization for Chest X-Ray Report Generation¶

会议: NeurIPS 2026
arXiv: 2608.05341
OpenReview: https://openreview.net/forum?id=Aecnz8LJjt
代码: https://github.com/reAIM-Lab/CXR-reason
领域: 医学图像
关键词: 胸部X光报告生成, 直接偏好优化, 正样本无标记学习, 遗漏噪声, 视觉语言模型

一句话总结¶

针对回顾性胸部 X 光报告中因临床工作流导致的轻微或次要病变未提及（遗漏噪声）问题，本文提出基于正样本-无标记（PU）学习的直接偏好优化框架 PU-DPO，结合大模型两阶段对比编辑构建偏好对与无偏风险估计器，有效恢复隐性正样本并大幅提升病变检出率。

研究背景与动机¶

自动化放射学报告生成是视觉语言模型（VLM）在临床医疗中的关键落地场景，其核心目标是根据输入的胸部 X 光（CXR）图像生成准确描述病理异常与解剖特征的自由文本报告。当前主流方法高度依赖基于回顾性电子病历数据（如 CheXpert、MIMIC-CXR）的监督微调（SFT）与强化学习对齐。然而，真实临床回顾性报告天然存在严重的“遗漏噪声”（omission noise）：医生撰写报告时常受制于急诊/ICU 的特定检查目的或工作流时间压力，倾向于忽略与主诉无关的轻微异常（例如，在确认气管插管或支持导管位置时遗漏轻度心脏扩大或微小肺不张）。放射科专家的双盲独立标注研究表明，CheXpert 原报告中心脏扩大的遗漏率高达 43.8%，肺不张遗漏率达 38.2%，导致未标注样本中潜藏着大量肉眼可见但未被记录的隐性真实阳性。

现有后训练对齐范式进一步放大了这种单向系统性误差。无论是直接最大化参考报告似然的 SFT，还是基于 RadGraph-F1 / RadCliQ 等全局临床奖励的 GRPO 强化学习，均将回顾性报告中的“未提及”默认视为“真实阴性”。在使用直接偏好优化（DPO）构建对比偏好时，这种未标注的隐性正样本会误导模型将“忽略病变”判为更优选项，从而系统性抑制模型对真实病理的检出敏感度。更棘手的是，现有面向通用偏好噪声的鲁棒优化算法（如 Dr-DPO）多建立在对称反转噪声假设之上，无法应对这种单侧遗漏、正样本与无标记样本混合的非对称结构。

针对临床标注天然不全的核心矛盾，本文提出跳出“非正即负”的二元假设，将报告生成中的单侧遗漏建模为正样本-无标记（Positive-Unlabeled, PU）学习问题。核心 idea：将胸部放射报告生成中的未提及病变建模为正样本-无标记（PU）学习问题，通过 LLM 对基线模型输出执行病变子类型级的两阶段对比编辑构建偏好对，并在 SCAR 假设下推导无偏 DPO 风险估计器，利用类别先验消除未标注数据中隐性正样本对偏好梯度的负向污染。

方法详解¶

整体框架¶

PU-DPO 整体流程包含三个核心阶段：细粒度病变子类型解耦与偏好对生成、亚型级分层批次采样与先验估计、以及基于无偏 PU 风险估计器的偏好对齐优化。输入为胸部 X 光图像 \(x\)，目标是训练具备高检出敏感度且无假阳性幻觉的视觉语言模型 \(\pi_\phi\)。模型首先基于 SFT 初始化策略 \(\pi_{\text{ref}}\) 采样基础回复，再借助编辑大语言模型生成成对对比样本（显式提及目标病变亚型 \(a_j^+\) 与省略该病变 \(a_j^-\)）；随后在每个训练批次中结合最佳箱估计（BBE）或裁决先验 \(\alpha_j\)，通过闭式无偏损失函数引导模型学习正确的病理倾向。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：胸部 X 光片 x 与基础模型候选回复 a"] --> B["1. 基于 LLM 的细粒度对比编辑偏好构建<br/>两阶段事实修正与病变亚型插入/删除"]
    B --> C["生成对比偏好对 (aj+, aj-)<br/>包含病变 aj+ vs 忽略病变 aj-"]
    C --> D["2. 亚型级多任务批次采样与先验估计<br/>单病变轴纯化与 BBE 类别先验 αj 估计"]
    D --> E["3. 正样本-无标记偏好优化目标<br/>减去隐性正样本污染项，恢复无偏梯度"]
    E --> F["输出：抗遗漏噪声的放射报告生成模型 πφ"]

关键设计¶

1. 基于 LLM 的细粒度对比编辑偏好构建：解耦病变提及与背景文本

真实放射报告通常同时覆盖多种解剖部位与复杂病变，直接对整篇报告进行打分会导致监督信号混叠，无法精准定位遗漏。本文将宏观病变解耦为由解剖位置与严重程度构成的具体疾病亚型 \(Y_j\)（例如“左侧微量胸腔积液”或“双侧轻度肺不张”）。为了构建高质量且策略内（on-policy）的偏好对，框架使用大语言模型（GPT-OSS 120B）对基础模型 \(\pi_{\text{ref}}\) 生成的回复执行两阶段离线编辑：第一阶段对照原始参考报告修正基础回复中的不一致陈述以保证事实底色真实；第二阶段针对抽样的目标亚型 \(Y_j\) 注入或移除对应病变表述，生成互为镜像的对比对 \((a_j^+, a_j^-)\)。为防止文本长度过长诱发长度偏见（length bias），编辑后施加严格的长度变化率约束 \(\max(\Delta L_{a^+}, \Delta L_{a^-}) \le 0.5\)。

2. 亚型级多任务批次采样与先验估计：平衡极低流行率与异质标注率

细粒度病变亚型在全量人群中的自然发病率通常极低（仅 1%–5%），且不同医生对不同病理的省略倾向具有显著异质性。为此，本文采用弱化的多任务完全随机选择假设（multi-SCAR），即假设完全随机选择在每个具体亚型内部独立成立，允许各亚型具备独立的标注率与类别先验 \(\alpha_j = \mathbb{P}(Y_j = +1)\)。为了精确估计未标注集合中的隐性正样本比例 \(\mathbb{P}(Y_j = 1 \mid S_j = -1)\)，本文利用冻结的视觉编码器抽取图像表征，结合 LightGBM 分类器与最佳箱估计（Best-Bin Estimation, BBE）算法实现无监督先验推断。在训练调度上，批次构建打破自然频率偏差，均匀抽样目标亚型 \(j \sim \text{Unif}(1, d)\)，并强制实施 50-50 的正样本与未标注样本分层采样，确保梯度更新方差可控。

3. 正样本-无标记偏好优化目标：消除隐性正样本带来的负向污染

在传统 DPO 中，未提及样本被直接归入负类，导致隐性正样本的损失被严重逆向惩罚。设单对偏好边际为 \(z = \beta \log \frac{\pi_\phi(a_j^+ \mid x)}{\pi_{\text{ref}}(a_j^+ \mid x)} - \beta \log \frac{\pi_\phi(a_j^- \mid x)}{\pi_{\text{ref}}(a_j^- \mid x)}\)，预测偏好概率为 \(\sigma(z)\)。在无噪声全监督下，总体风险为真实正负样本的凸组合：\(R_j(\phi) = \alpha_j R_{p,j}^+(\phi) + (1 - \alpha_j) R_{n,j}^-(\phi)\)。在未标注边缘分布 \(\mathbb{P}_X = \alpha_j \mathbb{P}_p + (1 - \alpha_j) \mathbb{P}_n\) 上计算的负向损失期望 \(R_{X,j}^-(\phi) = \mathbb{E}_{\mathbb{P}_X}[-\log(1 - \sigma(z))]\) 混合了真实阴性与所有阳性。PU-DPO 通过代数分解，将其中的阳性污染项 \(\alpha_j R_{p,j}^-(\phi)\) 显式扣除，从而在仅依赖标注正样本集 \(\mathcal{D}_p\) 和未标注集 \(\mathcal{D}\) 的前提下严格恢复无偏风险：

\[R_j(\phi) = \alpha_j R_{p,j}^+(\phi) - \alpha_j R_{p,j}^-(\phi) + R_{X,j}^-(\phi)\]

损失函数 / 训练策略¶

为防止经验风险在小样本下出现负值导致数值发散，实际训练采用非负修正的经验损失形式：

\[\widehat{R}^{\text{multi}}(\phi) = \mathbb{E}_{j \sim \text{Unif}(1,d)} \left[ \alpha_j \widehat{R}_{p,j}^+(\phi) + \max\left(0, \widehat{R}_{X,j}^-(\phi) - \alpha_j \widehat{R}_{p,j}^-(\phi)\right) \right]\]

在包含 \(n_p\) 个已知正样本和 \(n\) 个总样本的批次中，该目标对应的参数更新梯度具有极其直观的物理意义： - 对于未标注样本 \(i \in U\)，梯度贡献为 \(\frac{1}{n} \sigma(z_i) \nabla_\phi z_i\)，在全空间上轻微推高 \(a^-\) 的偏好（常规保守压制）； - 对于已知正样本 \(i \in P\)，梯度贡献包含补偿项 \((-\frac{\alpha_j}{n_p} + \frac{1}{n} \sigma(z_i)) \nabla_\phi z_i\)，其中 \(-\frac{\alpha_j}{n_p} \nabla_\phi z_i\) 项提供了强大的正向提升力（upward push），在期望意义下精确抵消了未标注集中隐性正样本被误压制所产生的梯度假信号。

模型仅在 SFT 权重上轻量级微调 200 个 step，即可在数小时内完成稳健对齐，无需耗费昂贵的长程强化学习算力。

实验关键数据¶

主实验¶

在 CheXpert 与 MIMIC-CXR 两大主流真实胸部放射学基准上，评估覆盖不同架构的 SFT 基础模型（MedGemma、LLaVA-Rad、NV-reason），核心病变包括易被遗漏的肺不张（Atelectasis）、心脏扩大（Cardiomegaly）与胸腔积液（Pleural Effusion）。各方法在测试集上的病变级 F1 分数对比如下（以 MedGemma 模型为例）：

数据集	病变	Base 模型	SFT	RadCliq-GRPO	标准 DPO	PU-DPO (本文)	相对基线提升
CheXpert	肺不张 (Atelectasis)	0.675	0.559	0.704	0.690	0.738	+9.3%
CheXpert	心脏扩大 (Cardiomegaly)	0.788	0.691	0.767	0.815	0.817	+3.7%
CheXpert	胸腔积液 (Pleural Effusion)	0.874	0.888	0.899	0.907	0.909	+4.0%
MIMIC-CXR	肺不张 (Atelectasis)	0.726	0.488	0.647	0.776	0.803	+10.6%
MIMIC-CXR	心脏扩大 (Cardiomegaly)	0.737	0.628	0.726	0.768	0.780	+5.8%
MIMIC-CXR	胸腔积液 (Pleural Effusion)	0.809	0.795	0.809	0.834	0.837	+3.5%

在放射科专家多重裁决的测试集（5 位资深放射科医生多数投票）上，PU-DPO 的隐性正样本恢复率（Omission Recovery）显著超越朴素 DPO 与基线模型，同时整体语言质量指标（BLEU-4、ROUGE-L、RadGraph-F1）保持稳定，未出现由于敏感度增加导致的临床误报或幻觉漂移。

消融实验¶

在半合成实验中，通过人为控制正样本遗漏反转率 \(c \in \{0\%, 10\%, 20\%, 30\%\}\)，系统性评估标准 DPO、鲁棒偏好对齐算法 Dr-DPO 与 PU-DPO 在胸腔积液检出上的抗噪能力（测试样本量 \(n_{\text{test}} = 5000\)）：

噪声率 \(c\)	方法	F1 分数	敏感度 (Sensitivity)	特异度 (Specificity)	说明
0% (无噪声)	标准 DPO	0.83	0.75	0.94	基础全监督上限
0% (无噪声)	Dr-DPO	0.84	0.76	0.94	鲁棒偏好对齐
0% (无噪声)	PU-DPO (本文)	0.84	0.76	0.95	表现与 Oracle 相当
10%	标准 DPO	0.82	0.73	0.95	敏感度开始下滑
10%	Dr-DPO	0.82	0.74	0.95	权重衰减无法识别单侧噪声
10%	PU-DPO (本文)	0.84	0.77	0.94	维持高召回
20%	标准 DPO	0.80	0.69	0.96	假阴性惩罚显著抑制检出
20%	Dr-DPO	0.79	0.68	0.96	性能退化至与标准 DPO 相当
20%	PU-DPO (本文)	0.84	0.76	0.95	保持高检出与高特异度
30%	标准 DPO	0.81	0.73	0.93	严重受损
30%	Dr-DPO	0.76	0.63	0.97	敏感度急剧崩塌至 0.63
30%	PU-DPO (本文)	0.84	0.76	0.95	极强鲁棒性，F1 完全不退化

此外，在对先验参数 \(\alpha\) 敏感性测试中（真实先验 \(\alpha=0.5\)），将 \(\alpha\) 设为 0.4 会退化回常规 DPO（F1 = 0.79），而略微高估设为 0.6 时 F1 反而提升至 0.86（敏感度提升至 0.81，特异度保持在 0.93）。这表明在临床实践中，适度保守地略高估先验是更安全的对齐策略。

关键发现¶

SFT 带来严重的病理漏诊：SFT 直接拟合含遗漏噪声的回顾性报告，导致三类关键病变的检测敏感度反而显著低于未微调的基础模型（如 MedGemma 在 MIMIC 上的肺不张 F1 从 0.726 崩塌至 0.488），证明机械式模仿学习在有噪声医疗文本中具有负面效应。
对称鲁棒对齐失效的原因：Dr-DPO 依赖模型对高损失样本的梯度降权，但当整个未标注集系统性充斥隐性正样本时，模型先验无法自发分离正负对，导致降权机制失效；PU-DPO 则通过显式先验 \(\alpha\) 准确扣减污染。
SCAR 假设的边界：核最大均值差异（MMD）检验显示，肺不张与胸腔积液完全符合 SCAR 分布一致性，而心脏扩大存在统计显著的选择性偏差（受 ICU 设备检查等主诉驱动），导致其提升幅度相对受限。

亮点与洞察¶

将临床工作流偏差数学化为 PU 问题：打破了过去将医生回顾性报告视为金标准 ground-truth 的惯性思维，首次严谨地将漏诊偏差形式化为正样本-无标记学习的单向偏好噪声，为医疗文本对齐指明了理论路径。
轻量解耦的两阶段对比生成：不依赖全篇端到端重写，而是将病变拆为细粒度解剖与严重度亚型，由大模型定向编辑生成正负对，既保证了生成样本严格在 policy 内，又彻底规避了长度漂移与无关属性泄露。
低成本即插即用特性：仅需微调 200 个 gradient steps（H100 上耗时 2.5 小时，仅为 GRPO 的 30%、SFT 的 11%），即可与普通 VLM 及思维链（CoT）推理架构无缝配合。

局限与展望¶

类别先验 \(\alpha\) 的精准度依赖：虽然 BBE 与分箱估计有效，但对先验估算误差敏感；未来可探索引入资深放射学专家共识或群体流行病学数据校准先验。
SCAR 假设在部分病变上受限：临床实践中部分病变（如心脏肥大）的遗漏与成像体位、住院科室（ICU vs 门诊）密切相关；后续可放宽至带选择偏倚的 SAR（Selected At Random）框架。
单视角局限：目前验证基于正位单胸片（frontal view），而真实放射诊断常综合侧位片及既往历史对比，跨时相多模态 PU 对齐仍待拓展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将医疗放射报告中的单侧遗漏形式化为 PU-DPO 理论框架，数学推导完备且临床洞见深刻。
实验充分度: ⭐⭐⭐⭐⭐ 兼顾放射学专家独立双盲标注、半合成多梯度噪声实验、三类典型 VLM 架构与双大规模真实世界基准测试。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰，公式推导严谨，图表结构完整且实验对比层次分明。
价值: ⭐⭐⭐⭐⭐ 为大模型在严肃医疗等存在系统性标注缺失的高敏领域的可靠落地提供了坚实的算法支撑。