Context Blindness in DPO: Mitigating Object Hallucination in MLLMs via Context-Calibrated Preference Optimization¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/mlvlab/C2-DPO
领域: 多模态 VLM
关键词: 目标幻觉、直接偏好优化、上下文校准、多模态大模型、偏好增益

一句话总结¶

揭示了现有直接偏好优化（DPO）在多模态大模型对齐中存在的“上下文盲区”现象，提出上下文校准直接偏好优化（C2-DPO），通过显式最大化上下文偏好增益并锚定退化输入排序，显著削减目标幻觉且不损通用推理。

研究背景与动机¶

多模态大语言模型（MLLMs）通过结合视觉编码器与大规模图文指令微调，在图像描述生成、视觉问答等任务上取得了长足进步。然而，这类模型普遍深受“目标幻觉（Object Hallucination）”困扰——常常生成看似流畅合理、实则脱离输入图像真实视觉内容的虚假物体或属性描述。为了抑制幻觉，基于直接偏好优化（DPO）的偏好对齐技术成为近年来的主流范式。许多后续工作（如 HA-DPO、POVID、C-DPO）致力于优化偏好数据集，例如引入额外的非幻觉辅助上下文（如详细图像描述），试图通过在输入中提供更充足的锚定线索来拉大无幻觉响应与幻觉响应之间的区分度。

然而，现有工作普遍忽略了一个更为本质的问题：现有的 DPO 优化目标是否真的驱动模型去利用这些补充上下文？从信息论的角度来看，输入中引入有价值的上下文信息理应降低模型的不确定性，使得模型对正确视觉描述的偏好程度明显增强。但经典 DPO 目标在结构上仅针对单一固定输入独立计算偏好边际，其梯度方向从未显式奖励“输入上下文更丰富时偏好边际更大”这一性质。论文为此提出了诊断指标上下文偏好增益（Contextual Preference Gain, CPG），用于衡量当提供额外有效上下文时模型偏好强度的提升幅度。实证分析揭示了两个严峻现象：其一，CPG 与幻觉率呈极强的负相关，CPG 越高的模型幻觉越低；其二，无论是经典 DPO 还是其代表性变体 SimPO、RDPO，其 CPG 分布均高度坍缩在零点附近甚至为负，展现出严重的“上下文盲区（Context Blindness）”。

这表明现有方法在损失函数层面并没有真正引导模型把丰富的多模态上下文转化为偏好判别的支点。本文的切入角度是：与其仅在数据层面单向补充上下文，不如在损失函数中显式建模并拉大完整上下文与退化上下文之间的偏好增益，同时确保在缺乏辅助上下文的基础视觉输入下偏好排序不发生退化。核心 idea：提出上下文校准直接偏好优化（C2-DPO），通过引入对比形式的上下文偏好校准损失直接最大化上下文偏好增益（CPG），并联合优化退化上下文 DPO 损失实现排序锚定，在保留模型固有推理能力的同时显著抑制目标幻觉。

方法详解¶

整体框架¶

C2-DPO 旨在解决多模态大模型在偏好对齐过程中对输入上下文不敏感的问题。模型的输入定义为完整上下文 $x = (v, q, c)$（其中 $v$ 为图像，$q$ 为用户提问，$c$ 为辅助图像描述文本）以及对应的退化上下文 $x' = (v, q, \emptyset)$（去除了辅助描述文本）。候选响应对由无幻觉正例 $y_w$ 与幻觉负例 $y_l$ 构成。

整个训练框架围绕目标偏好序展开：一方面，模型在完整上下文 $x$ 下对正例的相对偏好边际应显著高于退化上下文 $x'$ 下的偏好边际，即实现严格正向的 CPG；另一方面，在去除辅助上下文 $x'$ 的基础条件下，模型依然必须保持对正例 $y_w$ 优于负例 $y_l$ 的正确偏好排序。C2-DPO 将这套排序约束松弛为可微损失函数，整体架构由三个协同组件构成：完整上下文 DPO 损失、上下文偏好校准损失以及退化上下文 DPO 排序锚定损失。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入构建<br/>完整上下文 x=(v,q,c) 与退化上下文 x'=(v,q,∅)"] --> B["策略模型与参考模型推断<br/>计算隐式奖励差 Δr_θ(x) 与 Δr_θ(x')"]
    B --> C["上下文偏好增益诊断<br/>量化 CPG(x, x') = Δr_θ(x) - Δr_θ(x')"]
    C --> D["上下文偏好校准<br/>对比损失极大化 CPG 增益"]
    C --> E["退化上下文排序锚定<br/>DPO 目标锁定基础视觉偏好正向"]
    D --> F["联合多目标优化<br/>加权聚合全上下文与校准项"]
    E --> F
    F --> G["输出：低幻觉且强泛化的对齐模型"]

关键设计¶

1. 上下文偏好增益诊断：量化模型对多模态线索的敏感度与上下文盲区

为了定量刻画模型在偏好对齐时对上下文信息的依赖程度，作者基于 Bradley-Terry 模型中的隐式奖励差定义了偏好得分（Preference Score）： $$\Delta \hat{r}_\theta(x, y_w, y_l) = \hat{r}_\theta(x, y_w) - \hat{r}_\theta(x, y_l) = \beta \log \frac{\pi_\theta(y_w \mid x)}{\pi_{\text{ref}}(y_w \mid x)} - \beta \log \frac{\pi_\theta(y_l \mid x)}{\pi_{\text{ref}}(y_l \mid x)}$$ 该指标反映了模型在给定上下文 $x$ 下偏好正确响应 $y_w$ 胜过幻觉响应 $y_l$ 的置信度。在此基础上，作者形式化提出了上下文偏好增益（Contextual Preference Gain, CPG）： $$\text{CPG}(x, x') = \Delta \hat{r}_\theta(x, y_w, y_l) - \Delta \hat{r}_\theta(x', y_w, y_l)$$ 当 CPG 显著大于零时，说明更丰富、更相关的上下文使模型对正例的偏好进一步强化；若 CPG 接近零，则证明不论输入线索多寡，模型的偏好幅度几乎不变，直接实锤了传统 DPO 算法的上下文盲区。在基线分析中，标准 DPO、SimPO 和 RDPO 的 CPG 分布均紧密聚集在 0 附近，而实证数据显示 CPG 与 Object HalBench 和 AMBER 的幻觉率具有强烈的负相关，揭示了提升 CPG 是缓解幻觉的核心抓手。

2. 上下文偏好校准：通过对比增益极大化强化上下文感知

为了使模型在获得更强上下文时产生更大的偏好边际，理想的偏好排序应满足 $\Delta \hat{r}_\theta(x, y_w, y_l) > \Delta \hat{r}_\theta(x', y_w, y_l)$。为了将这一离散约束引入梯度反向传播，C2-DPO 设计了类似二元 InfoNCE 的平滑对比损失函数，将完整上下文 $x$ 视为正样本，退化上下文 $x'$ 视为负样本： $$\mathcal{L}_c(x, x') = - \log \frac{\exp(\Delta \hat{r}_\theta(x, y_w, y_l))}{\exp(\Delta \hat{r}_\theta(x, y_w, y_l)) + \exp(\Delta \hat{r}_\theta(x', y_w, y_l))} = - \log \sigma \left( \Delta \hat{r}_\theta(x, y_w, y_l) - \Delta \hat{r}_\theta(x', y_w, y_l) \right)$$ 最小化 $\mathcal{L}_c$ 等价于单调增大 $\text{CPG}(x, x')$，迫使模型利用辅助线索 $c$ 来强化正负例的区分度，使上下文利用成为显式优化的驱动力，而非祈求模型自主涌现的偶然副产物。

3. 退化上下文排序锚定：防止退化下偏好坍缩与病态解

若仅优化全上下文 DPO 损失和校准损失 $\mathcal{L}_c$，优化算法可能会陷入一种病态退化解：为了盲目扩大差值 $\text{CPG}(x, x')$，梯度可能不会去提升 $\Delta \hat{r}_\theta(x)$，反而会无限压低退化输入下的偏好得分 $\Delta \hat{r}_\theta(x')$，导致模型在面对缺失辅助文本的常规测试输入时彻底丧失对正确视觉内容的偏好。为防止此类伪优化，C2-DPO 引入了目标偏好序的下界约束 $\Delta \hat{r}_\theta(x', y_w, y_l) > 0$，通过在退化上下文 $x'$ 上施加标准的 DPO 损失作为保序正则项： $$\mathcal{L}_{\text{DPO}}(x') = - \log \sigma \left( \Delta \hat{r}_\theta(x', y_w, y_l) \right)$$ 这一项充当了至关重要的安全针脚，确保模型在不借助任何额外辅助文字时，单凭基础图像与问题输入也能将正例置于负例之上，保证了现实部署环境中的高鲁棒性。

损失函数 / 训练策略¶

将主任务目标与两组软约束惩罚项结合，得到 C2-DPO 的完整端到端联合训练目标： $$\mathcal{L}_{\text{C}^2\text{-DPO}}(x, x') = \mathcal{L}_{\text{DPO}}(x) + \lambda_c \mathcal{L}_c(x, x') + \lambda_u \mathcal{L}_{\text{DPO}}(x')$$ 其中 $\lambda_c > 0$ 和 $\lambda_u > 0$ 分别平衡上下文偏好校准与退化上下文排序锚定的权重。训练时模型采用 LoRA 在单卡或多卡上进行一个 epoch 的高效微调，优化器采用 AdamW，学习率设为 $2 \times 10^{-6}$，温度参数 $\beta = 0.1$。超参数敏感性表明 $\lambda_c$ 和 $\lambda_u$ 在 $[0.3, 0.5]$ 范围内表现极为稳定，LLaVA-v1.5-7B 采用 $(0.3, 0.5)$，Qwen2-VL-Instruct-2B 采用 $(0.5, 0.3)$。

实验关键数据¶

主实验¶

在代表性多模态大模型 LLaVA-v1.5-7B 与 Qwen2-VL-Instruct-2B 上，对比了主流对比解码方法（VCD, OPERA, DoLa）及偏好对齐方法（HA-DPO, POVID, CLIP-DPO, RLAIF-V, TPO, C-DPO, vanilla-DPO）在三大幻觉基准及三大通用多模态基准上的表现。

模型	方法	Object HalBench Rsp. ↓	Object HalBench Men. ↓	AMBER CHAIR ↓	AMBER Hal. ↓	AMBER Cog. ↓	ScienceQA Image Acc. ↑	MM-Vet Overall ↑	TextVQA Acc. ↑
LLaVA-v1.5-7B	Base	52.7	28.0	8.4	35.5	4.0	66.8	31.0	58.2
LLaVA-v1.5-7B	VCD	51.3	25.9	9.1	39.8	4.2	68.7	29.8	56.1
LLaVA-v1.5-7B	OPERA	45.3	22.9	6.5	28.5	3.1	68.2	30.3	58.2
LLaVA-v1.5-7B	DoLa	44.0	25.1	6.2	27.7	2.9	67.5	30.8	56.6
LLaVA-v1.5-7B	HA-DPO	37.0	20.9	6.7	30.9	3.3	69.7	30.6	56.7
LLaVA-v1.5-7B	POVID	33.4	16.6	5.3	28.7	3.0	68.8	31.8	56.6
LLaVA-v1.5-7B	RLAIF-V	7.8	4.2	2.8	15.7	0.9	68.2	29.9	55.1
LLaVA-v1.5-7B	TPO	5.6	3.2	3.6	20.5	1.6	67.1	25.7	55.3
LLaVA-v1.5-7B	vanilla-DPO	27.4	15.9	5.4	25.5	2.5	69.3	32.0	58.2
LLaVA-v1.5-7B	C-DPO	5.9	3.3	3.0	14.9	1.3	69.4	33.4	58.2
LLaVA-v1.5-7B	C2-DPO	4.8	2.7	2.8	13.8	1.2	69.5	33.4	58.2
Qwen2-VL-Instruct-2B	Base	16.1	8.3	6.2	35.5	2.7	76.9	49.9	78.2
Qwen2-VL-Instruct-2B	vanilla-DPO	6.0	3.6	4.2	39.9	3.2	77.0	49.8	78.4
Qwen2-VL-Instruct-2B	C-DPO	2.5	1.6	2.7	17.5	0.8	77.3	48.2	78.4
Qwen2-VL-Instruct-2B	C2-DPO	1.6	1.0	2.7	16.1	0.9	77.2	49.1	78.4

消融实验¶

针对 C2-DPO 核心损失项 $\mathcal{L}_c(x, x')$ 与 $\mathcal{L}_{\text{DPO}}(x')$ 进行模块剥离实验，验证协同效应：

模型	$\mathcal{L}_{\text{DPO}}(x)$	$\mathcal{L}_c(x, x')$	$\mathcal{L}_{\text{DPO}}(x')$	Object HalBench Rsp. ↓	Object HalBench Men. ↓	AMBER CHAIR ↓	AMBER Hal. ↓	AMBER Cog. ↓
LLaVA-v1.5-7B	✓	✗	✗	5.9	3.3	3.0	14.9	1.3
LLaVA-v1.5-7B	✓	✗	✓	7.1	4.1	3.1	15.9	1.2
LLaVA-v1.5-7B	✓	✓	✗	5.9	3.2	3.1	15.0	1.3
LLaVA-v1.5-7B	✓	✓	✓	4.8	2.7	2.8	13.8	1.2
Qwen2-VL-Instruct-2B	✓	✗	✗	2.5	1.6	2.7	17.5	0.8
Qwen2-VL-Instruct-2B	✓	✗	✓	3.3	2.6	2.7	22.5	1.1
Qwen2-VL-Instruct-2B	✓	✓	✗	3.5	2.3	3.2	18.6	1.0
Qwen2-VL-Instruct-2B	✓	✓	✓	1.6	1.0	2.7	16.1	0.9

此外，在对偏好优化变体的拓展实验中，结合 C2 机制使 SimPO 的 Object HalBench 响应级幻觉率由 3.9 降至 3.3，RDPO 的响应级幻觉率由 3.4 大幅降至 1.7（相对降低 50%）。在纯文本指令对齐任务（Qwen2.5-Instruct-1.5B 跑 AlpacaEval 2）中，C2-DPO 的长度控制胜率（LC WR）从 DPO 的 24.1% 提升至 25.9%，C2-SimPO 从 33.5% 升至 34.1%，展现出对不同优化算法与模态的出色通用性。

关键发现¶

两项正则项的强互补协同：单加校准项 $\mathcal{L}_c$ 或单加退化项 $\mathcal{L}_{\text{DPO}}(x')$ 都会因偏好边界失衡而导致幻觉率波动（例如 Qwen2-VL 上仅加其中一项时 Rsp. 幻觉率由 2.5 劣化至 3.3 或 3.5）；唯有两者联用形成对偶约束时，幻觉率实现暴降（1.6），印证了理论建模中下界锚定防塌陷的必要性。
动态训练进程的 CPG 稳步抬升：C-DPO 在训练全程中 CPG 持续在零附近甚至负值徘徊，而 C2-DPO 随着训练步数推进使 CPG 保持持续稳步上升，这与模型对上下文词句长度的梯度感知完全吻合。
抗噪性与通用能力零牺牲：在对辅助上下文人为施加高达 50% 的掩码噪声下，C2-DPO 相比基线依然保持显著更低的幻觉率，且在 ScienceQA、MM-Vet 和 TextVQA 上指标丝毫不损，打破了以往“抑制幻觉必然损伤通用推理”的负面权衡。

亮点与洞察¶

独到的上下文盲区视角：跳出了传统工作单纯依赖“提示词注入数据增强”或“修改样本构建”的思维定势，从优化目标本身揭露了经典 DPO 对多模态补充线索的“视而不见”，确立了新的诊断维度。
优雅闭环的数学松弛：将双不等式排序约束 $\Delta \hat{r}_\theta(x) > \Delta \hat{r}_\theta(x') > 0$ 巧妙转化为可微的二元 InfoNCE 校准项与退化 DPO 项，形式极为干净，既推高了差值增益，又彻底锁死了下界漂移。
即插即用且跨模态可迁：C2 机制无需改动模型结构与推断流水线，不仅能赋能 SimPO 与 RDPO 等偏好算法，还能拓展至纯文本 LLM 指令对齐中，具备极高的学术实用价值。

局限与展望¶

作者承认的局限：目前辅助上下文依赖配对的优质描述文本（Caption）作为正向上下文，而在开放域通用交互中，如何自适应构建低成本且无噪声的跨粒度退化对照对仍待深入探索。
实测与评估局限：退化对照主要采用了去除辅助文本的方式（$x'=(v,q,\emptyset)$），而在更严苛的视觉层面对照（如部分遮挡图像、低分辨率图像或对抗视觉扰动）下的偏好增益动态机制尚未全面建模。
未来改进方向：可将 CPG 理念推广至在线强化学习或强化自校准（如 PPO/GRPO/DPO 闭环），在解码生成过程中动态量化当前 token 与上下文多模态特征的偏好增益，实现细粒度的过程级对齐。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭示并形式化定义了 DPO 中的上下文盲区现象，提出 CPG 指标与对偶约束校准目标，理论视角极其犀利。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖不同体量模型、多个幻觉与通用问答基准、详尽的损失消融、算法泛化与纯文本扩展，论据坚实。
写作质量: ⭐⭐⭐⭐⭐ 叙述逻辑严密自洽，从信息论直觉顺畅过渡到可微优化目标，问题发现与机制设计浑然一体。
价值: ⭐⭐⭐⭐⭐ 彻底打通了多模态大模型利用上下文抑制幻觉的损失瓶颈，代码完全开源，易于推广成为新一代多模态偏好对齐标配。