HERO: Enhancing Multimodal Faithfulness via Dynamic Entropy-Aware Reinforcement Learning

会议: ECCV 2026
论文: ECCV 原文
领域: reinforcement_learning
关键词: 多模态大模型, 幻觉缓解, 思维链推理, 强化学习, 熵感知优化

一句话总结

提出 HERO 在线强化学习框架，揭示多模态 CoT 推理在图像退化下退守语言先验导致低熵高置信幻觉的“置信度陷阱”，通过动态熵感知加权反向严惩高置信错误，并结合方差门控采样高效挖掘困难负样本，显著提升多模态忠实度。

研究背景与动机

多模态大语言模型（LVLMs）在解析复杂视觉场景与执行多模态对话方面展现出惊人能力，但幻觉现象依然严重阻碍其在自动驾驶、医疗影像分析等高风险场景中的可靠落地。近期研究普遍通过引入思维链（Chain-of-Thought, CoT）微调来激发多模态模型的慢思考与多步逻辑推理潜能。然而实证研究发现了一个反直觉的“推理-忠实度权衡”（Reasoning-Faithfulness Trade-off）：显式优化长思维链推理能力往往以牺牲视觉事实真实性为代价，诱发更多脱离图像事实的伪造描述。

通过系统的高斯噪声图像退化受控实验，本工作揭示了该反直觉现象背后的根本诱因——“退化下的过度自信”（Overconfidence under Degradation）以及由此形成的“置信度陷阱”（Confidence Trap）。直觉上，当输入视觉线索模糊或退化时，模型的预测不确定性与输出香农熵理应升高；然而受过 CoT 微调的模型为了维系表面严密自洽的推理叙事，反而退守到其预训练参数中深植的语言先验之中。模型化身为“盲目推理者”（blind reasoner），即使脱离视觉依据也极其坚定地给出低熵、高置信度的错误结论。这一现象彻底动摇了以视觉对比解码（如 VCD）为代表的传统后处理方法的基础，因为这些方法均假设幻觉伴随高不确定性，而“置信度陷阱”中的错误在原始输入与扰动输入下同样保持低熵高置信。同时，静态离线偏好对齐（如 DPO/HA-DPO）由于依赖陈旧分布且同等对待所有负例，难以纠正这种与置信度错位的结构性错误。

面对模型“不仅犯错、而且极度自信地犯错”的病态特性，亟需建立一种能够在在线探索中动态捕捉置信度与真实性错位信号的优化机制。核心 idea：将多模态对齐建模为在线策略强化学习过程，提出 HERO 框架，通过方差门控采样过滤无信息平原以聚焦困难负样本，并设计动态熵感知加权函数对低熵高置信的幻觉输出施加指数级惩罚，结合攻防动态仲裁机制强制策略将高置信度重新锚定在真实视觉证据之上。

方法详解

整体框架

HERO（Hallucination-Entropy Regulated Optimization）建立在组相对策略优化（GRPO）基础之上，整体流程包含候选采样、方差门控、双重评估（NLI 事实性奖励与内在不确定性熵）以及动态调节更新四个阶段。模型针对多模态提示生成一组候选响应，先经由奖励方差过滤掉缺乏学习信号的无效样本，再利用细粒度 NLI 代理计算事实性奖励，同时评估平均 token 级香农熵；动态熵感知权重根据熵的高低非线性缩放策略梯度更新幅度，并由攻防平衡概率自适应切换探索与 KL 正则化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入<br/>图像与文本指令"] --> B["策略模型采样<br/>生成候选响应组 G 项"]
    B --> C["方差门控采样<br/>计算奖励方差并过滤平原样本"]
    C --> D["双重评估分支<br/>NLI 奖励模型 r 与 token 平均熵 H"]
    D --> E["动态熵感知加权<br/>低熵错误施加高惩罚权重 w"]
    E --> F["动静态攻防仲裁机制<br/>均值奖励引导探索与 KL 防御"]
    F --> G["GRPO 策略更新<br/>严格重对齐置信度与视觉事实"]

关键设计

1. 方差门控采样：过滤平原样本并聚焦高价值困难负样本 在微调基础 LVLM 进行强化学习时，大量常规提示下的候选生成结果要么全对要么全错，产生的组内奖励方差趋近于零。这些样本梯度贡献极小，却占用昂贵的反向传播计算资源。针对这一算力浪费瓶颈，HERO 在策略采样得到 \(G\) 个候选响应 \(\{o_1, \dots, o_G\}\) 后，计算其组内标量奖励方差 \(\sigma_R^2(x) = \text{Var}(\{r_1, \dots, r_G\})\)。方差极低的提示被判定为性能停滞平原（plateaued groups）并在策略更新前直接过滤。该设计作为纯粹提升效率的困难样本挖掘机制，不仅未损害最终性能，反而规避了无效反向传播，将实际端到端训练开销从 274 GPU·小时降低到 185 GPU·小时（Wall-clock 时间由 22 小时降至 16 小时）。

2. 动态熵感知加权：打破盲信语言先验的置信度陷阱 标准策略优化算法如 GRPO 对所有采样样本分配均匀的优化权重，完全忽略了模型自身的预测置信度，无法应对低熵高置信度的病态幻觉。针对“低熵错误危害最大”的核心发现，HERO 计算响应文本的平均 token 级香农熵 \(H(x)\)，并构造逆向 S 型调制权重 \(w(H(x))\)：

\[w(H(x)) = 1 + \sigma\left(-k \cdot (H(x) - H_0)\right)\]

其中 \(H_0\) 为参考模型在无退化验证集上的经验均值熵基线，\(k\) 控制激活跃迁的陡峭程度，\(\sigma\) 表示 Sigmoid 函数。当模型受强语言先验支配发生幻觉时，其输出呈现极低熵（\(H(x) \ll H_0\)），\(w(H(x))\) 迅速趋近最大增益系数 2.0，进而对低奖励的负优势样本施加倍增的梯度惩罚，强迫模型彻底剥离对该错误模式的病态自信；反之，当模型表现出正常的模糊与犹豫（\(H(x) \ge H_0\)）时，权重平滑衰减至 1.0，安全回退到常规 GRPO 优化，避免误罚合理的认知不确定性。

3. 动静态攻防仲裁机制：平衡奖励探索与参考策略锚定 在线强化学习极易陷入奖励黑客（reward hacking）或灾难性遗忘，破坏视觉特征表达。为了在激进纠错与保持通用理解能力之间取得稳健平衡，HERO 引入自适应攻防仲裁概率，依据组内平均奖励 \(\bar{r}(x) = \frac{1}{G}\sum_{i=1}^G r_i\) 与微调模型基准期望 \(\theta_{\text{base}}\) 的相对差距进行动态分配：

\[p_{\text{offense}}(x) = \text{sigmoid}\left(-(\bar{r}(x) - \theta_{\text{base}})\right), \quad p_{\text{defense}}(x) = 1 - p_{\text{offense}}(x)\]

当模型在困难输入上生成的平均质量落后于基线时，系统自动切入“进攻模式”（\(p_{\text{offense}} \to 1\)），全力驱动熵加权优势项探索更优的视觉忠实解；当组内平均质量已超越基准期望时，系统平滑转入“防守模式”（\(p_{\text{defense}} \to 1\)），大幅提高针对参考模型 \(\pi_{\text{ref}}\) 的 KL 散度约束权重，稳固既有优化成果并防止策略分布漂移。

4. 分层多组件奖励模型：基于 NLI 的细粒度事实性代理 开放式多模态文本生成缺乏天然的标量判别标准。HERO 借助预训练 DeBERTa-v3 NLI 模型，将图像真值注释拆解为原子级视觉陈述作为前提，检验生成文本是否在逻辑上形成蕴含（Entailment）。奖励函数解耦为格式合规度 \(S_{\text{format}}\)、物体存在度 \(S_{\text{obj}}\) 与细粒度属性准确度 \(S_{\text{attr}}\)：

\[R(C) = S_{\text{obj}} + S_{\text{attr}} + \lambda S_{\text{format}}\]

其中 \(S_{\text{obj}}\) 统计真值物体集合中被生成内容所蕴含的比例；属性得分 \(S_{\text{attr}}\) 则严格限制在已被判定为存在的物体子集上分层聚合，结合属性级原子命题计算平均蕴含度。这种分层递进计算有效杜绝了因物体本身缺失而错误评估从属属性的逻辑混乱，构建了密集、高保真的标量事实性反馈。

损失函数 / 训练策略

HERO 的综合训练优化目标联合了熵加权策略梯度与自适应 KL 正则项：

\[\mathcal{J}_{\mathrm{HERO}}(\theta) = \mathbb{E}_{x \sim \mathcal{B}}\left[ p_{\mathrm{offense}}(x) \cdot w(H(x)) \cdot \mathcal{J}_{\mathrm{GRPO}}(x) - p_{\mathrm{defense}}(x) \cdot \mathcal{L}_{\mathrm{KL}}(x) \right]\]

其中优势估计 \(\hat{A}_i = \frac{r_i - \text{mean}(\{r\})}{\text{std}(\{r\}) + \epsilon}\) 在保留组内排序特性的同时消除显式 Critic 网络。实验使用 Qwen2.5-VL（3B 与 7B 版本），先在 LLaVA-CoT-100k 上进行 SFT 注入思维链推理能力，随后在包含丰富属性的 Visual Attributes in the Wild (VAW) 数据集上执行 HERO 在线对齐。测试阶段采用贪心解码（temperature = 0）确保评估的确定性。

实验关键数据

主实验

在主流多模态幻觉基准 THRONE、POPE 以及 AMBER（包含生成式子集 AMBER-G 与判别式子集 AMBER-D）上与前沿基线展开系统对比：

模型基座	优化方法	THRONE Acc	THRONE F0.5	POPE Acc	POPE F1	AMBER-G CHAIR↓	AMBER-G Cover↑
Qwen2.5-3B	Base	78.6	85.7	85.0	83.8	7.5	58.5
Qwen2.5-3B	+ CoT-SFT	78.3	85.6	84.1	82.8	8.1	55.6
Qwen2.5-3B	+ VCD (Inference)	78.8	86.1	84.8	83.2	7.8	58.5
Qwen2.5-3B	+ HA-DPO (Offline)	78.5	85.5	84.2	82.0	7.5	57.5
Qwen2.5-3B	+ GRPO (Online)	82.2	88.2	85.5	83.8	7.3	61.5
Qwen2.5-3B	+ HERO (Ours)	82.8	88.6	86.5	85.4	7.2	62.3
Qwen2.5-7B	Base	77.9	84.8	86.5	84.6	6.6	60.8
Qwen2.5-7B	+ CoT-SFT	77.3	84.9	85.9	84.2	6.2	54.1
Qwen2.5-7B	+ VCD (Inference)	78.5	85.5	87.0	85.0	6.2	56.5
Qwen2.5-7B	+ HA-DPO (Offline)	79.5	86.0	87.2	86.0	6.2	55.5
Qwen2.5-7B	+ GRPO (Online)	81.9	88.5	89.2	90.0	6.0	59.0
Qwen2.5-7B	+ HERO (Ours)	82.9	89.0	90.8	90.4	6.3	61.2

消融实验

为验证各优化组件与采样策略对极低熵困难样本的针对性改善，在最低熵 30% 样本子集及通用基准上进行消融评测：

实验模块 / 策略配置	THRONE Acc (%)	THRONE F1 (%)	MMBench Acc (%)	说明
Vanilla GRPO	80.6	77.7	65.5	标准无加权 GRPO 基线
+ Variance-Gated Sampling	80.6	77.8	65.4	过滤低方差样本，性能持平但算力大幅节省
+ Entropy-Aware Weighting	82.0	78.7	65.7	引入动态熵加权，显著抑制高置信错误 (+1.4%)
+ Dynamic Balancing (Full HERO)	82.8	79.3	65.9	攻防自适应仲裁全面达峰，兼顾通用理解
对比：全量数据训练 (Full Data)	80.6	77.7	65.5	耗时 22 小时 (274 GPU·h)
对比：随机抽样 60% 样本	79.2	76.5	64.9	相同计算预算下掉点明显 (-1.4%)
对比：方差门控采样 (保留约 60%)	80.6	77.8	65.4	耗时仅 16 小时 (185 GPU·h)，效果无损

关键发现

• 超低熵危险区恢复：在香农熵 \(\le 0.3\) 的极端高置信区间，CoT-SFT 模型的真实性得分暴跌至约 50.0%（即最自信的判断有一半是错的），而 HERO 将该关键区域的真实性恢复至 92.0% 以上，相对提升达 84%，彻底化解了置信度陷阱。
• 动态熵感知的核心贡献：消融数据显示，熵感知加权机制为 THRONE 带来了 1.4% 的准确率净增长与 1.0% 的 F1 提升，证明按不确定性区分惩罚粒度远优于无差别策略惩罚。
• 免除对齐税：在 MMBench（65.6% \(\to\) 65.9%）、MME（73.04 \(\to\) 73.42）和 MMMU（46.56% \(\to\) 45.67%）等通用推理基准上，HERO 完整保留了 CoT-SFT 的高阶推理水平，打破了“抑制幻觉必然损伤通用能力”的固有瓶颈。

亮点与洞察

• 颠覆传统不确定性假设：首次从实证角度揭示了多模态 CoT 模型在退化场景下会反直觉地呈现“过度自信”而非合理犹豫，指出最具危害的幻觉往往具有极低输出熵，精准定位了现有后处理机制失效的根源。
• 逆熵动态调节机制：通过非线性 S 型函数将平均预测熵映射为优化步长调节因子，低熵幻觉重罚、高熵怀疑宽恕，设计极其优雅且即插即用。
• 算力自愈型方差门控：利用组内奖励方差识别“零学习信号平原”，不仅规避了 32% 的冗余反向传播开销，还通过剔除平庸样本强化了对困难负样本的梯度关注。

局限与展望

• 静态经验熵基线的局限：当前的置信度基线 \(H_0\) 是在参考模型上统计得到的全局固定标量，但在实际场景中，不同视觉任务（如开放描述 vs 精确 OCR）的固有信息熵分布跨度极大，静态阈值可能在特定任务中造成惩罚偏置。
• 极端领域漂移下的门控失效：当遇到模型完全陌生或极度退化的极端域分布时，一组候选可能全部陷入不可逆的确定性错误中（即全部为 0 奖励，方差为 0），导致方差门控错误地将其当作无信息平原予以过滤。
• NLI 原子陈述对密集空间关系的表征不足：尽管基于 DeBERTa-v3 的 NLI 代理提供了扎实的实体与属性反馈，但将图像真值拆解为原子文本命题依然难以充分刻画复杂的几何相对拓扑与多级交互关系。

相关工作与启发

• vs 推理期对比解码 (如 VCD / CDAR)：VCD 依赖原始图像与扰动图像的输出对比来抑制语言先验，但在“置信度陷阱”下，模型在两种输入下均对幻觉 token 保持低熵偏好，使对比信号归零；HERO 则直接在训练阶段通过强化学习重塑策略分布，治本而非治标。
• vs 离线偏好优化 (如 DPO / HA-DPO)：离线对齐依赖静态负例对，对所有错误施加均匀损失，难以契合在线生成的动态推理链；HERO 采用在线 GRPO 与熵感知自适应权重，动态纠治当前策略最新暴露的盲区。
• vs 标准 GRPO：标准 GRPO 缺乏对模型内在置信状态的感知且对所有数据执行完整反向传播；HERO 引入方差门控与熵动态调制，训练更快、抗幻觉针对性更强。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 敏锐洞察到 CoT 模型在退化下的低熵过度自信反常现象，提出颠覆性的动态逆熵优化范式。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖像素退化分析、熵区间真实度细粒度切片、主流幻觉榜单及通用能力基准，论据极为扎实。
• 写作质量: ⭐⭐⭐⭐⭐ 问题阐述切中要害，逻辑链条严丝合缝，实验可视化分析极具说服力。
• 价值: ⭐⭐⭐⭐⭐ 为大模型长链条思维推理与多模态忠实度的协同优化开辟了重要路径，对具身智能和工业级 VLM 部署具有重要指导价值。

相关论文

• [ICLR 2026] RuleReasoner: Reinforced Rule-based Reasoning via Domain-aware Dynamic Sampling
• [ACL 2026] HEALing Entropy Collapse: Enhancing Exploration in Few-Shot RLVR via Hybrid-Domain Entropy Dynamics Alignment
• [ICML 2026] Tracking Drift: Variation-Aware Entropy Scheduling for Non-Stationary Reinforcement Learning
• [CVPR 2026] AnyDoc: Enhancing Document Generation via Large-Scale HTML/CSS Data Synthesis and Height-Aware Reinforcement Optimization
• [ICML 2026] Break the Block: Dynamic-size Reasoning Blocks for Diffusion Large Language Models via Monotonic Entropy Descent with Reinforcement Learning