BalCapRL : A Balanced Framework for RL-Based MLLM Image Captioning¶

会议: NeurIPS 2026
arXiv: 2605.07394
OpenReview: https://openreview.net/forum?id=qZ70ixJOjT
论文: https://arxiv.org/abs/2605.07394
领域: 多模态VLM
关键词: 图像描述, 强化学习, 连续多目标优化, 可指向性准则, 长度条件奖励掩码

一句话总结¶

针对现有基于强化学习的 MLLM 图像描述方法易偏向单一评估维度而引发质量权衡的问题，本文提出 BalCapRL 框架，联合优化实用感知正确性、参考覆盖率与语言学质量，并通过连续解耦归一化强化学习（c-GDPO）与双侧长度条件奖励掩码实现全方位质量提升。

研究背景与动机¶

图像描述（Image Captioning）是计算机视觉领域的核心基础任务。随着多模态大语言模型（MLLM）的发展，图像描述已从传统的闭词表短句生成全面迈向开放域细粒度长描述。为了进一步挖掘 MLLM 的视觉描述潜能，研究界近期广泛引入基于强化学习的后训练策略（Captioning-RL）。然而，当前的评测基准与 RL 优化目标普遍被三类相互割裂的视角所主导：以下游问答效用为核心的下游实用视角（如 CaptionQA）、以参考文本事实匹配为核心的正确性与覆盖率视角（如 DCScore），以及以成对偏好胜率为核心的人类审美 Arena 视角（如 CapArena）。

这种评测与优化目标的单维度割裂，导致现有方法陷入了严重的系统性偏差与性能权衡。纯粹面向参考覆盖率的方法往往生成机械呆板、缺乏重点的列表化陈述；过分追求下游问答效用（如 CapRL）则诱导模型产生长达数倍、充斥冗余推测甚至视觉幻觉的冗长文本，严重牺牲了语言流畅度；而偏向 Arena 风格的优化又极易迎合人类评委的表面偏好，促使模型输出看似文采飞扬但缺乏实际视觉信息量的泛泛之词。此外，传统多奖励强化学习算法（如 GRPO）在归一化前直接线性加权连续标量奖励，导致优势函数塌缩到一维投影超平面上，使得具有完全不同权衡特征的连续奖励向量无法被区分。

面对多目标协同与长度博弈的困境，本文主张图像描述的强化学习不能孤立迎合单一基准，而必须在目标设计与算法优化层面建立均衡机制。本文的核心 idea 是：将细粒度图像描述解构为“带可指向性约束的事实正确性、参考覆盖率与语言学质量”三大正交连续奖励，利用连续解耦组归一化策略优化（c-GDPO）打破优势塌缩，并配合双侧长度条件奖励掩码门控机制，实现兼具高信息密度、高保真度与优雅文风的均衡图像描述。

方法详解¶

整体框架¶

BalCapRL 针对细粒度图像描述构建了一套闭环强化学习对齐管线。输入图像首先由当前策略模型采样生成候选描述，同时提取或准备高质量参考描述（采用 GPT-5-mini 重新生成的密集标注）。随后，系统利用免训练的 MLLM 评判器（LLM/MLLM-as-a-Judge）将候选与参考描述分解为最小原子断言集合，并从实用感知正确性（结合可指向性准则）、参考覆盖率以及语言学质量三个正交维度计算连续标量奖励。在策略优化阶段，算法采用连续解耦归一化（c-GDPO）分别在采样组内对各奖励维度独立进行白化归一化后再加权求和，配合双侧长度条件奖励掩码作为探索保护门控，最终更新 MLLM 策略权重。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与提示词"] --> B["MLLM 策略生成<br/>采样 G 个候选描述"]
    B --> C["原子断言分解<br/>提取候选断言与参考断言"]
    C --> D["三维均衡奖励评测<br/>精确率 + 召回率 + 语言学质量"]
    D --> E["双侧长度条件掩码<br/>按长度比率门控语言学奖励"]
    E --> F["连续解耦策略优化 (c-GDPO)<br/>维度独立归一化 + 加权优势"]
    F --> G["参数梯度反向传播<br/>更新 MLLM 策略网络"]

关键设计¶

1. 融合可指向性准则的实用感知精确率奖励

传统原子断言精确率评估仅校验陈述是否与图像视觉事实相符，这容易导致模型生成大量“安全但低效用”的主观元评论（例如“该构图富有深度”、“对比十分鲜明”、“营造了温馨氛围”），此类断言虽难被判为幻觉，却无法提供具象视觉信息。为了剔除这类低效用元评论，BalCapRL 引入了“可指向性准则”（Pointability Principle）。给定模型生成的原子断言集合 $\mathcal{A}$，一个断言 $a_i \in \mathcal{A}$ 被判定为真阳性（True Positive），当且仅当其同时满足视觉可验证性（$\mathcal{A}_G$）与物理可指向性（$\mathcal{A}_P$）。可指向性强制要求该断言所指涉的物体、属性、空间位置或文字必须能够由人类在图像中实体指出，从而杜绝空洞的主观臆断。

精确率奖励定义为通过双重判别的真阳性断言占总断言数的比例： $$R_{\text{prec}} = \frac{|\mathcal{A}_G \cap \mathcal{A}_P|}{|\mathcal{A}|}$$ 通过将可指向性作为硬性门槛，模型在强化学习过程中被迫聚焦于具象物理实体与真实视觉属性，显著提升了描述在下游应用中的实际信息价值。

2. 基于参考断言语义匹配的覆盖率与三维语言学奖励

为了防止模型为追求极高精确率而采取“少说少错”的退化策略，BalCapRL 构建了基于参考描述的覆盖率（Recall）奖励与正交的语言学（Linguistic）质量奖励。系统将高质量参考描述分解为参考单元集合 $\mathcal{O}$，并通过 LLM 评判器检测参考集合中的信息单元是否被候选断言集合 $\mathcal{A}$ 提及或合理推断，匹配集合记为 $\mathcal{Q} = \mathcal{A} \cap \mathcal{O}$，覆盖率奖励即为： $$R_{\text{rec}} = \frac{|\mathcal{Q}|}{|\mathcal{O}|}$$ 与此同时，单纯追求信息堆叠往往导致句式破碎、列表化拼接与结构冗长，因此框架引入无监督语言学质量评分 $R_{\text{ling}}$。该模块由 LLM 独立对候选文本的清晰度（Clarity，惩罚歧义与过载长难句）、流畅度（Fluency，评估语法规范度与自然句式）以及连贯性（Coherency，评估逻辑跃迁与焦点一致性）进行 1-10 分打分并归一化到 $[0, 1]$ 取平均值。三者共同构成了涵盖“真实性-完备性-可读性”的稳固三角奖励结构。

3. 连续解耦组归一化策略优化 (c-GDPO)

在标准 GRPO 算法中，多个奖励维度通常先经标量线性加权求和，再在组内（Group-level）执行标准化操作。作者在理论上证明（Proposition 1）：当多个奖励维度具有不同的尺度与动态特性时，先求和后归一化会导致所有处于同一加权超平面上的奖励向量坍缩为完全相同的优势值（Advantage Collapse），使优化器丧失对连续权衡特征的辨识力。为此，本文将离散奖励领域的解耦归一化思路拓展至连续多目标图像描述任务，构建了 c-GDPO（Continuous GDPO）。

针对第 $j$ 个生成样本（组大小为 $G$），c-GDPO 首先在组内对精确率、召回率与语言学奖励分别独立计算均值与标准差并进行归一化： $$A_{\text{prec}}^{(j)} = \frac{R_{\text{prec}}^{(j)} - \mu_{\text{prec}}}{\sigma_{\text{prec}}}, \quad A_{\text{rec}}^{(j)} = \frac{R_{\text{rec}}^{(j)} - \mu_{\text{rec}}}{\sigma_{\text{rec}}}, \quad A_{\text{ling}}^{(j)} = \frac{R_{\text{ling}}^{(j)} - \mu_{\text{ling}}}{\sigma_{\text{ling}}}$$ 各维度的归一化优势再通过任务权重加权融合成综合优势 $A_{\text{sum}}^{(j)} = w_{\text{prec}}A_{\text{prec}}^{(j)} + w_{\text{rec}}A_{\text{rec}}^{(j)} + w_{\text{ling}}A_{\text{ling}}^{(j)}$，并在 Batch 级别做全局归一化后执行 PPO 风格的裁剪优化。这使得模型即便在总奖励接近的样本之间，也能精确识别出不同维度的长短板，保证了策略更新梯度的表达力。

4. 双侧长度条件奖励掩码门控机制

在图像描述 RL 中，长度惩罚具有独特的双向复杂性：若不对长度加以约束，模型容易通过无限拉长文本、枚举细节来单调提升召回率和下游问答效用；但若施加传统推理模型常用的单侧上限惩罚或线性长度惩罚，又会过早扼杀模型的探索空间，甚至促使模型通过生成极端简短的“保底”文本来规避错误。

为了兼顾训练初期的自由探索与后期的长度收敛，BalCapRL 设计了一种非线性的双侧长度条件奖励掩码门控（Length-Conditional Reward Masking）。定义预测长度与参考长度的比率为 $\rho = \ell_{\text{pred}} / \ell_{\text{ref}}$，当且仅当生成文本长度位于合理区间 $[\tau_l, \tau_u]$ 内时，完整的语言学奖励才被激活，否则直接置零： $$\tilde{R}_{\text{ling}} = \begin{cases} R_{\text{ling}}, & \text{if } \tau_l \le \rho \le \tau_u \\ 0, & \text{otherwise} \end{cases}$$ 该设计将长度惩罚软化为对语言风格奖励的条件触发，既防止了模型过短敷衍（下限 $\tau_l = 0.5$），又遏制了冗余膨胀（上限 $\tau_u = 2.0$），在不破坏梯度连续性的前提下引导模型输出结构紧凑、详略得当的高质量长描述。

损失函数 / 训练策略¶

训练基于 verl 分布式 RLHF 框架实现，采用 8 卡 B200 节点进行全参数或高效微调。每条数据生成 $G = 8$ 个 rollout 样本，学习率设为 $5 \times 10^{-6}$ 并采用余弦退火策略，训练批次大小为 256。为提高训练数值稳定性，移除了 KL 散度约束，引入 dual-clip 机制，并采用“token-sum-sequence-mean”的梯度聚合方式。多奖励超参数配置为 $w_{\text{prec}} = 0.1, w_{\text{rec}} = 0.3, w_{\text{ling}} = 0.3$，长度阈值设定为 $\tau_l = 0.5, \tau_u = 2$。训练期使用 GPT-4o-mini 作为评判器以兼顾效率与成本，同时通过评判模型消融验证了其对 GPT-5 系列强评判器的泛化稳健性。

实验关键数据¶

主实验¶

主实验在 LLaVA-1.5-7B 以及 Qwen2.5-VL 3B/7B 模型上全面展开，涵盖代表正确性-完备性的 DCScore、代表下游效用的 CaptionQA、代表人类偏好的 CapArena，以及综合三者的平衡评估指标 b-CapScore（三维调和平均值）。

模型 / 方法	DCScore ↑	CaptionQA ↑	CapArena ↑	Arena 长度	b-CapScore ↑
商业闭源基线
GPT-4o	45.8	78.7	10.3	83	56.1
Gemini-3.1-Flash	59.9	83.9	81.2	197	65.6
GPT-5.4	66.5	89.2	82.2	220	70.9
Gemini-3.1-Pro	67.8	90.0	79.8	362	73.0
LLaVA-1.5-7B
原始基线	23.0	46.4	-94.0	74	26.9
FEEDQUILL	34.5 (+11.5)	-	-	-	-
BalCapRL (本文)	36.6 (+13.6)	55.4 (+9.0)	-65.0 (+29.0)	124	43.4 (+16.5)
QwenVL2.5-3B
原始基线	43.3	70.0	-34.0	131	46.2
CapRL-3B	48.6 (+5.3)	82.6 (+12.6)	-50.6 (-16.6)	403	47.4 (+1.2)
RubiCap-3B	43.0 (-0.3)	71.1 (+1.1)	-29.5 (+4.5)	149	46.8 (+0.6)
BalCapRL-3B (本文)	50.8 (+7.5)	75.0 (+5.0)	-3.8 (+30.2)	175	49.3 (+3.1)
QwenVL2.5-7B
原始基线	46.0	74.9	13.7	136	51.1
RubiCap-7B	50.5 (+4.5)	76.0 (+1.1)	22.7 (+9.0)	176	53.9 (+2.8)
BalCapRL-7B (本文)	53.4 (+7.4)	79.1 (+4.2)	28.5 (+14.8)	192	58.7 (+7.6)

在跨 10 项通用视觉评测基准（包括 BLINK, ChartQA, DocVQA, InfoVQA, MMBench, MMStar, OCRBench, ScienceQA, SEEDBench, TextVQA）的测试中，传统 SFT 微调导致平均分从 72.55 降至 69.83，RubiCap 降至 70.73，而 BalCapRL-3B 达到 72.73 的平均分，在大幅强化描述能力的同时有效抵御了灾难性遗忘。

消融实验¶

基于 QwenVL2.5-3B 开展组件留一法（Leave-one-out）及长度惩罚形式消融（超参数 $w_{\text{prec}}=w_{\text{rec}}=w_{\text{ling}}$ 相等设定）：

模型配置 / 消融项	DCScore	CaptionQA	CapArena	Arena 长度	行为特征分析
QwenVL2.5-3B 基线	43.3	70.0	-34.0	131	原始基线能力
完整模型 (Full)	52.0	75.0	-12.0	203	各项表现均衡全面提升
去掉 c-GDPO (退化为 GRPO)	38.0	67.0	-71.8	96	优势坍缩，多目标信号湮灭，全面严重劣化
去掉精确率奖励 (偏向 Arena)	41.2	73.6	-13.8	163	丧失事实校验约束，DCScore 骤降 10.8 点
去掉召回率奖励	51.8	74.9	-19.3	152	性能依然高于基线，但覆盖率微降
去掉语言学奖励 (偏向 Utility)	53.4	76.3	-51.0	375	长度暴涨近 3 倍，牺牲流畅度迎合问答，Arena 崩塌
去掉可指向性准则	39.2	63.5	-85.7	240	模型学会用主观元评论作弊骗分，效用崩塌
去掉 GPT-5-mini 重构参考标签	46.8	73.6	-17.3	152	依赖低质原标签反而比省略召回率更差
长度惩罚机制消融
无长度惩罚	39.0	71.6	-32.5	81	模型倾向输出超短句规避幻觉错误
分段线性长度惩罚	52.7	72.7	-33.0	90	过早收敛至短文本区间，抑制了信息量
奖励掩码 ($\tau_l=0, \tau_u=3$)	39.4	71.4	-31.0	80	无下限约束无法制止短文本投机
奖励掩码 ($\tau_l=0.5, \tau_u=2$, 本文)	52.0	75.3	-19.0	203	成功维持合理篇幅与高质平衡
奖励掩码 ($\tau_l=0.5, \tau_u=5$)	54.8	75.5	-72.0	355	上限过宽导致文本失控，Arena 严重下跌

关键发现¶

c-GDPO 对多目标收敛起决定性作用：当退化为传统 GRPO 的加权求和后，模型在各维度发生断崖式下跌（DCScore 从 52.0 跌至 38.0，CapArena 从 -12.0 跌至 -71.8），验证了先求和再归一化会抹除连续奖励之间的正交权衡信息，导致策略更新方向混乱。
语言学奖励是抑制“长度膨胀”与“流畅度劣化”的刹车闸：移除语言学奖励后，文本长度暴增至 375 词，虽然因堆叠词汇在 CaptionQA 上微幅上涨，但 CapArena 评分发生崩溃（-51.0），说明纯粹追求问答效用必然催生反人类阅读直觉的“字典式堆砌”。
可指向性约束彻底封堵了“元评论作弊”漏洞：没有可指向性约束时，模型学会生成大量“引人入胜的视觉效果”等空泛废话套取评判分数，导致模型实际效用与 Arena 双双大幅退化（CapArena -85.7）。

亮点与洞察¶

将多维度评测冲突转化为正交奖励解耦优化：敏锐地揭示出主流评测（问答效用 vs 实体对齐 vs 主观偏好）之间的内在张力，避免用单一标量敷衍多目标对齐，展现了优雅的多目标强化学习建模思路。
将 GDPO 推广至连续奖励域（c-GDPO）：在理论上严格证明了加权求和归一化导致的超平面不可区分性，并将离散验证环境的解耦归一化创新性移植到具有不同量纲和尺度的连续视觉奖励中。
精巧的“软门控”长度掩码机制：区别于推理大模型常用的硬性截断或线性惩罚，通过将长度比率与语言学奖励挂钩，巧妙实现了“探索期不干涉、异常长度施加有效抑制”的非侵入式控制。

局限与展望¶

对常识性隐式视觉推理的奖励抑制：作者指出，可指向性准则高度偏向物理可见实体，这可能导致一些需要结合常识与世界知识进行合理解释的非直接可见信息（如场景氛围或社会学推断）在精确率中被错误判定为负向反馈。
对强 MLLM-as-a-Judge 的推理开销与延迟依赖：依赖大模型进行原子级断言分解与实时检验相比传统基于规则或轻量奖励模型带来了显著的训练时延和计算成本，未来需要探索蒸馏或轻量专用判别模型。

评分¶

新颖性: ⭐⭐⭐⭐☆ 理论证明了 GRPO 在连续多奖励下的塌缩缺陷，提出了连续 c-GDPO 与可指向性三维均衡奖励体系。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 种架构、3 种主流维度基准、10 项通用多模态评测及详尽的留一法与超参数消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨连贯，从痛点剖析、数学证明到算法设计步步为营，实验图表信息量极其饱满。
价值: ⭐⭐⭐⭐⭐ 为多模态长文本生成及 RL 阶段的多目标均衡对齐树立了极具参考价值的范式。