跳转至

RIGEL: Self-Distilled Score Adaptation for Image and Video Captioning Evaluation

会议: EMNLP 2026
论文: ACL Anthology
领域: 多模态VLM
关键词: 图像与视频字幕评估, LLM-as-a-Judge, 自蒸馏评分头, 序数评分适配, Vid-Lepus

一句话总结

针对大语言模型作为裁判(LLM-as-a-Judge)进行图文与视频字幕评估时存在的词表规模(\(|V|\sim 10^5\))与有限序数评分(\(1\sim 5\) 分)失配问题,RIGEL 提出两阶段自蒸馏评分适配框架,通过从冻结大模型自蒸馏轻量评分头并结合人类判断微调主干,显著提升了机器评估与人类判断的相关性。

研究背景与动机

自动图像与视频字幕生成(Image and Video Captioning)是多模态大模型系统性能基准评测的关键基石。然而,传统基于词汇匹配与浅层语义重叠的评估指标(如 BLEU、ROUGE、METEOR、CIDEr 及 SPICE 等)严重依赖表面词汇共现,在候选字幕语义正确但表达多样化时与人类判断的相关性极弱。近年来,基于预训练视觉语言模型的数据驱动指标(如 Polos、PAC-S++ 等)以及采用大语言模型作为裁判(LLM-as-a-Judge)的方法(如 FLEUR、G-VEval 等)逐渐成为主流,虽然大幅增强了评估结果的细粒度可解释性与对齐水平,但在推理机制层面仍受制于严重的结构性失配。

当前主流 LLM-as-a-Judge 指标的核心痛点在于:模型的标准语言建模头(LM Head)面向庞大的词表空间(\(|V|\sim 10^5\))进行自回归概率预测,而字幕质量评估实质上是一个离散、有限且具备明确次序的序数评分任务(通常仅为 1 到 5 分的离散集合 \(\mathcal{M}\),\(|\mathcal{M}|\ll |V|\))。实证分析表明,标准 LM Head 分配给非评分无关词元(Non-score tokens)的 Logits 质量与数值量级竟然与目标评分词元相当,海量任务无关词元构成了强烈的背景噪声,严重稀释并干扰了评估置信度。此外,在视频字幕评估领域,既有基准(如 VATEX-EVAL、ActivityNet-Fact)仅提供测试基准,普遍缺乏大规模、高质量的人类评分训练对,严重制约了有监督评估指标的训练与迭代。

面对词表空间冗余噪声与视频监督数据匮乏的双重瓶颈,本文切入的角度是:完全摆脱大词表 LM Head 对评分词元的噪声干扰,将评估能力显式解耦为任务专用的序数评分头,并利用大模型自身深层语义表征进行知识自蒸馏。核心 idea:提出自蒸馏评分适配框架 RIGEL,第一阶段在冻结 LLM 底座下通过推土机距离(EMD)将模型评分信号自蒸馏至轻量序数评分头以过滤词表噪声,第二阶段冻结评分头并利用人类评估数据通过 LoRA 微调模型底座;同时构建包含 1.48 万条人类评分标注的视频字幕训练数据集 Vid-Lepus。

方法详解

整体框架

RIGEL 的输入为一个三元组 \((X_{\text{vis}}, X_{\text{ref}}, x_{\text{cand}})\),其中 \(X_{\text{vis}} \in \mathbb{R}^{T\times 3\times H\times W}\) 表示包含 \(T\) 帧的视觉输入(静态图像时 \(T=1\)),\(X_{\text{ref}} = \{x_{\text{ref}}^{(i)}\}_{i=1}^N\) 表示 \(N\) 条参考字幕(在无参考设定下 \(X_{\text{ref}} = \emptyset\)),\(x_{\text{cand}}\) 为待评估的候选字幕。模型整体包含两个解耦的训练阶段:阶段 (i) 为去噪评分头自蒸馏(Denoised Head Self-Distillation),利用大模型深层隐藏表征自蒸馏出专用评分头;阶段 (ii) 为人类引导评分适配(Human-Guided Score Adaptation),利用人类真实评分微调视觉语言模型底座以对齐人类偏好。最终在推理阶段通过单次前向传播及期望平滑输出标量得分 \(\hat{y}\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入<br/>(视觉帧 Xvis, 参考字幕 Xref, 候选字幕 xcand)"] --> B["冻结 VLM 底座提取隐藏表征 h"]
    B --> C["阶段1:去噪评分头自蒸馏<br/>冻结底座,以 EMD 损失自蒸馏 5 分序数评分头 g_theta"]
    C --> D["阶段2:人类引导评分适配<br/>冻结评分头,利用真实人类评分通过 LoRA 微调底座"]
    D --> E["单次前向推理与期望平滑<br/>加权期望积分得出连续对齐得分 y_hat"]

关键设计

1. 去噪评分头自蒸馏:消除全词表噪声并保留序数拓扑流形 针对大模型标准 LM Head 预测评分时受全词表海量非评分词元(Non-score tokens)Logits 噪声干扰的问题,RIGEL 彻底摒弃了全词表解码头,引入一个轻量级两层 MLP 序数评分头 \(g_\theta: \mathbb{R}^d \to \mathbb{R}^{|\mathcal{M}|}\)(其中评分集合 \(\mathcal{M}=\{1,2,3,4,5\}\),参数量仅 2.63M)。在阶段 (i) 中,保持底层 VLM 参数与原始 LM Head 完全冻结,将输入经过底座输出的最后一层隐藏状态向量 \(h \in \mathbb{R}^d\) 送入评分头得到去噪 Logits \(\hat{z} = g_\theta(h)\)。同时从原始冻结 LM Head 的词表 Logits 中仅抽取对应 1 到 5 分词元的 Logits \(z_{\text{score}} \in \mathbb{R}^{|\mathcal{M}|}\),经温度系数 \(\tau\) 缩放构建软伪标签分布: $\(q = \text{softmax}(z_{\text{score}} / \tau)\)$ 为了在蒸馏过程中保持 1 到 5 分离散评分之间的序数距离结构(例如预测为 4 分与目标 5 分的差距远小于预测为 1 分),作者摒弃了对类别距离不敏感的 KL 散度,采用一维推土机距离(Earth Mover's Distance, EMD)作为蒸馏目标函数: $\(\mathcal{L}_{\text{P1}} = \tau \cdot \text{EMD}\left(q, \text{softmax}(\hat{z} / \tau)\right)\)$ 其中针对有序离散概率分布 \(a\) 与 \(b\),一维 EMD 定义为累积分布函数差的绝对值和: $\(\text{EMD}(a, b) = \sum_{i=1}^{K-1} \left| \sum_{j=1}^i a_j - \sum_{j=1}^i b_j \right|\)$ 该设计将大模型内隐的评估表征从嘈杂的十万级词表空间无损压缩并映射至紧凑规整的序数流形空间。

2. 人类引导评分适配:在固定几何度量下对齐表征底座 在阶段 (i) 完成评分头去噪校准后,若仅依赖伪标签蒸馏,模型依然受限于原始大模型固有的系统偏差与感知盲区。阶段 (ii) 的目标是利用真实的细粒度人类评判对多模态底座进行精细重校准。为了避免联合优化导致的表征漂移和训练不稳定,RIGEL 严格冻结已经获得良好序数度量性质的评分头参数 \(\theta^*\),仅对 VLM 底座的注意力层注入低秩自适应模块(LoRA,秩 \(r=8\),\(\alpha=16\),可训练参数仅 1.61M)。给定人工标注均值经离散化映射得到的单热真实标签 \(y_{\text{gold}} \in \{0, 1\}^{|\mathcal{M}|}\),利用标准交叉熵损失微调底座: $\(\mathcal{L}_{\text{P2}} = - \sum_{k=1}^{|\mathcal{M}|} y_{\text{gold}, k} \log p_k, \quad \text{其中 } p_k = \left[\text{softmax}(g_{\theta^*}(h))\right]_k\)$ 由于评分头被牢固锚定,LoRA 梯度会迫使多模态底座重构其最后一层多模态隐藏表征 \(h\),使其特征分布向人类评分界限紧密聚拢,从而实现高效稳定的跨模态语义对齐。

3. 连续期望平滑推理:单次前向实现高精度连续打分 在推理阶段,RIGEL 完全摆脱了昂贵的自回归逐步生成或采样过程,仅需单次前向传播(Single Forward Pass)。输入多模态数据后直接通过优化后的底座和评分头,得到离散评分概率分布 \(p = \text{softmax}(g_{\theta^*}(h))\)。最终预测分值通过期望平滑(Score Smoothing)计算: $\(\hat{y} = \sum_{k=1}^{|\mathcal{M}|} k \cdot p_k\)$ 随后将 \(\hat{y}\) 从 \([1, 5]\) 线性归一化至 \([0, 1]\) 区间。期望平滑自然打破了 5 个整数离散台阶的限制,输出了具备连续度量特性的质量分,既平滑了类别边界误差,又与人类评估细粒度排名高度贴合。

4. Vid-Lepus 数据集构建:首个大规模多维度人工标注视频字幕评估集 针对视频字幕评估领域无成规模人工评分训练集的严重空白,作者基于 VATEX 验证集筛选出 3,338 个视频切片,为每个视频提供 10 条参考字幕,并采集由不同模型生成的 5,637 条候选字幕。招募 241 名众包标注人员,依据描述性(Descriptiveness)、相关性(Relevance)和流畅度(Fluency)三大核心维度打出 1 至 5 分综合评价,累计收集 14,802 条高质量人类判断。标注协议对过快提交、恒定打分以及极差 \(\ge 3\) 的争议样本引入专家仲裁双重清洗,标注者一致性检验达到 Krippendorff's \(\alpha = 0.45\)(显著优于同类基准 CapEval1K 的 0.37 和 Spica 的 0.44),填补了视频字幕有监督评估的核心数据拼图。

损失函数 / 训练策略

阶段 (i) 评分头自蒸馏在 8 张 NVIDIA H200 SXM GPU 上运行,使用 Adam 优化器(\(\beta_1=0.9, \beta_2=0.999\)),学习率设为 \(5 \times 10^{-4}\),批大小为 64,权重衰减 0.01,训练 50 个 epoch,并基于验证集 Kendall's \(\tau_c\) 进行早停监控(连续 5 轮无提升即早停)。阶段 (ii) 底座 LoRA 微调学习率为 \(1 \times 10^{-4}\),批大小为 8,权重衰减 0.01,图像与视频域各训练 1 个 epoch。全流程累计训练时间仅约 11.6 小时,单样本平均推理时延仅 610 ms,推理算力开销约为 770 GFLOPs。

实验关键数据

主实验

论文在图像字幕(Flickr8K-Expert、Flickr8K-CF、Nebula、Composite、FOIL)以及视频字幕(VATEX-EVAL、ActivityNet-Fact、YouCook2-Fact、ActivityNet-FOIL)上进行了全面评测。在无参考(Reference-free)和有参考(Reference-based)两种设定下均显著超越了包括传统度量、CLIP/PAC-S 嵌入度量及 GPT-4o 等在内的 LLM-as-a-Judge 竞争基线。

图像字幕评估基准对比(部分核心代表基线)

方法类型 方法名称 Composite (\(\tau_b / \tau_c\)) Flickr8K-EX (\(\tau_b / \tau_c\)) Flickr8K-CF (\(\tau_b / \tau_c\)) Nebula (\(\tau_b / \tau_c\)) FOIL (1-ref Acc %)
传统匹配 BLEU 28.3 / 30.6 30.6 / 30.8 16.4 / 8.7 46.5 / 44.1 66.5
传统匹配 CIDEr 34.9 / 37.7 43.6 / 43.9 24.6 / 12.7 51.5 / 48.8 82.5
多模态嵌入 RefPAC-S++ 54.7 / 59.1 55.3 / 55.7 37.9 / 19.6 53.3 / 50.6 93.5
监督模型 Pearl 55.8 / 60.4 58.2 / 58.6 38.6 / 20.0 58.4 / 55.4 96.5
LLM-Judge G-VEval (GPT-4o) - / - 60.5 / 58.7 38.2 / 19.9 - / - 97.8
本文方法 RIGEL (Ours, 有参考) 61.2 / 66.1 58.6 / 59.0 40.4 / 20.9 60.6 / 57.5 99.1
无参考嵌入 PAC-S++ 53.9 / 58.3 54.1 / 54.5 37.0 / 19.1 50.5 / 47.9 90.2
无参考Judge FLEUR - / 63.5 - / 53.0 38.6 / - - / - 96.8
无参考Judge DISCODE (InternVL) 60.5 / 64.9 57.7 / 58.1 40.1 / 20.8 - / - 98.2
本文方法 RIGEL (Ours, 无参考) 59.5 / 64.3 59.5 / 59.9 40.4 / 20.9 58.1 / 55.1 98.7

视频字幕评估基准对比(有参考 / 无参考)

设定 方法 VATEX 1-ref (\(\tau_b / \rho\)) VATEX 9-ref (\(\tau_b / \rho\)) ActNet-Fact Para (\(r\)) ActNet-Fact Sent (\(r\)) YouCook2 Para (\(r\)) ActNet-FOIL Acc (%)
有参考 EMScore 28.6 / 37.1 36.8 / 47.2 42.7 35.2 54.3 92.4
有参考 RefPAC-S++ 32.2 / 41.5 39.8 / 50.8 - - - 93.4
有参考 FactVC - / - - / - 55.1 46.5 60.6 -
有参考 G-VEval 44.9 / - 48.1 / - 56.6 48.1 72.4 -
有参考 RIGEL (Ours) 45.6 / 57.8 50.8 / 64.0 67.8 54.0 65.4 97.1
无参考 PAC-S++ 28.1 / 36.4 28.1 / 36.4 - - - 91.0
无参考 FactVC - / - - / - 46.2 37.1 40.8 -
无参考 G-VEval 39.4 / - 39.4 / - 48.8 38.6 55.8 -
无参考 RIGEL (Ours) 42.1 / 53.7 42.1 / 53.7 63.6 51.9 55.0 96.2

消融实验

论文在无参考设定下针对训练阶段、预测头架构、主干基座模型及蒸馏目标函数进行了极其详尽的解耦消融测试。

模块阶段与组件消融(无参考设定)

配置代号 阶段1 (自蒸馏) 阶段2 (人类适配) 预测头类型 主干 Backbone Composite (\(\tau_b / \tau_c\)) Flickr8K-EX (\(\tau_b / \tau_c\)) Nebula (\(\tau_b / \tau_c\)) VATEX-Eval (\(\tau_b / \rho\))
(i) ✗ ✓ 原始 LM Head Qwen3-VL-2B 58.3 / 63.0 59.0 / 59.4 57.4 / 54.4 39.7 / 50.8
(ii) ✓ ✗ 专用评分头 Qwen3-VL-2B 53.1 / 57.4 22.3 / 22.6 52.2 / 55.1 43.2 / 54.3
(iii) ✗ (随机初始化) ✓ 专用评分头 Qwen3-VL-2B 58.0 / 62.8 58.8 / 59.2 56.3 / 53.4 35.4 / 45.4
(iv) ✓ ✓ 专用评分头 Qwen2.5-VL-3B 59.4 / 64.2 59.2 / 59.7 57.3 / 54.3 39.8 / 50.8
(v) 完整 RIGEL ✓ ✓ 专用评分头 Qwen3-VL-2B 59.5 / 64.3 59.5 / 59.9 58.1 / 55.1 42.1 / 53.7

阶段 1 蒸馏损失函数消融(KL 散度 vs. EMD)

蒸馏目标函数 Composite (\(\tau_b / \tau_c\)) Flickr8K-EX (\(\tau_b / \tau_c\)) Nebula (\(\tau_b / \tau_c\)) VATEX-Eval (\(\tau_b / \rho\))
KL 散度 59.0 / 63.8 59.3 / 59.7 57.7 / 54.7 41.9 / 53.4
EMD (推土机距离) 59.5 / 64.3 59.5 / 59.9 58.1 / 55.1 42.1 / 53.7

关键发现

  • 阶段解耦协同贡献巨大:对比配置 (i) 与 (v),即使经历阶段 2 微调,专用评分头依然全面压制 LM Head(Composite \(\tau_c\) 提升 1.3 点,VATEX \(\tau_b\) 提升 2.4 点),证实了全词表解码的冗余 logits 对模型是不可忽视的系统噪声;对比 (iii) 与 (v),未经过阶段 1 自蒸馏的随机初始化评分头在 VATEX-Eval 上表现大幅暴跌(\(\tau_b\) 暴跌 6.7 点,\(\rho\) 暴跌 8.3 点),说明大模型预训练的深层先验必须通过自蒸馏先稳定锚定到评分头;而缺少阶段 2 真实人类监督的配置 (ii) 在各图像数据集上发生崩溃式退化(Flickr8K-EX \(\tau_b\) 跌去 37.2 点),证明两阶段环环相扣、缺一不可。
  • 推土机距离的序数度量优势:在阶段 1 蒸馏目标中,一维 EMD 损失在全部基准上均优于 KL 散度。这是因为 KL 散度将 5 个分数视为无序互斥类别,无法对“预测 4 分 vs 真实 5 分”与“预测 1 分 vs 真实 5 分”施加具有几何距离惩罚差异的梯度,而 EMD 完美契合了推理期期望平滑的连续积分性质。
  • 同等底座公平对比压倒性胜出:当把 G-VEval 与 FLEUR 的底座统一替换为相同的 Qwen3-VL-2B 时,RIGEL 在 Composite 上取得 64.3(G-VEval 为 53.1,FLEUR 为 60.3),在 Flickr8K-EX 上取得 59.9(G-VEval 为 31.5,FLEUR 为 46.0),彻底证明收益来源于解耦自蒸馏架构,而非更强底座或 Prompt 工程红利。

亮点与洞察

  • 将词表失配抽象为信噪比问题:敏锐地揭示并量化了“十万量级自回归词表建模”与“五级序数分类决策”之间的内在张力,将以往 LLM-as-a-Judge 性能瓶颈具象为 Logits 质量扩散问题,设计极其针对性。
  • EMD 与期望平滑闭环统一:训练期采用一维推土机距离学习序数概率拓扑,推理期采用期望积分输出平滑连续分数,使优化目标在度量空间上完全闭环自洽。
  • 轻量即插即用、单次前向极速评估:评分头仅 2.6M,微调 LoRA 仅 1.6M,单次前向 610ms 即可完成打分,彻底摆脱了传统大模型 Judge 冗长昂贵的 CoT 生成与多步重试开销。

局限与展望

  • 阶段 1 依赖伪标签质量上限:阶段 1 的自蒸馏直接提取自冻结 VLM 的 LM Head 原始评分软标签,若底座模型本身在特定罕见领域对数字词元存在固有幻觉或偏见,评分头初始化可能继承次优先验。
  • 需要访问模型内部隐藏层:该方法要求提取大模型的隐藏层向量 \(h\),无法直接以黑盒 API 形式应用于闭源商用模型(如 GPT-4o、Claude 3.5 Sonnet 等)。
  • 细粒度局部文本判错能力仍有短板:定性误差分析显示,在 Nebula 等包含复杂街景文字招牌的场景中,模型倾向于忽视细微拼写错误(如将 "crepes" 识别为 "cremes" 依然给出 0.78 的高分,而人评仅 0.42),对视觉细粒度局部 OCR 错误惩罚不足。

相关工作与启发

  • vs G-VEval / FLEUR: 既有 LLM-as-a-Judge 方法均直接利用自回归 LM Head 提取评分词元概率或生成长文本打分,推理成本高昂且受全词表噪声污染严重;RIGEL 采用轻量独立评分头进行单次前向期望推理,效率高出数倍且准确率全面超越。
  • vs Polos / PAC-S++ / Pearl: 传统多模态有监督度量主要依赖固定的视觉语言双塔对比编码器(如 CLIP),难以捕捉复杂的组合语义逻辑与长程时间依赖;RIGEL 借助生成式多模态大模型的通用图文理解能力,并通过序数自蒸馏与人类偏好微调达到了前所未有的相关性高度。

评分

  • 新颖性: ⭐⭐⭐⭐ [准确定位 LM 词表与离散序数评分失配问题,提出端到端自蒸馏适配框架]
  • 实验充分度: ⭐⭐⭐⭐⭐ [横跨图文与视频 9 大公开基准,包含同数据、同底座、全阶段深度消融与细致误差分析]
  • 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密流利,动机推导自然,图表翔实规范]
  • 价值: ⭐⭐⭐⭐⭐ [为多模态自动评估提供了一个开箱即用、高效准确且低成本的评测基准模型与数据集]