SpecV: Specification Verification for Robust Unified Multimodal Evaluation¶

会议: ECCV 2026
论文: ECCV 2026
代码: https://github.com/yuyouxixi/SpecV
领域: 多模态 VLM
关键词: 统一多模态模型, 评测漂移, 规约验证, 多模型集成过滤, 统一评测基准

一句话总结¶

针对统一多模态模型（UMM）在开放式评测中普遍依赖 VLM 整体打分导致评测漂移（evaluation drift）的严重痛点，SpecV 将开放式评测解构为可独立二值判定的原子规约验证协议（SVP），配合多模型集成与细化管线（SER），构建了包含 1,200 个实例和 17,604 条规约的 SpecV-Bench，大幅提升了跨裁判一致性与评测复现性。

研究背景与动机¶

统一多模态模型（UMM）正迅速将以往割裂的视觉理解、文本到图像生成、图像编辑以及图文交错生成等能力整合到单一端到端架构中，涌现出如 Nano Banana、Bagel、Emu 3.5 等代表性系统。然而，这种多模态能力的深度融合不仅没有简化模型评测，反而带来了空前的评测危机：在 UMM 的核心任务中，绝大多数任务本质上都是开放式的，既没有唯一的确定性标准答案，也极难通过传统基于参考样本的判别式指标（如多选准确率、FID 或 CLIPScore）进行细粒度语义评测。为了应对开放式生成的语义灵活性，学术界逐渐转向“VLM 充当裁判”（VLM-as-a-Judge）机制，由前沿大模型对输出质量直接给出标量评分。

然而，现行的 VLM 整体打分（holistic scoring）机制将多维度的复杂输出强行压缩成一个标量，将“哪些属性重要”与“不同属性占多少权重”两个截然不同的职责完全混杂在模型内部。这导致评测结果极易受提示词微调、裁判模型幻觉以及隐式权重偏好的干扰。更严重的是，当评测裁判模型发生版本迭代、系统提示词更新或更换供应商时，其内部隐式偏好发生改变，导致评测基准上的模型相对排名大幅颠倒——这一现象被称为“评测漂移”（evaluation drift）。这种因评测工具自身变动而非被测模型能力改变所导致的排名波动，动摇了多模态统一基准的公信力与实验结论的严谨性。

针对这一核心矛盾，单纯在打分提示词上修修补补无法消除隐式加权自由度带来的结构性不稳定性，必须将评估维度显式解耦，把评测判定收敛至无歧义的细粒度验证。本文的核心 idea 是：将 UMM 开放式质量评估重构为显式的细粒度原子规约验证（Specification Verification），在评测前将用户指令解构为客观独立的二值核验项，把主观整体标量打分彻底替换为离散可加和的规约满足率，从根本上锁死隐式权重漂移的空间。

方法详解¶

整体框架¶

SpecV 评测体系由两大互补的核心模块构成：规约验证协议（Specification Verification Protocol, SVP） 与 规约集成与细化管线（Specification Ensemble and Refinement, SER）。对于任意测试样本 \(x = (t, I)\)（包含文本指令 \(t\) 和可选参考图像集合 \(I\)）以及待测模型输出 \(y\)，评测不再让裁判模型给出全局标量分数，而是预先构建离散的原子规约集合 \(\mathcal{S}_x = \{s_1, s_2, \dots, s_K\}\)。在执行阶段，裁判模型仅需对输出是否满足单条规约给出二值判定 \(v_k \in \{0, 1\}\)，最终以规约满足率作为客观分值。为了防止单一模型生成规约时带入其特有的系统性盲区，离线规约构建通过 SER 管线调用多个来自不同厂商的前沿大模型进行多轮聚合、语义去重、交叉质量过滤与人工核验，形成高确定性、高覆盖度的评测基准 SpecV-Bench。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    subgraph SER["规约集成与细化 (SER 管线)"]
        direction TB
        A["多源模型独立候选生成<br/>Gemini 3 Pro / GPT 5.2 / Claude Opus 4.5"] --> B["语义去重与统一表述<br/>合并近义项并标记矛盾"]
        B --> C["跨模型质量交叉评分过滤<br/>三模型评分均值 >= 8 且经人工把关"]
    end
    Input["测试输入 x = (t, I)<br/>与被测模型输出 y"] --> Eval["规约验证执行"]
    C -->|离线生成规约集 S_x| Eval
    Eval --> D["规约验证协议 (SVP 评分)<br/>针对单项规约执行二值核验 v_k ∈ {0, 1}"]
    D --> Output["聚合规约满足率输出<br/>Score = (1/K) Σ v_k"]

关键设计¶

1. 规约验证协议（SVP）：将主观整体评分转化为原子二值核验 传统整体评分 \(Score_{\mathrm{H}}(y; x) = \mathcal{J}(x, y, p_{\mathrm{H}}) \in [0, N]\) 要求裁判模型同时负责决定关注维度与内部加权，导致两款裁判模型即使视觉感知一致，也会因内部权重差异给出截然相反的模型排序。SVP 彻底将“测什么”与“怎么测”解耦：在调用裁判之前，测试实例已被形式化为 \(K\) 条明确的自然语言规约 \(\mathcal{S}_x = \{s_1, \dots, s_K\}\)，每条规约严格遵循原子性（仅考察单一维度）、客观性（关注客观事实而非主观美学）和确定性（不同裁判结论高度一致）。对于模型输出 \(y\)，裁判仅执行二值分类：

\[v_k = \mathcal{J}(x, y, s_k) \in \{0, 1\}\]

最终的实例评测得分定义为客观的规约满足率：

\[\mathrm{Score}_{\mathrm{SVP}}(y; x) = \frac{1}{K} \sum_{k=1}^K v_k \in [0, 1]\]

该设计的精妙之处在于严格限制了单次判定的自由度：任何单条规约判定的分歧对总分的影响被严格限制在 \(1/K\) 上限以内，跨裁判的分歧在平均聚合过程中被大幅衰减，从数学机制上杜绝了评测漂移。

2. 规约集成与细化（SER）：多模型协作消除生成盲区 高质量的规约集要求在覆盖所有显著维度的同时保持可验证性。若由单一模型生成规约，会受其特有归纳偏置影响产生系统性盲区（例如部分模型偏向颜色风格，部分模型偏向空间几何或文字渲染）。SER 管线设计为三个自动化阶段加一个人工把关阶段： - 阶段一（多模型独立生成）：采用来自不同机构的三大前沿模型（Gemini 3 Pro、GPT 5.2、Claude Opus 4.5）在相同提示词下独立为实例 \(x\) 生成候选集 \(\mathcal{S}^{(i)} = \mathrm{Generate}(\mathcal{M}_i, x)\)，最大化分布多样性； - 阶段二（语义整合与去重）：利用独立大模型将多源集合的并集 \(\bigcup_{i=1}^L \mathcal{S}^{(i)}\) 中表达同一语义诉求的表述去重并规约至规范化形式，得到整合集 \(\mathcal{S}_{\mathrm{merged}}\)，消除提示词冗余； - 阶段三（跨模型质量过滤）：各模型独立对每条合并规约的相关性、清晰度与二值核验适应性进行 0 到 10 分的打分，仅保留交叉评分均值达到阈值 \(\tau\) 的条目：

\[\mathcal{S}_q = \left\{ s \in \mathcal{S}_{\mathrm{merged}} \;\middle|\; \frac{1}{L} \sum_{i=1}^L \mathrm{Score}(\mathcal{M}_i, s) \geq \tau \right\}, \quad \tau = 8\]

最后经由受训人工标注者进行审查，剔除不可验证或语义冗余项，兼顾了规约生成的丰富度与判定准确性。

3. SpecV-Bench：细粒度多维度约束递进基准 基于上述规约驱动理念，构建了覆盖 UMM 六大核心能力维度的基准数据集 SpecV-Bench，共 1,200 个高质量测试实例。不同于以往简单拼凑的基准，SpecV-Bench 设立了 28 个细分子赛道（涵盖文生图的组合、文字渲染、世界知识、结构与风格；图像编辑的属性、场景、局部、推理、空间与文字等），平均每个测试实例配置 14.67 条原子规约，全集共计 17,604 条二值核验规约。各赛道设计呈现明确的约束复杂度递进，能够精准定位模型是在几何关系、属性绑定还是文本交错生成上发生能力崩溃。

一个完整示例¶

以 SpecV-Bench 中的多对一生成（Many-to-One）任务为例，用户输入第一张单人休闲照和第二张商务西装照，提示词为：“我想用这张照片做简历正装证件照，请将第一张图中的休闲 T 恤替换为第二张图中的深蓝色西装”。 - 传统整体打分会直接让裁判输出 1-10 分的整体质量分，不同裁判对于“人物面部保真”与“西装纹理逼真”赋予不同权重，评分高度离散； - SVP 则由 SER 提前提取出原子规约集： 1. \(s_1\): 原图中男子的面部五官与发型是否完整保留且无扭曲畸变？ 2. \(s_2\): 原图的休闲 T 恤是否被替换为了参考图中的深蓝色西装外套、白色衬衫与勃艮第红领带？ 3. \(s_3\): 原图灰色具有纹理的背景是否被完整保留？ - 裁判模型只需针对生成图像分别验证 \(v_1, v_2, v_3 \in \{0, 1\}\)。若模型面部保真（\(v_1=1\)）、西装替换正确（\(v_2=1\)）但背景被篡改为纯白背景（\(v_3=0\)），最终得分严格判定为 \(2/3 = 66.7\%\)，不仅评测稳定，且直接指出背景保真这一明确缺陷。

实验关键数据¶

主实验¶

在 SpecV-Bench 的 1,200 个测试样本上，作者系统评估了 8 款统一多模态模型（UMM）、5 款前沿视觉语言模型（VLM，仅测理解）以及 6 款专用生成/编辑模型。在统一 UMM 模型中，Nano Banana 2 与 Nano Banana Pro 占据领先地位；而不同架构的跨任务能力权衡差异极大。

模型类型	模型	理解 (Und.)	文生图 (T2I)	图像编辑 (Edit)	多对一 (M2O)	交错生成 (Intl.)	图像思考 (Think)	平均分 (Avg.)
统一多模态模型	Nano Banana 2	83.25	90.45	90.34	76.33	80.27	69.97	81.77
统一多模态模型	Nano Banana Pro	83.25	90.23	88.42	74.31	74.63	61.81	78.78
统一多模态模型	Nano Banana	78.21	68.03	74.95	68.74	82.04	51.00	70.50
统一多模态模型	Qwen-Image-2	71.00	75.28	73.30	67.73	74.56	32.47	65.72
统一多模态模型	Qwen-Image	57.00	64.60	69.16	60.82	34.03	19.84	50.91
统一多模态模型	Bagel w. CoT	69.00	26.39	56.88	45.96	45.06	18.34	43.61
统一多模态模型	Bagel w/o CoT	63.75	28.09	54.45	47.35	35.90	16.81	41.06
统一多模态模型	Emu 3.5	45.99	67.14	64.53	66.53	62.23	14.18	53.43
专用视觉语言模型	Gemini 3.1 Pro	89.00	-	-	-	-	-	-
专用视觉语言模型	Gemini 3 Pro	88.25	-	-	-	-	-	-
专用视觉语言模型	GPT 5.2	87.29	-	-	-	-	-	-
专用视觉语言模型	Qwen 3.5 Plus	85.14	-	-	-	-	-	-
专用视觉语言模型	Claude Opus 4.5	78.25	-	-	-	-	-	-
专用生成/编辑模型	Seedream 5.0	-	81.30	85.14	73.10	-	-	-
专用生成/编辑模型	GPT Image 1.5	-	80.24	81.14	77.64	-	-	-
专用生成/编辑模型	GPT Image 1	-	66.79	68.64	73.23	-	-	-

在裁判模型的稳定性验证中，使用 5 个主流裁判（GPT 4.1、Gemini 2.5 Flash Lite、Gemini 2.5 Flash、Gemini 3 Flash、Qwen 3.5 Plus）对比 SVP 与整体打分（Holistic）在同机构内（Intra-family）与跨机构（Cross-family）下的排名相关性（Kendall's \(\tau\) 与 Spearman's \(\rho\)）： - 同机构稳定性：Holistic 平均 \(\tau = 0.805, \rho = 0.920\)；SVP 提升至 \(\tau = 0.867, \rho = 0.948\)； - 跨机构稳定性：Holistic 平均 \(\tau = 0.856, \rho = 0.942\)；SVP 提升至 \(\tau = 0.902, \rho = 0.965\)。在最易引发歧义的图像编辑任务中，SVP 将跨机构 \(\tau\) 从 0.758 骤增至 0.903。

消融实验¶

通过对 SER 管线各阶段的消融，验证了单模型生成与无过滤对与人类评估一致性（Kendall's \(\tau\) / Spearman's \(\rho\)）的影响：

规约生成配置	理解 \(\tau\) / \(\rho\)	文生图 \(\tau\) / \(\rho\)	图像编辑 \(\tau\) / \(\rho\)	多对一 \(\tau\) / \(\rho\)	图文交错 \(\tau\) / \(\rho\)	图像思考 \(\tau\) / \(\rho\)	全任务平均 \(\tau\) / \(\rho\)	说明
仅 Claude Opus 4.5	0.347 / 0.385	0.561 / 0.634	0.379 / 0.435	0.312 / 0.380	0.547 / 0.661	0.684 / 0.766	0.471 / 0.543	T2I 表现优异但多对一极差
仅 GPT 5.2	0.368 / 0.402	0.480 / 0.560	0.386 / 0.441	0.290 / 0.344	0.516 / 0.620	0.637 / 0.733	0.446 / 0.517	理解强但生成任务偏弱
仅 Gemini 3 Pro	0.319 / 0.345	0.556 / 0.620	0.453 / 0.492	0.228 / 0.260	0.468 / 0.564	0.627 / 0.704	0.442 / 0.497	编辑表现领先但泛化不均
去掉质量过滤 (w/o filtering)	0.318 / 0.352	0.541 / 0.599	0.375 / 0.435	0.308 / 0.374	0.470 / 0.574	0.655 / 0.750	0.444 / 0.514	引入模糊噪点致一致性下跌
完整 SER 管线	0.329 / 0.360	0.516 / 0.585	0.408 / 0.455	0.442 / 0.494	0.548 / 0.640	0.716 / 0.794	0.493 / 0.555	跨任务平衡且人类相关性最高

关键发现¶

不同任务能力的结构性权衡：统一多模态模型的整合代价在不同架构间表现迥异。例如 Bagel 在视觉理解上能达到 69.00 分，但在文生图任务上只有 26.39 分；相反，Emu 3.5 展现出生图强（67.14）而理解弱（45.99）的反向失衡。仅有 Nano Banana 2 展现出了较为均衡的高水平表现（生图 90.45，理解 83.25）。
复合约束与细粒度瓶颈：在文本到图像生成中，文字渲染（Text Rendering）依然是所有模型的致命死穴（最高仅 83.19，弱势模型甚至低于 30）；在图像编辑中，基于高级语义推理的编辑任务远比局部属性显式增删更具挑战性。
集成与质量过滤不可或缺：若仅进行多模型规约合并而不做交叉评分过滤（w/o filtering），其人类评估相关性（平均 \(\tau = 0.444\)）甚至显著低于单独使用 Claude 的规约（0.471），证明盲目合并会引入低质模糊规约；唯有通过严苛的跨模型打分筛选才能形成最稳健的评测集合。

亮点与洞察¶

将连续不可控的整体打分拆解为可离散证明的原子规约：传统 VLM 裁判把多维度的要求揉成一个 0-10 的模糊标量，SVP 将其拆分成 \(K\) 个彼此独立的布尔二值命题，将隐式加权变为显式等权或明确规约，巧妙地从根源上消除了裁判在多维度间权衡漂移的自由度。
评测工具自身版本漂移的敏锐洞察：作者指出“同家族内部升级引起的排名漂移甚至大于跨厂商基线差异”，这一实证发现揭露了当前大模型学术界评测基准脆弱不可复现的致命痛点。
跨任务可迁移的诊断协议：该规约验证机制不仅适用于开放式多模态模型评测，还可以无缝迁移到 Agent 工具调用验证、长文本推理事实性核查、代码生成功能点覆盖度测试等各类缺乏唯一标注的开放式生成评估场景。

局限与展望¶

规约权重的等权假设限制：当前 SVP 将所有规约简单等权求和，然而在复杂现实任务中，某些致命违规（如关键主体身份彻底扭曲）与次要细节缺失（如远处背景光晕色差）的重要性并非均等，未来可引入基于约束层级或语义重要性的自适应权重机制。
离线规约构建成本高昂：SER 管线依赖 3 个前沿顶级大模型独立生成、再经由模型打分与人工校验，虽然单次生成可永久复用，但对新增动态测试集或低成本快速基准扩充构成了较高的工程门槛。
二值核验在渐进度量上的不足：对于光影真实感、风格契合度等连续平滑过渡的属性，将其强行划分为布尔二值可能导致边界实例处裁判判定的轻微抖动。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次明确定义并系统性解决了统一多模态评测中的“评测漂移”问题，提出优雅的规约解构体系]
实验充分度: ⭐⭐⭐⭐⭐ [横跨 19 款模型、5 款跨系列裁判模型、6 个核心任务与 28 个子赛道，提供详尽的稳定性度量与消融实验]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密、形式化表述清晰透彻，图表呈现扎实]
价值: ⭐⭐⭐⭐⭐ [为快速发展的统一多模态模型评测确立了高度可复现、抗漂移的标准化评测范式]