The Telephone Game: Evaluating Semantic Drift in Unified Models¶

会议: ECCV 2026
论文: ECCV 官方页面
代码: https://github.com/mollahsabbir/telephone-game-semantic-drift
领域: 图像生成
关键词: 统一多模态模型、语义漂移、循环评测、跨模态一致性、组合语义

一句话总结¶

本文用交替执行图像理解与图像生成的“传话游戏”评测统一模型，以嵌入语义保持和对象约束保持两类指标揭示单次评测遗漏的累积错误，其中 BAGEL 在七个系统的全量比较中取得最高的 MCDavg（0.4414）和 MGG（78.2）。

研究背景与动机¶

统一多模态模型让同一系统既能看图写描述，也能按文字生成图像，但两项能力通常仍分开验收。FID 关注图像分布，GenEval 检查一次生成是否满足对象与关系约束，MME、MMBench 等则考察理解能力。这些成绩不能直接回答一个更实际的问题：模型刚从图中读出的内容，能否再由它自己准确画出来？论文用 BAGEL 对棋局的理解与生成不一致说明，能够识别某种语义，不代表能够在另一模态中实现这种语义。

这个缺口在多步工作流里会被放大。一次描述漏掉数量，一次生成改变颜色，后续步骤面对的就不再是原始场景，而是已经被改写的输入；新结果依然可能自然、清晰，却越来越偏离用户最初要求。因此，本文不是再造一个生成器，而是把理解和生成接成无人工干预的反馈循环，观察对象、属性、位置与数量何时丢失。作者同时从文字和图像出发，避免只测试一种起点就把偏向某个模态的表现当成整体可靠性。

核心难点是区分“看起来仍像同一主题”和“关键约束确实还在”：嵌入可能认为两幅街景很相似，却漏掉特定对象消失或数量错误。核心 idea：让模型反复将自己的输出转换到另一模态，始终回到原始输入衡量语义保持，并用整体嵌入相似度与对象级约束检查互相补充。

方法详解¶

整体框架¶

Semantic Drift Protocol（SDP）把被测模型视为两个可调用功能：图像到文本（I2T）负责描述，文本到图像（T2I）负责合成。给定图文对，分别建立文字起始链与图像起始链，每次只把当前输出送进下一次转换；原始输入保留给评测器作参照，而不是在每一步重新提供给模型纠错。

输出不是训练后的新模型，而是一组随转换步骤变化的语义保持曲线和汇总分数。循环轨迹进入两条并行评分路径：MCD 衡量整体内容保留，MGG 检查可检测的对象约束；另外用单步人工评测交叉验证自动分数是否对应人感知到的忠实度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["原始图文对或<br/>GenEval 提示"] --> Chain["双起点循环协议"]
    Chain -->|当前输出作为下一步输入| Chain
    Chain --> Retention["多空间语义保持<br/>MCD"]
    Chain --> Objects["多代对象约束<br/>MGG"]
    Retention --> Human["单步人工交叉核验"]
    Objects --> Human
    Input -->|独立生成单步结果| Human
    Human --> Output["保持曲线、模型排序<br/>与失效模式"]

图中的 MCD、MGG 是并行分析，不是先算 MCD 再修改输出去算 MGG；人工核验也使用独立的单步结果，不对循环中的输出进行修复。全量 MCD 与 MGG 使用不同输入集合，不能把它们理解为同一批图像上的同一种准确率。

关键设计¶

1. 双起点循环协议：让两个方向的误差在同一条轨迹上暴露

文字起始链依次经历“原始文字、生成图像、重新描述、再次生成”；图像起始链则反过来，先描述原图再按描述画图。一次 generation step 仅指一次 I2T 或 T2I 转换，因此主实验的 \(G=20\) 是 20 次单向转换，对应 10 个完整往返，而不是 20 个往返。文字起始链在奇数步骤产生图像、偶数步骤产生文字，图像起始链正好相反。

这种设计检验的是连续自组合时的保持能力，不只是第一张生成图是否好看。比如文字起始链中的后续图像都要与最初提示比较，而不能只与上一轮描述比较：上一轮描述本身可能已经把“四个时钟”改成了“一组时钟”，局部图文匹配良好仍会掩盖全局偏离。双起点还使评测同时覆盖原文到后文、原文到后图、原图到后图、原图到后文四种参照关系。

2. 多空间语义保持 MCD：用原始输入锚定整条轨迹

对每一种参照关系，先在每个可评估步骤上计算各样本输出与初始输入的嵌入相似度，并在数据集内平均，得到随步骤变化的曲线；再对这条曲线上的生成位置取平均，得到该关系的 MCD。四种关系的 MCD 再平均为 MCDavg。这里“累计”不是将相邻输出之间的距离连加，也不是只取最后一步：一个模型早早出错、之后长期维持错误场景，仍会在对原始输入的持续比较中得到低分。

文字到文字使用 MPNet，图像到图像使用 DINO，两个跨模态方向使用 CLIP，目的是不把结论绑在同一个表示空间上。需要特别注意，虽然全名是 Mean Cumulative Drift，实际汇总的是相似度，所以数值越高表示语义保持越好、漂移越少。不同空间的得分尺度和敏感性并不相同，MCDavg 是综合指标而非对象正确率。缓存中公式排版损坏，以上按第 3.1 节文字定义解释，不将损坏公式猜补为作者的精确记号。

3. 多代对象约束 MGG：防止整体相似掩盖具体条件丢失

MGG 将 GenEval 从单次图像生成扩展到循环中多个图像生成位置。作者采用 BLIP3-o 发布资源中的改写版 GenEval 提示，其较长描述更接近循环生成的 caption 风格，并使用 OWLv2 检测器检查对象及其约束。任务包含单对象、双对象、计数、颜色、位置和属性绑定；每个图像生成位置先计算各任务准确率，再平均得到该位置的整体 GenEval 分数，最后跨图像生成位置平均得到 MGG。

评价仍围绕初始任务要求进行，因此即使模型的后续描述不再提到原本颜色或位置，约束丢失也不会变成“新的正确答案”。MGG 越高越好，能补充嵌入对细节不敏感的问题，但它不直接衡量照片真实感，也受检测器可靠性影响。原文将检测器人工审计放在补充材料，本次缓存只有主文，不能据此补写检测准确率或审计样本量。

4. 单步人工交叉核验：分别判断看懂与画对是否一致

人工实验从 MCD 评测集合中抽取 100 个文字起始与 100 个图像起始样例，共 200 个。对原始配对数据分别执行一次 I2T 和一次 T2I，让人判断生成描述是否忠于原图、生成图像是否忠于原文。6 名标注者参与，每个样例由两人独立评价；模型身份隐藏，展示顺序随机。每个输出既有 Good、Medium、Poor 三级忠实度标签，也有模型间排序。

排序用于检查自动指标是否符合人类偏好，三级标签则用于统计跨模态不对称：例如理解被评为 Good，而生成被评为 Poor。作者保留个体标注以分析一致性，而不是先把每个样例的两人意见合并；表中的平均排名则是在样例层面汇总。这项实验是单步交叉核验，不是人类逐轮标注全部 20 步轨迹，也不能把“两个方向同为 Poor”解释成高质量的语义保持。

一个完整示例¶

图 1 的初始提示要求一个行李箱位于一根香蕉左侧。第一张图可以满足条件，但后续图像和描述相互反馈，既可能逐渐弱化行李箱，又可能让香蕉数量增长。图注指出，行李箱在 \(I^{(5)}\) 之后完全消失，而文字 \(T^{(10)}\) 已提到 14 根香蕉；这些上标是转换步骤，不是完整循环次数。

若只检查后面的图是否符合后面的描述，错误场景可能得到认可。SDP 则始终保留最初的行李箱、单根香蕉和左右关系作为判断背景：MCD 观察整体语义偏离，MGG 对适用的对象、计数与关系任务检查具体约束。这个例子解释了为什么“不停生成合理输出”与“保持最初语义”是两回事；它是原文的定性案例，不代表全部模型都在相同步骤失效。

损失函数 / 训练策略¶

本文不提出训练损失或微调方案，而是在已有模型上执行推理评测。主文固定最长链为 20 次转换，因为最弱系统 VILA-U 在图 6 的第 19 步附近已经达到接近零的对象级分数；作者希望在明显分离模型表现的同时，避免继续延长已失效轨迹导致大量饱和结果。

这个长度是针对被测系统的经验选择，不是所有模型都适用的理论阈值。BAGEL 的优势被作者联系到模型规模、统一架构和交错训练数据，但本文没有通过控制变量训练实验区分这些因素的因果贡献。

实验关键数据¶

主实验¶

MCD 使用 Nocaps+Docci400，即 NoCaps 与 DOCCI 各 200 对图文，共 400 对；前者侧重新对象，后者强调细粒度属性、关系、数量等。MGG 使用改写版 GenEval 提示。以下为原文表 1，MCDavg 与 MGG 均越高越好，MGG 沿用原表的百分制显示。

模型	MCDavg	MGG
BAGEL	0.4414	78.2
BLIP3-o	0.3984	62.2
Show-o	0.3691	57.8
Janus-7B	0.3778	52.5
LLaVA+SDXL	0.3298	32.3
Janus-1.3B	0.3470	27.0
VILA-U	0.2829	19.7

BAGEL 两项均领先；Show-o 的 MCDavg 低于 Janus-7B，但 MGG 更高，说明整体相似与具体约束保持不完全同序。LLaVA+SDXL 的 MGG 高于 Janus-1.3B，而 MCDavg 更低，也说明能维持部分可检测对象不等于保持完整场景语义。

消融实验¶

本文对应的是诊断子集分析，不是删除模型组件后的训练消融。原文为每个诊断子集使用 80 个样例；常见对象来自 GenEval-R 单对象提示，新对象来自 NoCaps。简单 MGG 任务涉及单对象与颜色，复杂任务涉及多对象、计数、位置与属性绑定。以下选录表 2 的三个系统，避免把这些子集值与全量表 1 混为同一测试分布。

模型	常见对象 MCD	新对象 MCD	简单任务 MGG	复杂任务 MGG
BAGEL	0.3178	0.2969	92.4	75.9
BLIP3-o	0.3293	0.2897	87.2	49.5
Show-o	0.3152	0.2853	89.8	43.4

按原表相减，BAGEL 的简单到复杂任务差距为 16.5 个百分点，BLIP3-o 为 37.7，Show-o 为 46.4。这里是不同难度子集之间的差距，不是同一批样例随时间下降的幅度；它支持组合约束更脆弱的诊断，而不是单独证明某个模块导致漂移。

关键发现¶

图 5 总结六类失效：位置不一致、对象误识别、风格变化、数量不一致、对象幻觉、颜色不一致。后续输出常会巩固已发生的关键错误，主文据此强调灾难性丢失而非始终平滑下降。
图 8 中 MCDavg 与生成、理解人工排名的 Pearson 相关系数分别为 -0.818、-0.833。负号源于排名越低越好，而自动分数越高越好。
MGG 与生成排名的相关系数为 -0.821，单次 GenEval 为 -0.753；在这七个系统上，多代评测与人工排序更一致，但不能据此声称所有模型总体上都有同等相关性。
表 3 中 BAGEL 的理解平均排名为 2.65、生成平均排名为 1.63；图 9 仍记录 7% 的“理解 Good、生成 Poor”和 5.9% 的反向不一致，领先不意味着已经消除跨模态差距。

亮点与洞察¶

评测对象从单个功能转为功能的连续组合。这个改变不要求新训练，却能暴露两个单项成绩之间被忽略的接口错误。
原始输入是持续不变的参照。若只看相邻步骤，一条已经收敛到错误场景的链可能看起来很稳定，而 SDP 能区分稳定与忠实。
整体嵌入和对象约束提供不同粒度的证据。对需要准确保留数量或空间关系的应用，应同时查看两者，而不能用视觉主题相似替代约束正确。

局限与展望¶

MCD 依赖表示模型，MGG 依赖检测器；两种指标互补并不消除共同盲点。主文提及表示替换与检测审计，但本次缓存不含这些补充实验的详细结果。
主排名覆盖七个开放系统，MCD 全集为 400 对，人工评测为 200 个样例。模型级相关分析样本较少，且人工实验是单步评测，不能等同于对整条漂移轨迹的直接人类验证。
循环描述形成信息瓶颈，部分细节丢失可能来自自然语言概括与生成随机性，不全是“没有理解”。笔记认为可进一步控制描述长度、采样参数和多个随机种子，拆分压缩损失与跨模态实现错误。
20 步长度和轨迹平均会压缩首次失效时间的信息。作者将生存式失效分析放在补充材料；实际应用还可同时报告首次关键约束丢失时间，以及能否在没有原始输入提示的情况下恢复。

评分¶

新颖性: 4/5。把重复自组合中的语义保持系统化，贡献主要在评测问题与协议而非网络架构。
实验充分度: 4/5。包含七系统比较、两类指标、难度诊断与人工评测，但主文不足以独立核验全部补充结论。
写作质量: 4/5。案例和协议直观，MCD 命名与实际分数方向需要特别解释。
价值: 4/5。为多步统一模型工作流提供有用的可靠性检查，但不替代单步质量与真实任务评测。