COMPASS: Grounding Composition-Intent Guidance in Unified Multimodal Models¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/5394
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/10372.pdf
领域: 多模态 VLM
关键词: 构图识别、混合专家、专家 token、结构瓶颈、参考引导生成

一句话总结¶

COMPASS 在 Ming-Lite-Uni 上加入构图专家分支和专家 token，再用灰度像素化参考与受限信息通路指导生成，在 Comp-11 上报告构图识别 mAP 90.6、生成构图一致性 0.74，但其 mAP 汇总口径和自评式构图指标仍需谨慎解读。

研究背景与动机¶

摄影构图不是“图里有什么”，而是主体如何占据画面、线条怎样组织视线，以及整体是否呈现三分法、对称或引导线等布局。 AesExpert 等美学模型可以点评构图，但通常把它当作颜色、光照等属性之一；统一多模态模型虽然同时支持看图与作图，也不必然拥有细粒度的构图识别和控制能力。已有边缘、深度或框条件能约束具体几何，却不等于把参考照片的高层构图意图迁移到新内容中。

本文关心的输入是“一张提供构图的参考图 + 一段指定新内容的文本”，目标不是编辑原有主体，也不是逐像素复制布局。困难在于构图依附于物体轮廓和位置：保留参考信息太多，模型会把参考物体一起搬过去；压缩太狠，又会失去空间组织。与此同时，大规模“同构图、不同内容”的成对监督并不容易获得，而直接微调整个统一模型也可能干扰原有多模态能力。

作者因此先把构图变成可监督的专门能力，再限制这项能力进入生成器的方式。 核心 idea：让一个受构图标签约束的专家 token 承载布局意图，通过输入侧的结构瓶颈和模型侧的信息隔离，尽量让参考图提供构图、让文本决定内容。

方法详解¶

整体框架¶

COMPASS 以 MoE 统一多模态模型 Ming-Lite-Uni 为基础，分两个阶段训练：先学习从普通图像识别和解释构图，再学习用受扰动参考引导扩散生成。理解阶段输出自然语言回答与多标签构图判断；生成阶段接受参考图和新内容提示，输出保留参考构图意图的新图像。四个设计依次是提供监督的 Comp-11 数据构建、建立表示的 C-MoE 与专家锚点、净化参考的结构瓶颈，以及将布局与文本分别送入生成器的受控条件通路。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["美学与构图图像"] --> B["Comp-11 数据构建"]
    B --> C["C-MoE 与专家锚点"]
    D["参考图像"] --> E["结构瓶颈"]
    C --> F["受控条件通路"]
    E --> F
    G["新内容文本"] --> F
    F --> H["扩散去噪与输出图像"]

图中专家锚点向生成侧提供已学习的构图能力；不是在每次生成前重新构建数据集或重新训练专家。结构瓶颈只用于生成侧参考输入，理解阶段仍从普通图像学习构图。

关键设计¶

1. Comp-11 数据构建：把笼统的美学点评变成可监督的构图判断

Comp-11 从 AVA、TAD66K、CADB 和 KU-PCP 汇集 389,031 张图像，统一为 11 类构图：三分法、居中、水平、对称、对角线、曲线、垂直、三角形、重复图案、引导线和填满画面。一张图可以同时满足多种构图，所以标签是多标签而非互斥类别；对专家也无法辨认构图的杂乱图像，允许不分配任何标签，避免把不确定性强行变成错误监督。

摄影与美术专业学生先复核已有标签，再标注新图像；同图由多位标注者独立审核，分歧通过共识投票解决。随后以专家核验标签为约束，利用 Qwen2.5-VL 扩充构图理由问答、多选辨识和判断任务，得到约 1.2M 组 VQA 数据。关键不是单纯增加图像数量，而是把“类别判断”和“为什么属于这个类别”接到统一模型的指令接口；不过自然语言理由仍有模型生成的成分，不能等同于全部由人工逐字审定。

2. C-MoE 与专家锚点：为构图分配独立容量和可直接监督的载体

在骨干的每个稀疏 FFN 层旁边，作者增加一条带独立路由器和专家 MLP 的构图 MoE 分支。运行时由任务标志选择原始分支或构图分支，不是把两个分支的结果始终叠加，也不是只往原有专家池里追加几个共享路由的专家。构图分支内部仍按路由得分选择 Top-K 专家并加权聚合；原始骨干冻结，让领域更新尽量不改动通用参数。这种隔离在机制上减少干扰，但论文主表并未给出通用能力保持率，不能把“冻结”直接当成无遗忘的实验结论。

只生成一句构图评价，仍可能靠语言先验给出似是而非的答案。因此在助手回答前缀之后、首个回答词之前插入可学习的专家 token \(\tau_c\)，取其最终隐藏状态，经轻量投影与分类头预测 11 个类别。分类采用带类别正负权重的二元交叉熵，以适应多标签和长尾分布；它与回答的下一 token 预测共同训练，让专用表示直接承受构图标签监督，而不只间接依赖文字答案。

3. 结构瓶颈：保留空间质量分布而主动损失参考外观

生成阶段不直接输入完整参考图，而是先灰度化、再像素化，得到只保留粗粒度区域分布与主要布局线索的结构代理。灰度化削弱颜色信息，像素化破坏可辨认的细节与连贯轮廓；两者的目的都是减少参考语义泄漏，而不是改善参考图的视觉质量。这使单张图像也能产生结构代理供训练使用，不必事先收集大量同构图而内容不同的图像对。

选择这种处理而非边缘图或普通模糊，是因为边缘保留了足以辨别物体的精细轮廓，模糊也可能保留可识别的整体剪影。像素化更强地打断轮廓连续性，但仍留下“主要块面在哪里”的信息。这一解释与正文定性对照相符，不过现有缓存没有给出各类瓶颈的完整数值消融，也没有像素化强度的可复现实验参数，不能宣称已经证明它在所有布局上最优。

4. 受控条件通路：让布局通过专家 token、让内容通过文本条件进入去噪

仅仅削弱参考图还不够，模型仍可能利用残留形状抄回参考内容。作者因此修改因果注意力掩码：参考图之后的文本 token 和可学习查询不能直接读取参考图 token；专家 token 是唯一可以读取参考图的后续 token。这保留了因果顺序，又把参考信息的出口压到受分类监督的构图表示上。它限制的是直接注意力通路，并不意味着数学上保证参考语义完全消失。

文本侧另有一道强化：取统一模型输出的查询隐藏状态作 query、提示文本隐藏状态作 key/value，再进行轻量交叉注意力细化。这样送往扩散生成器的查询更明确地锚定新内容文本，而不是仅靠切断参考通路被动地期待文本忠实度提高。掩码负责阻断捷径，交叉注意力负责增强所需内容，两者服务于同一个信息分工。

布局侧则将专家 token 隐藏状态投影后，加到扩散时间步嵌入上，并通过 AdaLN 式调制广播到去噪块：

\[ \tilde e_t = e_t + \psi(h_c). \]

其中 \(h_c\) 是专家 token 的隐藏状态，\(\psi\) 将其投影到条件空间，\(e_t\) 是原始时间步嵌入。这不是把构图类别名追加进文本，而是把连续的布局表示变成影响整个去噪过程的全局信号。生成训练仍保留专家 token 的构图分类监督，防止灰度像素化造成输入域变化后，锚点偏离原有构图含义。

损失函数 / 训练策略¶

阶段一联合优化自然语言的下一 token 预测损失与加权多标签分类损失，冻结骨干，仅更新 C-MoE 分支、专家 token 及轻量分类头。阶段二联合优化扩散损失与同一类构图分类损失，冻结阶段一得到的构图专家，训练生成专属参数，并重新训练专家 token 和其轻量头，以适应受扰动参考。因此“共享专家”指两个任务复用构图专家化模块；作者同时说明专家 token 可作为任务专属轻量参数打包，不能把它理解成所有阶段始终使用完全相同且冻结的一组 token 参数。

正文把损失细节、实现超参数和部分评测定义放在补充材料中，而当前本地缓存只包含正文与参考文献。这里保留训练目标与冻结范围，不补造损失权重、学习率、专家数量或训练时长；缓存中若干公式的文本抽取也有符号缺失，上式依据正文对时间调制的明确说明整理。

实验关键数据¶

主实验¶

理解任务将 Comp-11 的 20% 留作测试集；生成任务从该测试划分采样 10,000 个评测组，均匀覆盖构图类别，每组包含布局参考图与另一张内容参考图，后者的 caption 用作新内容提示。理解任务对各构图类别分别计算 AP，越高越好。下表 mAP 列逐项保留原表报告值。

模型	类型	报告 mAP ↑
AesExpert	仅理解	49.5
Qwen3-VL (8B)	仅理解	66.4
InternVL3 (8B)	仅理解	60.0
Janus-Pro (7B)	统一模型	54.2
BAGEL (7B)	统一模型	63.2
Ming-Lite-Uni (8B)	统一模型、骨干	58.2
COMPASS	统一模型	90.6

按报告值，COMPASS 比 Qwen3-VL 高 24.2 个百分点，比骨干高 32.4 个百分点。但原表 mAP 数值与所列 11 类 AP 的简单算术平均不一致，正文又未解释另一种聚合口径；因此这里将其称为“报告 mAP”，不自行修表，也不把这些差值当作已复核聚合方式后的结论。

生成指标中，FID 越低越好；CLIPScore 衡量生成图与内容文本的匹配，越高越好。 Comp-Cons. 是 COMPASS 对参考图与生成图预测的构图标签之间的一致性；专家相似度是两张图的专家 token 隐藏表示的余弦相似度，均越高越好。正文没有提供 Comp-Cons. 的具体多标签聚合公式或阈值，不能擅自将它解释为标签完全匹配率或交并比；这两项构图指标都依赖 COMPASS 自身，而非独立裁判。

模型	FID ↓	CLIPScore ↑	Comp-Cons. ↑	专家相似度 ↑
Step1X-Edit	7.5	0.72	0.60	0.51
BAGEL	7.8	0.76	0.59	0.48
Ming-Lite-Uni	9.6	0.64	0.53	0.44
COMPASS	8.2	0.83	0.74	0.62

COMPASS 在文本匹配和两项构图指标上领先，但 FID 不如 Step1X-Edit 与 BAGEL，不能概括为所有生成质量指标全面胜出。不支持灰度像素化参考的基线使用原始参考图，并加上要求继承参考构图的文字提示；这是能力适配后的比较，不是所有模型接收完全相同输入的严格控制实验。

消融实验¶

下表 P 表示理解阶段，G 表示生成阶段；生成部分按原表是逐行累积移除，不是每行独立去掉一个模块。 “—”表示原表未报告该指标，不代表零。

配置	报告 mAP ↑	FID ↓	CLIPScore ↑	Comp-Cons. ↑	专家相似度 ↑
完整模型	90.6	8.2	0.83	0.74	0.62
P：去掉 C-MoE	78.2	—	—	—	—
P：去掉专家 token	71.1	—	—	—	—
G：去掉交叉注意力	—	8.0	0.79	0.64	0.56
G：在上一行基础上再去掉掩码	—	8.6	0.72	0.59	0.48
G：在上一行基础上再去掉专家 token 条件	—	8.3	0.75	0.53	0.42

关键发现¶

理解侧去掉 C-MoE 与专家 token，报告 mAP 分别下降 12.4、19.5 个百分点，说明专用容量和直接监督的锚点都有贡献。
生成侧只去掉交叉注意力，Comp-Cons. 从 0.74 降到 0.64；继续去掉掩码与 token 条件后依次降到 0.59、0.53，符合受限布局通路的设计意图。
最后一行 CLIPScore 从 0.72 回升到 0.75，但构图指标继续变差。累积消融不能用来断言每个组件对所有指标都有独立、单调的收益。

亮点与洞察¶

把构图识别变成生成接口。 专家 token 既受多标签监督，又参与扩散全局调制，使“理解布局”和“按布局生成”通过明确表示连接，而不是只共用模型名称。
同时管理信息入口与出口。 灰度像素化降低参考中的外观信息，注意力掩码继续限制残留信息进入生成查询的捷径，比只做图像预处理更有针对性。
阻断与增强相配合。 限制参考读取的同时，用交叉注意力强化内容提示，清楚地区分了减少复制和提升文本忠实度这两个目标。

局限与展望¶

评测独立性有限。 构图一致性和表示相似度使用 COMPASS 自身作测量工具，可能偏向本模型的表示；现有结果不能替代独立标注或人工构图判断。
量化口径与复现信息不完整。 报告 mAP 与类 AP 的简单均值不符，Comp-Cons. 聚合方式以及关键训练超参数在本缓存中缺失，均需要补充材料或实现澄清。
布局保持不等于精确几何复现。 11 类标签概括的是构图风格，灰度像素化又会丢弃细节，因此实验不能直接证明精确主体坐标或细线条都能被保留。
质量与能力保持仍有边界。 FID 不是最优；冻结骨干的设计也没有在本文主表中得到通用能力保持的独立验证。正文将更多失败案例放在当前未包含的补充材料中。

评分¶

新颖性: 4/5 — 构图专家锚点与参考信息隔离的组合有明确针对性，基本模块仍来自成熟技术。
实验充分度: 3/5 — 同时覆盖理解、生成和阶段消融，但自评指标、聚合口径与缺失实现细节限制结论强度。
写作质量: 3/5 — 信息流与设计动机清楚，部分统计定义和任务间参数共享表述仍需仔细辨析。
价值: 4/5 — 为高层构图控制提供了可理解的统一模型方案，但实际收益仍应连同图像质量与评测偏差一起判断。