EPIC: Efficient Predicate-Guided Inference-Time Control for Compositional Text-to-Image Generation¶

会议: NeurIPS 2026
arXiv: 2605.11722
OpenReview: https://openreview.net/forum?id=ViGYqNSZKu
代码: https://github.com/sunung/epic
领域: 图像生成
关键词: 文生图, 推理期控制, 组合式生成, 谓词导向搜索, 靶向编辑

一句话总结¶

EPIC 将组合式文生图的推理期优化建模为谓词导向搜索，将文本提示词一次性解析为固定的类型化视觉程序，并基于局部感知证据驱动靶向编辑与重采样，在显著降低模型调用与 token 开销的同时大幅提升复杂提示词对齐率。

研究背景与动机¶

基于扩散模型与流匹配（Flow-matching）的现代文生图（T2I）生成器虽能合成逼真画面，但在面对包含多实体、精细数量、属性绑定与复杂空间关系的组合式提示词时仍极易失效。生成的图像往往看似视觉质量优异，却在细节上缺失关键物体、混淆属性绑定关系或违背指定的空间排列。通过更大规模预训练、数据清洗或偏好后训练虽然能在一定程度上缓解组合对齐鸿沟，但代价高昂且难以直接作用于闭源黑盒生成器；因此，保持基模权重固定、在测试期分配额外算力以提升提示词遵循度的推理期扩展（Inference-time Scaling）成为解决组合生成瓶颈的核心路径。

现有的推理期探索策略在反馈机制上面临关键权衡：一类方法采用标量相似度模型（如 CLIP、SigLIP 或统一 VLM 打分器）进行 Best-of-N 候选排序或噪声轨迹搜索，然而标量打分将多元异构的视觉要求高度压缩为单一数值，既无法指出导致失败的具体子项，也无法指导后续生成应该执行何种修正；另一类方法引入多模态大语言模型（MLLM）作为智能体控制器，通过多轮视觉批评、报告生成或提示词重写实现动态规划，但其控制状态严重依赖演化的自然语言文本，随着迭代深入极易发生判断漂移、要求遗漏或过度改写，从而脱离最初的用户指令。

针对上述矛盾，本文提出提示词的结构化解耦不仅应用于下游评估，更应作为推理期搜索中不可动摇的稳定控制状态。核心 idea：将组合式文生图推理期精化建模为谓词导向搜索（EPIC），将原始提示词一次性编译为包含实体变量与类型化视觉谓词的固定程序，利用针对性视觉证据对候选图像进行局部谓词验证，并将未满足谓词精准路由为局部靶向编辑或全局重采样。

方法详解¶

整体框架¶

EPIC 是一个完全免训练（Training-free）的推理期闭环控制框架。其基本逻辑是将提示词的约束语义与采样过程中的探索多样性彻底解耦：在推理初始阶段，系统仅调用一次语言模型将用户提示词编译并正规化为固定的视觉程序 $\Phi$，并在整个推理生命周期中保持不变，作为评判所有生成与编辑候选的唯一语义契约；同时离线预生成一组语义保持的提示词重写池用于探索。在每一轮精化迭代中，生成或编辑产出的候选图像通过模块化感知工具与专用核验器计算离散的谓词满足状态向量，当且仅当所有谓词全部满足时终止并输出；否则，依据阻碍通过的谓词类型与依赖关系触发保护性靶向编辑或基于重写提示词的新样本重采样。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词 p 与预算 B"] --> B["视觉程序构建<br/>实体变量与类型化谓词集合"]
    B --> C["初次采样生成候选图像"]
    C --> D["模块化谓词验证<br/>计算三态向量与阻碍集合"]
    D -->|所有谓词判定为 satisfied| E["接受并输出最终图像"]
    D -->|存在未满足谓词| F["依赖感知精化决策<br/>路由至编辑或重采样"]
    F -->|局部属性/计数修复| G["指令驱动靶向编辑"]
    F -->|布局错位/关系冲突| H["语义保持重写重采样"]
    G --> D
    H --> D

关键设计¶

1. 视觉程序构建：一次性编译类型化语义契约

以往智能体系统在每一轮对话中动态更新批评清单，极易引入错误累积和幻觉漂移。EPIC 彻底放弃动态文本状态，在推理初始阶段将用户输入提示词 $p$ 通过语义解析与正规化流水线，一次性编译为由实体变量集 $\mathcal{O}$ 与类型化视觉谓词集 $\mathcal{P}$ 构成的固定视觉程序： $$\Phi = \mathrm{Normalize}(\mathrm{Parser}(p)) = (\mathcal{O}, \mathcal{P}), \quad \mathcal{P} = \{\phi_k\}_{k=1}^K$$ 谓词类型严格涵盖存在性与基数约束（如至少包含某个物体或精确数量）、属性绑定（颜色、材质、形状、动作与姿态）、空间关系（方位、重叠、包含与深度支撑）、全局场景环境以及否定排除条件。正规化阶段先执行确定性规则检查以剔除非语义噪音、去除重复实体并规范属性名称；一旦检测到潜在的类型不一致或语法警告，才调用一次 MLLM 审核模块修复程序，从而构建出不可变的高鲁棒性验证目标。

2. 模块化谓词验证：候选专属证据的多维度三态判定

针对标量评价函数缺乏可归因反馈的弊端，EPIC 为每个谓词 $\phi_k$ 配置专门的局部验证器，直接在候选图像 $I_t$ 上提取感知证据并输出三态满足变量： $$s_{t,k} = V_{\phi_k}(I_t) \in \{\mathrm{satisfied}, \mathrm{uncertain}, \mathrm{violated}\}$$ 其中 $\mathrm{uncertain}$ 为证据不充分或遮挡模糊时的弃权状态。为降低开销，系统构建了可共享的多模态感知缓存：目标存在性与数量通过文本提示的分割模型（如 SAM3）提取实例掩码与边界框统计；空间关系利用目标主客体在几何轴向与垂直重叠度上的距离投影，结合单目深度估计（如 MiDaS-DPT）判定前后深度关系；属性绑定则针对分割出的局部目标区域通过视觉-语言模型（如 SigLIP2）进行图文匹配打分。候选图像被接受的充分必要条件是所有谓词均被严密核验通过： $$A_{\mathrm{prog}}(I_t, \Phi) = \prod_{\phi_k \in \mathcal{P}} \mathbf{1}[s_{t,k} = \mathrm{satisfied}]$$ 针对长期悬挂的属性或场景级别 $\mathrm{uncertain}$ 状态，框架设计了受控的有限置信覆盖机制，仅在局部证据充分且经 MLLM 终审确认时允许覆盖，保证了高精度门控下的合理收敛。

3. 依赖感知精化决策：阻碍集驱动的靶向编辑与重采样路由

当候选图像未能通过验收时，所有未满足的谓词共同构成阻碍集合 $\mathcal{F}_t = \{\phi_k \in \mathcal{P} \mid s_{t,k} \neq \mathrm{satisfied}\}$。EPIC 的控制策略 $\pi(\mathcal{F}_t, S_t, H_t)$ 结合历史编辑轨迹 $H_t$，精确判断当前缺陷的局部性与可修复度： - 靶向编辑：当错误高度局域化（如物体已稳定存在但颜色/纹理不符，或已检测到主体轮廓仅需增删少数个体）时，策略激活图像条件下的定向编辑模块，注入包含保留子句（Preservation clauses）的结构化指令，在严格锁定背景与其它实体的前提下实施局部修复。 - 全局重采样：当阻碍项包含不可调和的宏观空间拓扑冲突（如左右颠倒、深度层级错置）或关键实体完全缺失时，编辑往往会导致画面扭曲，策略果断转向重采样分支，从预设的语义保持重写池 $\mathcal{R}$ 中调取新提示词与种子，重启一轮全局生成。若算力预算耗尽仍未达成全要素满足，算法依据部分满足覆盖率与谓词优先级加权，从历史候选池中回退最优子图作为降级输出。

一个完整示例¶

假设用户提示词为："A bicycle to the left of a rabbit, and five brown turtles"（自行车在兔子左侧，且有五只棕色乌龟）。 1. 程序构建：解析为实体集合与对应谓词集：$\mathcal{O} = \{\text{bicycle}, \text{rabbit}, \text{turtle}\}$；谓词包含 $\phi_1:\mathrm{count}(\text{bicycle}) \ge 1$、$\phi_2:\mathrm{count}(\text{rabbit}) \ge 1$、$\phi_3:\mathrm{rel\_left}(\text{bicycle}, \text{rabbit})$、$\phi_4:\mathrm{count}(\text{turtle}) = 5$、$\phi_5:\mathrm{attr\_color}(\text{turtle}, \text{brown})$。同时生成 8 条保持原意的细节重写提示词。 2. Round 1 (生成与检验)：初始采样生成图像 $I_1$。SAM3 检测出 1 辆自行车、1 只兔子与 3 只棕色乌龟；空间距离算子确认自行车位于兔子左侧（$s_{1,3} = \mathrm{satisfied}$）。此时阻碍集为 $\mathcal{F}_1 = \{\phi_4\}$（乌龟数量不足，缺 2 只）。 3. Round 2 (靶向编辑)：策略判定乌龟实体已在画面中稳定存在，满足局部编辑条件，触发添加指令："Add 2 more turtles so that there are exactly five turtles. Keep the existing subjects, framing, and lighting consistent." 经编辑生成图像 $I_2$。 4. 重新核验：SAM3 在 $I_2$ 中分割出 5 只乌龟实例，SigLIP2 确认新增乌龟均为棕色，且原有的自行车与兔子空间拓扑未受损。所有 5 个谓词均满足（$s_{2,k} = \mathrm{satisfied}, \forall k$），提前终止并成功输出。

实验关键数据¶

主实验¶

在评测组合式文本对齐的代表性基准 GenEval2（包含 800 个不同原子复杂度的组合提示词）上，EPIC 与当前的标量选择基准及多模态智能体方法进行了受控对比。所有测试均基于相同的图像生成与编辑基模 FLUX.2-Klein-9B，MLLM 统一采用 Qwen3-VL-32B（确定性解码 $T=0$），最大图像模型执行预算固定为 $B=32$。

方法	提示词级准确率 (%) ↑	原子级准确率 (%) ↑	生图/编辑执行次数 (Exec.) ↓	MLLM 调用次数 (Call) ↓	MLLM Token 消耗 (kTok) ↓	增益/模型执行 (ΔP/Exec.) ↑
FLUX.2-Klein-9B (单次生成)	34.16	79.06	1.0	–	–	–
BoN + NVILA (标量重排)	41.60	82.38	32.0	–	–	0.23
T2I-Copilot (多智能体生成)	36.56	81.19	1.24	4.48	15.2	1.94
RAISE (动态清单控制)	52.23	86.28	19.8	9.12	49.4	0.91
EPIC (本文方法)	71.46	90.25	13.6	2.53	9.2	2.74

消融实验¶

为了验证固定谓词验证与自适应控制策略的有效性，作者在 GenEval2 基准上对 EPIC 的核心组件进行了系统性消融。

配置	提示词准确率 (%) ↑	较单次增益 ΔP ↑	原子准确率 (%) ↑	生图/编辑执行 (Exec.) ↓	MLLM 调用次数 ↓	Token 消耗 (kTok) ↓	说明
EPIC (完整方案)	71.46	+37.30	90.25	13.6	2.53	9.2	完整模块化谓词与策略
w/o 模块化核验器 (全用 MLLM 核验)	63.73	+29.57	87.74	5.75	7.94	21.0	准确率暴跌，调用成本剧增
w/o 依赖感知策略 (随机选择动作)	65.89	+31.73	89.16	16.5	3.76	12.2	无法针对性路由，开销显著上升
w/o 重采样机制 (纯编辑修复)	63.98	+29.82	87.35	17.0	4.12	13.4	严重受制于初始不良拓扑
w/o 靶向编辑机制 (纯重采样)	64.03	+29.87	89.15	18.9	2.23	8.4	局部小错误难以通过盲抽解决
w/o 提示词重写 (单提示词重采样)	59.71	+25.55	86.66	17.8	1.47	7.2	探索多样性骤降，掉点达 11.75%

关键发现¶

复杂组合提示词增益尤为显著：在原子复杂度（Atomicity）达到 8-10 的高维约束测试中，基模单次生成的提示词完全匹配率接近崩溃（< 15%），而 EPIC 依然维持了超过 55% 的通过率，显著拉开了与 RAISE 及 BoN 方案的差距。
模块化轻量感知完胜端到端 MLLM 判别：用通用 MLLM 替代专用模块化验证器（SAM3 + 几何深度计算）后，不仅 MLLM token 开销暴增 128%，且由于 MLLM 固有的计数幻觉与空间坐标盲区，导致提示词匹配率剧烈下降 7.73 个百分点。
计算效率的绝对优势：相比同为智能体迭代系统的前序 SOTA 方法 RAISE，EPIC 在取得 +19.23 个百分点显著对齐提升的同时，节省了 31% 的生图模型调用、72% 的 MLLM 交互轮次以及 81% 的 token 计算预算，达成了最优的增益-算力权衡。

亮点与洞察¶

将评估解耦工具升格为推理期控制状态：过去工作仅将视觉程序和细粒度原子检查作为事后 evaluation 的标尺，EPIC 极富洞察力地将其逆向用于驱动推理期闭环，确立了稳定不可变的语义契约。
混合感知管道的降本增效设计：用确定性的几何/深度启发式与轻量图文对齐模型承载 90% 以上的谓词验证，仅在极少数模糊或高阶语义判定中引入 MLLM，在保证判断精确度的同时极大压降了 token 开销。
局部编辑与全局探索的双轨协同：揭示了空间拓扑与属性绑定在生成控制上的本质差异——空间关系错位必须全局重采样打散，而属性/数量缺陷应局部保底编辑，这一路由准则对智能体视觉系统的动作设计极具启发。

局限与展望¶

受制于初始解析程序质量：不可变程序的设定是一把双刃剑，若提示词解析阶段出现漏解或语义偏差，后续所有的迭代将围绕错误的契约进行无效优化，单靠预算堆叠无法纠偏。
复杂抽象概念的谓词化瓶颈：当前预定义的类型化谓词覆盖范围集中于物理世界中的可量化视觉要素（数量、颜色、相对方位），对于艺术风格隐喻、复杂常识交互及开放域叙事性要求的表达与验证仍存在边界。
依赖基座编辑器的保真能力：尽管在指令中加入了严格的保护性子句，但在高频连续编辑时，扩散模型的潜在重编码漂移仍可能导致画面全局风格退化或未受保护区域发生微小畸变。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将一次性编译的不可变类型化视觉程序确立为推理期文生图控制状态，设计精巧完备。
实验充分度: ⭐⭐⭐⭐⭐ 在 GenEval2 完整 800 条基准上执行了极其严密的多维度消融、成本开销拆解及预算扫描。
写作质量: ⭐⭐⭐⭐⭐ 论述清晰严密，从控制论与语义契约角度切入，方法机制与权衡分析透彻。
价值: ⭐⭐⭐⭐⭐ 为大模型时代的推理期扩展（Test-Time Scaling）在文生图领域的落地指明了兼顾效果与成本的实用路径。