跳转至

OSCAR: Optimization-Steered Agentic Planning for Composed Image Retrieval

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/tengwang0318/OSCAR
领域: 信息检索/RAG
关键词: 组合图像检索, 混合整数规划, 智能体规划, 布尔集合运算, 离线在线范式

一句话总结

提出 OSCAR 框架,首创将组合图像检索(CIR)中的智能体规划由启发式试错转化为两阶段混合整数规划(MIP)轨迹优化问题,离线构建包含正向并集与负向交集的黄金轨迹库,在线通过上下文示范引导视觉语言模型(VLM)单次推理生成近最优工具调用与集合运算,仅用 10% 训练数据即在各大基准上全面超越现有 SOTA。

研究背景与动机

组合图像检索(Composed Image Retrieval, CIR)旨在依据参考图像和修改文本指令,从庞大图像库中精准检索出满足多模态约束的目标图像。随着真实搜索场景日趋复杂,用户意图涵盖了高层语义风格迁移、细粒度视觉属性替换以及显式元素增删等异构约束。现有 CIR 方案主要遵循统一嵌入检索(Unified Embedding Retrieval)范式,依赖单一多模态编码器或微调模型将图文组合压缩至连续隐空间进行最近邻搜索。然而,真实数据中用户意图颗粒度跨度极大,跨模态表征极易陷入“单模型近视”(single-model myopia)瓶颈——针对自然场景优化的表征模型在时尚属性检索中往往失效,而专用领域模型又缺乏通用推理泛化力,单一连续空间在数学上难以严格兼顾显式包含与排他性约束。

为打破表征瓶颈,近年来兴起了启发式智能体检索(Heuristic Agentic Retrieval)路线,利用 LLM 或 VLM 驱动多工具协同(如图像描述、改写、多检索器等),采用 ReAct 风格的试错循环逐步推导检索结果。然而,这类方法普遍受困于“次优编排”(suboptimal orchestration):智能体完全依赖局部贪婪决策决定下一步工具调用,缺乏对候选空间的全局优化目标,导致工具调用冗余严重、执行逻辑错乱,且在处理“包含/排除”等集合论约束时极不稳定。更严重的是,多轮交互带来了巨大的推理计算开销,却无法提供全局最优检索路径的数学保证。

面对“单一嵌入模型表征近视”与“启发式智能体编排次优”的双重困境,本文的切入视角是:若将检索器的每一次具体调用视为离散决策单元,在已知标注训练样本上,理想的工具组合与候选过滤在本质上等价于一种集合覆盖(Set Cover)问题变体。核心 idea:将智能体 CIR 从启发式搜索重构为离散混合整数规划(MIP)全局轨迹优化问题,通过离线“高召回筛选 + 高精度布尔集合合成”求解黄金规划轨迹库,并在在线推理时作为上下文示范精准引导 VLM 完成确定性的单阶段高效检索规划。

方法详解

整体框架

OSCAR 提出了独特的离线优化与在线引导双阶段范式(Offline-Online Paradigm)。在离线阶段,针对训练集样本,系统首先通过 VLM 改写生成具有正负极性的查询,并在不同 top-\(k\) 截断下将异构检索模型实例化为海量“原子检索”(Atomic Retrieval)动作空间;随后执行两阶段 MIP 优化:第一阶段“面向召回的选择 MIP”筛选出最大化真实目标覆盖的正向原子检索子集,第二阶段“面向精度的合成 MIP”引入布尔集合运算(正向并集与保守负向交集后做差集)剔除无关噪声,最终解得的最优工具调用轨迹被存入“黄金库”(Golden Library)。在在线推理阶段,对于无真值标注的测试查询,系统通过跨模态问题上下文编码从黄金库中检索最相似的案例作为上下文示范(In-Context Demonstrations),引导 VLM 规划器(Planner)单次生成包含工具调用、参数与集合操作的完整执行计划,最后由 VLM 验证器(Verifier)完成重排。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询 (参考图 + 修改文本)"] --> B["原子检索空间构建<br/>多工具 × 查询改写 × 极性 (+/-) × Top-k 离散化"]
    B --> C["面向召回的选择 MIP<br/>最大化正样本覆盖与工具多样性"]
    C --> D["面向精度的合成 MIP<br/>正向并集 + 负向保守交集 + 差集过滤"]
    D --> E["黄金轨迹库构建<br/>存储离线全局最优执行路径与上下文表征"]
    E --> F["优化引导的在线推理<br/>相似轨迹示范引导 VLM 规划器单次生成与验证"]
    F --> G["最终重排检索结果"]

关键设计

1. 原子检索空间构建:将多模态检索解耦为离散执行单元

针对传统智能体缺乏细粒度离散规划动作空间的问题,OSCAR 将用户复杂的图文组合意图解构为标准化的原子检索(Atomic Retrieval)元组 \(r = (f, \hat{q}, p, k)\)。其中,\(f \in \mathcal{T}\) 表示具体的检索工具(涵盖多模态联合嵌入模型与基于图文描述的文本检索模型),\(\hat{q} = \{q_{img}, \hat{q}_{txt}\}\) 是由 VLM 对原始修改指令解构重写出的视觉属性与语义约束,\(p \in \{+, -\}\) 为明确的极性标签(正向表示必须包含的属性,负向表示必须排除的属性),\(k \in \mathcal{K} = \{k_1, k_2, \dots, k_{max}\}\) 是离散化的 Top-\(k\) 截断阈值(实验中以步长 5 在 5 到 50 之间切分)。对于每个样本,笛卡尔积衍生出包含 1,182 个原子检索的候选动作集 \(\mathcal{R}\)。在实际实现中,针对同一工具与查询仅执行一次最大深度 \(k_{max}\) 检索,子截断通过切片复用,彻底消除了冗余推理开销。

2. 面向召回的选择 MIP:全局剪枝构建高覆盖候选池

海量原子检索带来了巨大的组合爆炸风险,无法直接进行精细布尔合成。第一阶段通过面向召回的混合整数规划进行粗筛。定义决策变量 \(x_r \in \{0, 1\}\) 表示是否选中正向原子检索 \(r \in \mathcal{R}^+\);状态变量 \(c_i \in \{0, 1\}\) 表示候选图像 \(i\) 是否被至少一个选中的检索覆盖;\(t_f \in \{0, 1\}\) 表示工具 \(f\) 是否被激活。将原子检索按相同工具、查询与极性聚类为族 \(\mathcal{F}\),施加单选约束 \(\sum_{r \in \mathcal{F}} x_r \le 1\) 以满足单调性下的截断互斥。目标函数权衡正样本召回、负样本惩罚与工具多样性:

\[ \max_{\{x_r\}} w_R \sum_{i \in \mathcal{I}^+} \frac{c_i}{|\mathcal{I}^+|} - w_P \sum_{i \in \mathcal{I}^-} \frac{c_i}{|\mathcal{I}^-|} + \lambda_{div} \sum_{f \in \mathcal{T}} t_f \]

其中 \(\lambda_{div}\) 惩罚单一工具依赖,防止智能体陷入单一模型偏好。此阶段求解输出最优正向子集 \(\mathcal{R}^{+*}\),诱导出高召回候选空间 \(\mathcal{U} = \bigcup_{r \in \mathcal{R}^{+*}} \mathcal{S}_r\)。

3. 面向精度的合成 MIP:保守布尔集合论消除无关噪声

候选池 \(\mathcal{U}\) 在保证极高召回的同时混杂了大量无关负样本,传统向量相似度难以完成精确排除。OSCAR 引入严格的集合论结构化表达式:

\[ \mathcal{S}_{final} = \left( \bigcup_{r \in \mathcal{R}^{+**}} \mathcal{S}_r \right) \Bigg\backslash \left( \bigcap_{r \in \mathcal{R}^{-*}} \mathcal{S}_r \right) \]

关键创新在于负向子句采用保守交集(Conservative Intersection):仅当所有选中的负向工具一致判定某图像包含无关属性时才执行差集剔除,有效避免因单一工具幻觉造成的误删。在 MIP 规划中,定义 \(u_i \in \{0, 1\}\) 为正向并集覆盖,\(v_i \in \{0, 1\}\) 为负向交集覆盖,\(z_i = 1 \iff u_i = 1 \land v_i = 0\)。模型求解下式以最大化最终保留的真值并抑制假阳性:

\[ \max_{\{x_r\}} \sum_{i \in \mathcal{U} \cap \mathcal{I}^+} z_i - \lambda_{reg} \sum_{i \in \mathcal{I}^-} z_i \quad \text{s.t.} \quad \sum_{r \in \mathcal{R}^{+*}} x_r \ge 1 \]

求解所得的 \((\mathcal{R}^{+**}, \mathcal{R}^{-*})\) 即构成了数学证明下的最优轨迹。

4. 优化引导的在线推理:离线规划经验的少样本逻辑泛化

在线测试阶段真值未知,无法运行 MIP 求解器。OSCAR 构建跨模态黄金库:利用 Qwen3-Embedding-8B 对由 Qwen3-VL-32B 生成的参考图描述与修改文本拼接向量化,以该表征建立相似度索引,值为对应的两阶段 MIP 最优规划解。测试时检索最相似的 Top-\(N\) 条轨迹作为 VLM 规划器的上下文示范。示范传递的并非具体答案,而是高层元规划策略(如识别排除意图、合理分配正负极性工具、校准 \(k\) 阈值)。规划器单次前向输出规范的工具调用序列与 set_operation 命令,最终由 Qwen3-VL-32B 验证器基于对数几率二值相关性评分完成精细重排:

\[ s_u = \sigma(z_{yes} - z_{no}) = \frac{1}{1 + \exp(z_{no} - z_{yes})} \]

一个完整示例

以 FashionIQ 数据集上的查询“紫色短款印花连衣裙,带黑色腰带,前身带扣排扣,移除多余树叶背景”为例: 1. 意图分解与检索生成:规划器根据黄金库示范识别出属性变更,生成两个正向查询:“带黑腰带的紫色花卉短裙”(调用 QQMM_embed_v2,截断 50;调用 Qwen3_Embed_8B 描述检索,截断 50),以及一个纯负向排除查询:“地面干枯落叶”(调用 ops_embedding,截断 10)。 2. 结构化集合运算:执行 set_operation,先将两个正向检索结果取并集获得候选集(涵盖目标款式),再对负向检索结果取交集确定确定性背景噪声,最后执行差集运算。 3. 验证与重排:原先混入候选池但包含大量落叶背景的相似连衣裙被差集精准剔除,候选集从数十张急剧收敛,最终由验证器依据细粒度视觉对比将完全符合所有条件的真实目标图像排在第 1 位。

实验关键数据

主实验

在三个标准公开 CIR 基准(CIRCO、CIRR、FashionIQ)上的实验全面超越各类基准。下表列出 CIRCO 与 CIRR 上的综合检索表现(主实验对比):

数据集 / 场景 指标 OSCAR (本文) 最佳基线 (模型名) 相对提升
CIRCO (零样本多真值) mAP@5 56.54 45.92 (QQMM-embed-v2) +23.13%
CIRCO (零样本多真值) mAP@10 58.53 47.13 (QQMM-embed-v2) +24.19%
CIRCO (零样本多真值) mAP@25 61.92 50.39 (QQMM-embed-v2) +22.88%
CIRCO (零样本多真值) mAP@50 62.67 51.45 (QQMM-embed-v2) +21.81%
CIRR (真实场景单真值) Recall@1 51.18 43.13 (XR / Agentic) +18.67%
CIRR (真实场景单真值) Recall@5 79.50 74.02 (FiRE / CIR专精) +7.40%
CIRR (真实场景单真值) Recall@10 87.45 83.09 (XR / Agentic) +5.25%
CIRR (真实场景单真值) Recall@50 96.56 96.77 (RzenEmbed-v2-7B) -0.22%
FashionIQ (服装多品类均值) Recall@10 43.73 43.19 (RzenEmbed-v2-7B) +1.25%
FashionIQ (服装多品类均值) Recall@50 67.97 64.84 (RzenEmbed-v2-7B) +4.82%

消融实验

表 3 验证了黄金轨迹示范与布尔集合运算在 OSCAR 中的核心作用(在 CIRCO、CIRR 与 FashionIQ 均值上的表现):

配置 CIRCO m@25 CIRCO m@50 CIRR R@10 CIRR R@50 FIQ.Avg R@10 FIQ.Avg R@50 说明
OSCAR (Full model) 61.92 62.67 87.45 96.56 43.73 67.97 完整优化引导模型
w/o Demo. (无黄金示范) 59.72 59.84 75.01 82.02 46.57 61.62 移除黄金库引导,规划质量严重下滑
w/o Set.Diff. (无差集过滤) 59.54 59.62 87.32 93.80 46.46 62.08 仅保留正向并集,假阳性噪声累积
w/o Set.Diff. & Demo. (纯多路召回) 58.63 58.66 39.11 54.53 49.44 53.96 退化为朴素多通道检索,CIRR R@10 暴跌 48.34%

关键发现

  • 负向排除策略的保守性至关重要:在负向过滤策略对比中(表 7),负向交集(Negative Intersection)在 CIRCO 上达到 61.92(m@25),显著优于激进的负向多数表决(Negative Majority, 59.13)与负向并集(Negative Union, 57.26)。这是由于检索工具本身存在噪声,激进排除极易将真值目标提前过滤且无法在重排阶段找回。
  • 规划逻辑具备极高样本效率与跨域泛化能力:黄金库仅采样了 10% 的训练数据即可取得卓越效果;在 OOD 跨数据集迁移实验中(表 14),使用 CIRR 构建的黄金库在 CIRCO 上测试取得 85.25 的 R@10(绝对提升 +5.50),接近 CIRCO 本地构建的 85.50,证明 VLM 学到的是元规划逻辑而非特定样本记忆。
  • 单次规划推理开销显著低于传统多轮交互:相比 AutoCIR(CIRCO 33.9s,CIRR 29.4s)与 XR(CIRCO 36.5s,CIRR 43.0s),OSCAR 采用单阶段优化引导,单样本总时延降至 23.8s 与 24.1s,同时准确率大幅领先。

亮点与洞察

  • 运筹学 MIP 与多模态智能体规划的创新结合:首次将智能体工具规划由不可控的 ReAct 启发式黑盒搜索提炼为数学上有边界、可证明全局最优的两阶段整数规划问题,不仅免除了人工示范标注的高昂成本,还为解决智能体路径冗余提供了全新的优化范式。
  • 严谨的布尔集合论排除机制:精准识别出单一向量空间无法数学化表达显式排他性逻辑的缺陷,利用正向并集与负向保守交集的代数结构,为多模态检索赋予了确定性的增量合成与精细过滤能力。
  • 单次前向元逻辑泛化(Meta-Planning Transfer):利用少量离线最优解引导大模型在单次调用中生成多工具协同蓝图,巧妙兼顾了全局最优性与在线时延开销,可无缝迁移至多跳问答与复杂 API 编排等广泛任务。

局限与展望

  • 作者承认的局限:OSCAR 的建模高度依赖于检索任务的离散化表达与布尔集合代数结构;对于无法自然拆解为原子动作或非集合论规划的复杂开放域任务,该框架的动作空间与目标函数需重新定义。
  • 自身分析的局限:离线原子检索空间构建阶段涉及上千次模型前向,数据预处理吞吐受限于计算资源;此外,在线阶段性能仍部分依赖于主干 VLM 本身的指令遵循与工具调用能力,在小型轻量端侧模型上可能存在调用格式漂移。
  • 未来改进方向:可进一步探索在线强化学习(如结合 DPO 或 PPO)直接将 MIP 最优解内化为 VLM 的参数化权重,从而脱离外置示范库;同时可将两阶段布尔合成推广至更通用的析取范式(DNF)软约束松弛优化中。

相关工作与启发

  • vs 统一嵌入检索(Unified Embedding Retrieval,如 QQMM-embed, RzenEmbed, FiRE):传统方法试图将复合条件映射至单一向量空间,不可避免地产生“单模型近视”并难以处理显式排除约束;OSCAR 将单一检索器降维为原子工具,通过多工具互补与布尔差集运算实现了超越单一空间表征能力的精细控制。
  • vs 启发式智能体检索(Heuristic Agentic Retrieval,如 AutoCIR, MRA-CIR, XR):现有智能体依赖多轮 ReAct 试错式交互,存在规划次优、调用冗余与高时延缺陷;OSCAR 采用“离线 MIP 求解黄金轨迹 + 在线单轮少样本引导”,在保证全局路径最优的同时显著降低了在线计算开销。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将组合图像检索转化为混合整数规划(MIP)轨迹优化问题,兼具理论严谨性与方法创新。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖三大公开展会数据集、工业真实图库,包含详尽的消融、跨域 OOD、工具扩展性与时延分析。
  • 写作质量: ⭐⭐⭐⭐⭐ 数学建模严谨清晰,问题动机与架构演化层层递进,消极实验与理论完备性证明完备。
  • 价值: ⭐⭐⭐⭐⭐ 成功打通运筹优化与具身智能体推理,为多工具复杂任务规划确立了高效落地的高分标杆。