What if Agents Could Imagine? Reinforcing Open-Vocabulary HOI Comprehension through Generation¶

会议: NeurIPS 2026
arXiv: 2602.11499
OpenReview: https://openreview.net/forum?id=GHb5Ym3aMu
论文: https://arxiv.org/abs/2602.11499
领域: 人体理解
关键词: 开放词表人物交互检测, 多模态大语言模型, 智能体强化学习, 认知映射, 生成式世界模型

一句话总结¶

提出 ImagineAgent 智能体框架，构建包含 6K 条高质量思维链的 hicodet-6K 数据集完成监督微调，结合多模态工具库（检索、裁剪与生成式补全/跨视角想象）与带复合奖励的 GRPO 强化学习，显著增强开放词表人物交互（OV-HOI）理解能力。

研究背景与动机¶

开放词表人物交互检测（Open-Vocabulary Human-Object Interaction, OV-HOI）旨在检测图像中的人与物体边界框并识别出 <人, 物体, 动作> 三元组语义，对具身机器人操作、辅助交互系统及智能视频监控具有关键支撑作用。随着多模态大语言模型（MLLM，如 Qwen-VL 系列）的发展，模型展现出极强的通用跨模态常识，但在直接应用于细粒度、长尾且开放词表的 HOI 任务时仍面临严峻挑战。现有零样本或开放词表检测器大多严重依赖在封闭目标检测集（如 COCO）上预训练的静态骨干，不仅存在数据先验偏置，而且缺乏在未见交互组合下的动态推理与验证能力。

深入剖析现有 MLLM 在 OV-HOI 中的失效案例，主要存在三重认知与感知瓶颈：一是感知与认知脱节（Perceptual-Cognitive Gap），模型能分别检测出各个人体和物体实例，却无法建立物理与语义连贯的交互映射，出现孤立感知或错误配对；二是跨模态幻觉（Cross-Modal Hallucination），受限于文本先验的主导，模型常脑补出看似合理但视觉上无依据的交互动作；三是遮挡引发的视觉歧义（Occlusion-induced Ambiguity），真实场景中由于有限视角与局部遮挡，交互关键区域（如手部捏握、脚下踩踏）常缺失直接视觉证据。

针对上述瓶颈，单纯扩增参数量无法根治遮挡与实体配对混淆问题。本文认为突破的关键在于赋予模型类似人类的认知映射、按需工具调用以及想象重建能力。核心 idea：将 OV-HOI 解构为两阶段认知演进过程，构建 hicodet-6K 思维链进行冷启动监督微调，引入涵盖检索、高分辨率裁剪与扩散生成式视角变换的多模态工具库，并利用群组相对策略优化（GRPO）结合兼顾三元组 F1 与工具效率的复合奖励进行强化学习对齐。

方法详解¶

整体框架¶

ImagineAgent 将 OV-HOI 拆解为「感知与工具选择」和「认知与工具增强」两个紧密协同的推理阶段。在第一阶段，智能体定位图像中的所有人物和物体候选框，建立初始交互对假设；针对存在歧义或视觉证据不全的候选对，策略网络自主决定调用工具库中的特定工具（如检索动作定义、裁剪高分辨率局部、或利用生成模型外绘及变换视角）。在第二阶段，智能体将获取的文本常识或增强视觉特征注入上下文，对候选交互进行显式认知推理，最终输出高置信度的三元组集合。

整体推理与训练优化流程如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与查询"] --> B["阶段1：感知与工具选择<br/>检测人/物候选并按需派发工具"]
    B --> C["阶段2：认知与工具增强<br/>多模态证据注入并判定三元组"]
    C --> D["三元组输出"]
    D --> E["复合奖励反馈<br/>Hungarian 匹配 F1 + 工具有效性"]
    E -->|GRPO 轨迹更新| B

关键设计¶

1. hicodet-6K 结构化思维链数据集构建：解决感知与认知脱节

针对标准 MLLM 缺乏显式交互推理路径的问题，作者设计了两轮交互式提示框架以生成高保真结构化思维链。利用 Qwen3-VL-32B 对 HICO-DET 训练集进行多轮采样展开（每张图像 16 条独立 rollout），强制模型执行：(1) 人与物体实例定位及工具决策；(2) 候选实体全排列穷举配对；(3) 结合视觉证据与动作约束字典打分验证动作可行性；(4) 汇总输出交互三元组。随后引入 Qwen-VL-Max 作为专家判别器，剔除包含事实错误、逻辑矛盾或幻觉的链条，最终筛选出 6,000 条高质量 CoT 样本用于监督微调（SFT）冷启动，剩余 8,000 条通过验证的成功轨迹作为 RL 阶段的探索基础。

2. 混合多模态工具库：针对性化解跨模态幻觉与有限视角遮挡

为使智能体具备主动消除歧义的能力，框架集成了针对性多模态工具箱 $\mathcal{T}$： - 细粒度图像裁剪（$\mathcal{T}_c$）：针对小目标或微小手部动作，提取局部高分辨率图像，供模型聚焦细节微观线索。 - 在线 RAG 语义检索（$\mathcal{T}_s, \mathcal{T}_a$）：接入 Qwen API 动态检索场景描述与动作精确语义定义，将开放词表下的模糊动作锚定到外部常识约束中，有效抑制文本先验过度主导产生的跨模态幻觉。 - 生成式世界模型外绘与视角转换（$\mathcal{T}_o, \mathcal{T}_v$）：引入基于扩散先验的多模态统一模型 BAGEL，当物体遭遇严重遮挡或处在极端观察盲区时，智能体自主调用模型重建外延上下文或合成变换视角的新图像 $I_{\text{aug}}$，使模型能够在“想象”出的合理多视角中完成物理可行性推断。

3. 复合奖励驱动的 GRPO 强化学习：平衡检测精度与工具调用效率

为解决直接纯 RL 训练出现的工具调用退化问题，模型先经 hicodet-6K 进行 SFT 策略预热，随后采用群组相对策略优化（GRPO）进行轨迹级探索优化。针对每个输入采样 $G$ 条 rollout 轨迹，构造三维复合奖励函数 $R(\tau)$： $$R(\tau) = R_{\text{hoi}} + R_{\text{format}}(\tau) + \mathbb{I}_{R_{\text{hoi}}(\tau)>0} \cdot R_{\text{tool}}(\tau)$$ 其中格式奖励 $R_{\text{format}}$ 确保结构化输出规范；工具奖励 $R_{\text{tool}}$ 仅在成功调用工具且获得正向 HOI 提升时赋予正反馈，遏制无效冗余调用；核心精度奖励 $R_{\text{hoi}}$ 通过构建预测三元组与真实标注之间的代价矩阵，利用匈牙利算法（Hungarian algorithm）完成双边最优匹配，并以匹配后的 F1-score 作为连续奖励值： $$P = \frac{\text{TP}}{N_p}, \quad R = \frac{\text{TP}}{N_g}, \quad R_{\text{hoi}} = \frac{2 \cdot P \cdot R}{P + R + \epsilon}$$ 匹配判定要求人与物体的空间重叠度均满足 $\text{IoU} > 0.5$，且动作与物体的文本特征余弦相似度均大于阈值 $\delta=0.8$。

损失函数 / 训练策略¶

SFT 阶段以负对数似然损失最小化思维链推理步的条件概率： $$\mathcal{L}_{\text{SFT}} = -\mathbb{E}_{\mathcal{W}\sim\mathcal{D}}\left[\sum_{t=1}^{T}\log p_{\theta}(z_{t}\mid\mathcal{X},\mathcal{Y},z_{<t})\right]$$ 在 8 卡 NVIDIA H20 GPU 上使用 Adam 优化器以 1e-6 学习率训练 1 个 epoch（约 2.5 小时）。RL 阶段基于 SFT 初始化的策略网络 $\pi_{\theta}$ 执行 GRPO 迭代： $$\mathcal{L}_{\text{GRPO}}(\theta) = -\mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G}\left(\min\left(\frac{\pi_{\theta}(o_i|q)}{\pi_{\theta_{\text{old}}}(o_i|q)}A_i, \text{clip}\left(\frac{\pi_{\theta}(o_i|q)}{\pi_{\theta_{\text{old}}}(o_i|q)}, 1-\epsilon, 1+\epsilon\right)A_i\right) - \beta \mathbb{D}_{\text{KL}}(\pi_{\theta}\|\pi_{\text{ref}})\right)\right]$$ 其中每条轨迹的优势函数 $A_i$ 基于同组内复合奖励归一化计算，学习率为 5e-7，KL 惩罚系数 $\beta=0.04$，训练约 1,000 步（约 40 小时）。

实验关键数据¶

主实验¶

在 HICO-DET 和大规模开放词表基准 SWIG-HOI 上评测零样本检测 mAP 指标。在不依赖额外目标检测器（Detector Free）的严苛开放词表设定下，以 Qwen3-VL-8B 为底座的 ImagineAgent 大幅超越前序 SOTA。

数据集	设定 / 分组	方法	Unseen mAP	Seen / Rare mAP	Full mAP
HICO-DET	依赖预训练检测器	CLIP4HOI (NeurIPS 2023)	28.47	35.48	34.08
HICO-DET	依赖预训练检测器	HOIGen (ACM MM 2024)	31.01	34.57	33.86
HICO-DET	开放词表 (无检测器预训练)	CMD-SE (CVPR 2024)	16.70	23.95	22.35
HICO-DET	开放词表 (无检测器预训练)	INP-CC (ICCV 2025)	17.38	24.74	23.12
HICO-DET	开放词表 (基座模型)	Qwen3-VL-8B (Base)	19.41	18.24	18.47
HICO-DET	开放词表 (智能体方法)	ImagineAgent (本文)	37.85	36.49	36.76
SWIG-HOI	开放词表 (前序最强)	INP-CC (ICCV 2025)	11.02	16.74	16.74
SWIG-HOI	开放词表 (基座模型)	Qwen3-VL-8B (Base)	11.61	7.05	7.25
SWIG-HOI	开放词表 (智能体方法)	ImagineAgent (本文)	14.70	21.16	20.84

消融实验¶

在 HICO-DET 数据集上对训练阶段、工具使用情况以及奖励函数模块分别进行消融验证：

配置 / 变体	Unseen mAP	Seen mAP	Full mAP	说明
完整模型 (ImagineAgent)	37.85	36.49	36.76	SFT (750 steps) + RL (1000 steps)
仅 SFT (hicodet-6K)	28.24	26.98	27.23	移除 RL 探索阶段，性能大幅落后 9.53%
仅 RL (GRPO)	25.33	24.34	24.54	缺乏思维链冷启动，策略探索空间过大导致工具调用衰退
原始基座 Qwen3-VL-8B	19.41	18.24	18.47	未经微调与后训练
w/o 局部图像裁剪 (Image Crop)	37.69	35.19	35.69	丢失微观手-物交互区域细节
w/o 动作定义检索 (Action Expl.)	37.37	34.17	34.81	缺乏语义锚定导致动作理解退化最多 (下降 1.95%)
w/o 视角变换想象 (View Transform)	37.82	34.90	35.48	遮挡及透视畸变场景失去多视角推断支撑
w/o 场景外绘想象 (Outpaint)	37.58	35.10	35.61	缺少边界上下文扩展支持
w/o 核心 HOI 精度奖励 ($R_{\text{hoi}}$)	33.75	32.34	32.62	失去匈牙利匹配对齐，指标出现断崖式下跌 4.14%
w/o 匈牙利匹配 (Hungarian)	35.62	34.53	34.75	简化匹配导致多对一或错配惩罚失效
w/o 工具使用奖励 ($R_{\text{tool}}$)	36.62	35.42	35.66	策略缺乏对工具效率的显式偏好激励

关键发现¶

训练阶段的协同倍增效应：单一 SFT 可将基座模型的 Full mAP 从 18.47% 提至 27.23%，但纯 RL 仅能达到 24.54%；将 SFT 结构化思维链作为先验再施加 GRPO 强化学习时，Full mAP 跃升至 36.76%，表明冷启动构建认知映射与 RL 强化探索缺一不可。
工具针对性赋能：在工具消融中，去除外部动作语义检索与去除生成式视角变换对整体性能影响最为显著，证明外部知识消歧与生成式“想象补全”有效缓解了 MLLM 固有的跨模态幻觉与视线遮挡。
数据利用效率优异：得益于高质量合成思维链与基于成对交互的精准反馈，ImagineAgent 仅耗费现有方法约 36.7% 的训练样本量，即在 Unseen 开放集合上取得了超过 13% mAP 的巨大突破。
与闭源前沿巨型模型对比：在 HICO-DET 上，GPT-5 与 Gemini 3.0 Pro 的 Full mAP 分别仅为 23.18% 和 22.06%，甚至低于 8B 参数但经过结构化智能体调优的 ImagineAgent（36.76%），充分证实单纯堆叠模型规模无法自然解决复杂的空间配对与交互消歧。

亮点与洞察¶

认知驱动的范式转换：传统方法试图用单个端到端感知头直接预测密集三元组，本文通过将感知（找实体）与认知（配对与推理）解耦，把被动的感知网络升级为主动搜集证据并能够“想象”遮挡背后画面的自主智能体。
高保真可验证 CoT 合成管线：提出并开源 hicodet-6K 数据集构建方案，不仅包含实例坐标，更显式建模了“工具选择-证据整合-实体配对-常识剪枝”的全链路推理过程，为具身与复杂视觉推理任务提供了极佳的合成数据样板。
生成模型作为推理工具（World Modeling as a Tool）：巧妙地将前沿扩散统一模型（BAGEL）纳入决策闭环中，将传统不可逆的单目二维遮挡问题转换为多视角生成式想象空间，打通了生成式世界模型与判别式感知推理的互哺路径。

局限与展望¶

密集场景下的交互配对遗漏：误差分析表明，未检出完整交互对（Incomplete HOI matching）占总体错误的 39.7%，在多人拥挤、物体交叠的极端复杂环境中，穷举配对策略依然面临算力开销与漏检风险。
多步工具调用的时间开销：在推断阶段调用多模态扩散生成模型进行视角转换和外绘会引入额外的显存占用与延迟，未来需要探索轻量化潜在表征重构或蒸馏更轻量级的单步视角变换网络。
工具库扩展与自适应泛化：当前工具调用仍依赖固定预设集合与启发式两阶段决策，未来可拓展至三维点云重建、物理接触力学仿真等更多具身工具，以适配机器人复杂实操环境。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次将生成式视角变换与世界模型构想整合进 OV-HOI 强化学习智能体框架中]
实验充分度: ⭐⭐⭐⭐⭐ [在两大标准基准详尽对比，消融包含各阶段、各工具、奖励函数以及不同生成底座的全面评估]
写作质量: ⭐⭐⭐⭐⭐ [问题提炼精准（三大失效模式），方法结构严密清晰，图表完备]
价值: ⭐⭐⭐⭐⭐ [显著刷新开放词表人物交互检测 SOTA，为智能体多模态主动推理与工具调用提供坚实基线]