LocalAgent: Collaborative Agentic Verification for Fine-Grained Instance-Level Consistency¶
会议: NeurIPS 2026
arXiv: 2610.29174
代码: https://github.com/Firefly-zoo/LocalAgent-main
领域: LLM Agent
关键词: 细粒度实例验证, 多模态智能体, 局部证据检验, 强化微调, 协同验证
一句话总结¶
针对多模态大模型在细粒度实例级一致性检验中因视觉编码器跨模态对齐损失微观辨别特征而失效的问题，本文提出了 LocalAgent 协同智能体框架：由 MLLM 作为空间控制器全局感知并定位可疑区域，委派专用的无语言对齐轻量局部检验工具包提取结构化标量证据，并在带弱行为先验的有界强化微调驱动下实现按需自适应验证。
研究背景与动机¶
多模态大语言模型（MLLMs）在常识视觉问答、全图描述和宏观场景理解等通用视觉任务上取得了显著进展，但在细粒度实例级一致性检验（fine-grained instance-level consistency verification）任务中往往表现脆弱。该任务要求模型判断不同视角、光照条件和背景下的两张图像是否属于完全相同的物理实体。在现实世界的商品辨伪、地标识别或生物物种核查中，宏观语义高度相似的两件物品可能仅在极细微的局部纹理、几何结构或商标文字处存在差异；反之，同一个物体在极端的视点旋转或光照阴影下，其全局表象又会发生剧烈变化。现有 MLLM 往往过度依赖宏观全局语义相似度，产生“粗看极像即判定相同”或“光照剧变即误判不同”的系统性感知幻觉。
这种失效的根源并非 MLLM 缺乏逻辑推理能力，而是其视觉骨干网络在预训练时主要采用图文跨模态对齐（如 CLIP/SigLIP 风格的对比学习）。这种训练范式倾向于保留物体类别、功能和宏观构图等高层语义表征，却天然压缩并丢失了细粒度的底层空间几何与高频纹理特征。即便为模型引入 Chain-of-Thought（CoT）、视觉回溯（visual backtracking）或图像局部裁剪放大工具，若将裁剪后的图像区域重新送入相同的多模态视觉编码器，依然会陷入原有的跨模态语义压缩瓶颈，无法真正恢复微观鉴别力。
本文的切入角度是解耦全局语义感知与局部不变性匹配：让 MLLM 发挥其强大的宏观理解与可疑区域定位能力，充当空间控制器；而将超出其视觉感知极限的微观鉴别委派给基于纯视觉自监督特征构建的专用局部证据检验工具包（Local Evidence Verifier, LEV），并将检验结果抽象为结构化标量指标回传给 MLLM 进行闭环文本符号推理。核心 idea：将实例级一致性检验解耦为“MLLM 宏观感知与空间定位-纯视觉局部工具结构化核查-决策回环聚合”，并通过辅助奖励有界的强化微调（RFT）让智能体学会仅在必要时自适应触发检验。
方法详解¶
整体框架¶
LocalAgent 将实例级一致性验证任务显式拆解为三个紧密协同的环节：MLLM 充当空间控制器（Spatial Controller）、局部证据检验工具包（Local Evidence Verifier, LEV）提供细粒度视觉不变性匹配、以及基于强化微调（RFT）的自适应检验策略。
面对输入的图像对，MLLM 首先进行初始全局语义感知与推理。当宏观线索足以明确得出结论时，模型直接输出最终预测；当两张图像语义高度相似但微观一致性存疑时，MLLM 作为空间控制器预测两幅图中可疑区域的归一化边界框坐标 \(B = (b_1, b_2)\)，并调用 LEV 工具包。LEV 包含局部外观一致性（LAC）和局部几何对应（LGC）两个互补模块，分别基于无语言对齐的纯视觉特征对可疑区域进行抗光照与抗视角的密集匹配，并将输出聚合成多维结构化标量证据向量回传。MLLM 接收这些标量证据后与初始推理状态融合，完成闭环最终判别。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入图像对与验证指令"] --> B["MLLM 空间控制器<br/>全局语义感知与可疑区域定位"]
B -->|宏观线索确凿| F["直接输出最终判别"]
B -->|存在细粒度疑点| C["局部可疑边界框 B = (b1, b2)"]
C --> D["局部证据检验工具包 (LEV)"]
subgraph LEV ["局部证据检验工具包 (LEV)"]
direction TB
D1["局部外观一致性 (LAC)<br/>DINO 多变体 Patch 匹配"]
D2["局部几何对应 (LGC)<br/>XFeat 关键点与单应内点估计"]
end
D --> E["结构化标量证据 (z_lac, z_lgc)"]
E --> G["MLLM 证据聚合与符号推理"]
G --> H["最终一致性预测"]关键设计¶
1. MLLM 作为空间控制器：解耦定位与鉴别
传统端到端 MLLM 或多轮视觉问答模型试图在统一网络内同时完成“目标定位”与“细粒度同质性鉴别”，导致其受制于图文对齐编码器的信息损失。LocalAgent 让 MLLM 专注于其优势领域——全局场景理解与可疑区域线索发现。在面对可能由视角差异、包装改版或伪造伪品引发的歧义样本时，MLLM 在固定的指令模板引导下输出 <tool_call> 标签，内部携带两幅图像中可疑微观区域的归一化坐标 \(B = (b_1, b_2)\)（格式为 \([x_1, y_1, x_2, y_2]\)）。这一设计将 MLLM 的角色严格限定为“空间控制器”，把极难由跨模态表征完成的微观鉴别解耦给专用视觉模块，避免让放大的图像重新流经 MLLM 的视觉编码器。
2. 局部证据检验工具包（LEV）：外观与几何双路互补验证
为了突破语言对齐视觉编码器的语义瓶颈，LEV 完全构建在自监督纯视觉特征之上，选取代表性的 DINO（自监督 ViT Patch 特征）与 XFeat（轻量级局部关键点描述符），构建了应对不同物理扰动的两个互补子模块： - 局部外观一致性（LAC）：针对光照变化、阴影与表面颜色扰动，为每个局部区域生成包含原图上下文视图与隔离裁剪视图的 8 种数据变体（包含灰度变换、颜色抖动与水平翻转等）。利用 DINO 的 Patch 级表征计算余弦相似度匹配，定义单视角一致性比率为 \(s_v = \frac{|M^{(v)}|}{N^{(v)}}\)（稳定匹配 patch 数与总 patch 数之比）。为了向 MLLM 提供紧凑且可解释的反馈，LAC 将结果聚合成三维标量证据三元组： $\(z_{\text{lac}} = (s_{\text{lac}}^{\text{main}}, s_{\text{lac}}^{\text{med}}, d_{\text{lac}})\)$ 其中 \(s_{\text{lac}}^{\text{main}}\) 为 top-\(k\) 视角的一致性均值（表征最佳光照条件下的匹配潜力），\(s_{\text{lac}}^{\text{med}}\) 为中位数（反映整体中心趋势），\(d_{\text{lac}}\) 为视角间标准差（表征跨视点外观稳定性）。 - 局部几何对应（LGC）：针对视点大幅倾斜与几何形变，采用轻量级 XFeat 提取关键点与局部几何描述符。通过对比度增强与水平翻转构建几何扰动变体，建立候选匹配集 \(C^{(v)}\)，并通过鲁棒几何估计滤除非一致外点，得到内点集合 \(I^{(v)} \subseteq C^{(v)}\)。单视角几何得分为 \(g_v = \frac{|I^{(v)}|}{|C^{(v)}|}\)。LGC 最终输出五维结构化几何标量向量： $\(z_{\text{lgc}} = (s_{\text{lgc}}^{\text{main}}, r_{\text{lgc}}^{\text{inlier}}, n_{\text{lgc}}^{\text{match}}, c_{\text{lgc}}, t_{\text{lgc}})\)$ 分别度量全局对应强度、内点匹配比率、有效匹配点总数、匹配在二维空间内的覆盖广度（区分离散偶发噪声与连贯刚体对齐）以及几何稳定性。
3. 辅助奖励有界的强化微调（RFT）：学会自适应按需验证
如果对所有样本无差别调用工具，不仅会带来数十倍的推理计算开销，还会让简单样本被局部工具的微观噪声干扰；而依赖手工编写的启发式规则又无法适应复杂的真实分布。LocalAgent 基于群体相对策略优化（GRPO）对 MLLM 策略进行强化微调，使其自主学习何时验证。为了引导探索，训练集利用离线实验构建了无需人工标注的弱行为先验：单靠 MLLM 就能答对的样本标记为 No_tool，只有借助 LEV 工具才能答对的标记为 Use_tool，两者交界处的保留子集标记为 Uncertainty 以提供平滑正则化。
更为关键的是，为了防止策略产生“为了拿工具调用分而在错误预测上强行刷格式分”的退化行为，本文提出了辅助奖励截断机制（auxiliary-capped reward）。当且仅当最终预测正确时，模型才能全额获取辅助奖励；一旦最终预测错误，辅助奖励将被严格钳位在窄区间 \([\delta, -\epsilon]\) 之内： $\(r = \begin{cases} \alpha R_{\text{acc}} + \beta R_{\text{tool}} + \gamma R_{\text{fmt}}, & \hat{y} = y \\ \alpha R_{\text{acc}} + \max\!\left(\min\!\left(\beta R_{\text{tool}} + \gamma R_{\text{fmt}}, \delta\right), -\epsilon\right), & \hat{y} \neq y \end{cases}\)$ 其中 \(\delta\) 阻断了答错时刷分的作弊路径，\(-\epsilon\) 限制了过度惩罚，确保最终正确性始终占据优化绝对主导地位。
一个完整示例¶
以电商商品包装细微改版的 pairwise 判别为例：
1. 全局输入与感知：输入两张不同摆放角度的洗发水包装瓶图像。MLLM 识别出二者具有完全一致的瓶身轮廓、品牌 Logo 和基础配色，初步倾向于判断为相同实例，但在正面标签底部的型号细微字体处产生置信度犹豫。
2. 生成定位指令：MLLM 生成 <tool_call> 标签，输出两幅图像中标签文本底部的坐标 \(B = ([0.42, 0.65, 0.58, 0.78], [0.38, 0.61, 0.55, 0.75])\)。
3. LEV 工具执行：系统截取相应区域生成多变体。LAC 提取 DINO 特征后发现 patch 相似度较低（\(s_{\text{lac}}^{\text{main}} = 0.38, s_{\text{lac}}^{\text{med}} = 0.29\)）；LGC 提取 XFeat 关键点发现几何内点比率极低（\(r_{\text{lgc}}^{\text{inlier}} = 0.12, n_{\text{lgc}}^{\text{match}} = 8\)）。
4. 标量注入与终审：系统以纯文本键值对格式向 MLLM 注入标量观测反馈。MLLM 结合初始推理，识别出该区域的细微几何纹理与文字特征不吻合，果断推翻单纯依赖瓶身整体轮廓的宏观直觉，输出最终判定：二者为不同款型的商品实例（判定不一致）。
实验关键数据¶
主实验¶
实验基于 TWIN 基准及扩充的多领域评估集（共涵盖 6 个异构数据源、12,000 个测试查询），涵盖成对判别（Pairwise, P）和 1 选 3 多选匹配（Multiple-choice, M）两种任务形式，指标为准确率（Accuracy, %）。
| 数据源 / 测试集 | 任务类型 | GPT-4o (闭源) | Qwen3-VL-4B (Base) | CoT-RFT (基线) | LocalAgent (本文) |
|---|---|---|---|---|---|
| Mean (6个源全量平均) | Pair / Mul / Total | 91.1 / 81.1 / 86.1 | 76.8 / 69.7 / 73.3 | 83.4 / 68.1 / 75.8 | 87.6 / 73.9 / 80.7 |
| TWIN-Eval (商品) | Total Acc (T) | 81.7 | 82.9 | 76.5 | 74.5 |
| ILIAS (零售大集) | Total Acc (T) | 95.3 | 84.3 | 80.1 | 79.6 |
| Landmarks (地标建筑) | Total Acc (T) | 81.0 | 55.5 | 64.3 | 76.2 |
| MET (艺术品与文物) | Total Acc (T) | 79.6 | 52.1 | 67.9 | 79.3 |
| CUB (细粒度鸟类) | Total Acc (T) | 88.9 | 83.6 | 82.1 | 87.9 |
| Inquire (自然动植物) | Total Acc (T) | 90.3 | 81.3 | 83.7 | 86.9 |
消融实验¶
针对 LEV 工具包各组件、强化微调策略设计及局部裁剪对照的消融实验结果如下：
| 配置 | 全局平均准确率 (%) | 成对准确率 (%) | 多选准确率 (%) | 全局调用率 (%) | 说明 |
|---|---|---|---|---|---|
| LocalAgent (完整模型) | 80.70 | 87.55 | 73.85 | 12.13 | LAC + LGC 协同自适应调用 |
| 仅启用 LAC (外观模块) | 78.82 | 85.45 | 72.18 | 21.29 | 欠缺几何视角刚性，调用率升高 |
| 仅启用 LGC (几何模块) | 79.94 | 88.57 | 71.32 | 19.50 | 欠缺抗光照外观匹配能力 |
| 去除弱行为先验 (w/o prior) | 79.39 | 86.55 | 72.23 | 30.68 | 探索盲目，调用率暴增至 30.7% |
| 硬性截断门控 (Hard gating) | 80.23 | 87.72 | 72.73 | 14.21 | 答错直接抹杀所有辅助分，掉点 0.47% |
| Qwen3-VL-4B + Crop (回喂图像) | 75.64 | 76.81 | 74.47 | - | 裁剪区域重新送入编码器，掉点 5.06% |
关键发现¶
- 工具协同大幅降低冗余调用：单用 LAC 或 LGC 时，模型的调用率分别为 21.29% 和 19.50%；而双工具协同配合有界 RFT 时，总调用率大幅压缩至 12.13%，尤其在成对验证任务上仅需调用 7.85% 的样本，即可在 Mean Acc 上达到 80.70%，证明智能体学会了精准筛选最疑难案例。
- 纯标量回传显著优于重喂视觉 Crop：将可疑框裁剪后重新送回 MLLM 的对照方案（Qwen3-VL-4B + Crop）成对任务准确率仅为 76.81%，较 LocalAgent 的 87.55% 产生超过 10 个百分点的断崖式下跌，强力证实了跨模态视觉编码器的语义压缩正是导致细粒度感知失败的罪魁祸首，验证结果必须以独立标量形式注入。
- 通用多模态与语言能力完全保留：在 MME-RealWorld-Lite、MMMU、BLINK、ChartQA 以及纯文本 MMLU、GSM8K 等 10 项通用基准测试中，LocalAgent 的各项指标均与未微调的 Qwen3-VL-4B 基座持平或微幅提升，表明辅助奖励有界约束成功避免了灾难性遗忘。
亮点与洞察¶
- 解耦感知与辨别的智能体范式：让大模型充当“直觉发现者”和“调度中枢”，让无语义偏见的底层视觉算子充当“微观量尺”，成功打破了图文对齐编码器在微观细节上的分辨率与语义瓶颈。
- 结构化标量证据回传设计：摒弃了将局部图放大后再让 MLLM 重新编码的低效做法，将匹配置信度、视点发散度、几何内点比和空间覆盖度归约成紧凑浮点数，既消除了二次视觉语义损失，又天然契合了 LLM 擅长的数值比较与证据链推理。
- 辅助奖励有界的 RFT 优化思路：巧妙解决了强化学习调优智能体工具调用时，模型容易在答错时靠“伪造规整工具调用”刷分的退化顽疾，这种对辅助任务的单侧非对称截断策略对各类 Agentic RL 训练具有通用借鉴价值。
局限与展望¶
- 依赖 MLLM 首轮定位精度：LEV 工具包仅在 MLLM 给出的边界框范围内进行特征抽取与核查，若模型第一阶段因严重遮挡或微小尺度未能准确圈出真伪分歧区，后续工具检验将直接失效。
- 多选任务缺乏跨候选联合推理：在 1 选 3 多选匹配中，现有策略仅能针对单个候选逐一发起核查，尚未实现跨候选特征的联合几何图匹配与证据横向对齐，导致多选任务的提升幅度弱于成对判别。
- TWIN-Eval 数据集上的域内回退：在亚马逊商品源 TWIN-Eval 上，微调后的模型在容易样本上的召回有所衰退，表明基于困难负样本强调的强化训练分布对部分简单样本的普适判别造成了一定扰动。
相关工作与启发¶
- vs TWIN (CVPR 2026)：TWIN 提出了细粒度实例验证任务设定并采用端到端 MLLM 全局表征判别；本文指出纯全局表征无法抵御跨视角与光照畸变，通过空间控制与专用 LEV 工具使平均准确率实现大幅跃升。
- vs 视觉回溯与裁剪放大工具 (DeepEyes / Look-back)：传统方案多将注意力重定向后的图像 Crop 重新输入视觉语言编码器；本文证明跨模态对齐本身会抹杀微观几何纹理，唯有采用无对齐纯视觉特征并以结构化标量回传方能真正解决问题。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出将 MLLM 作为空间控制器、将纯视觉不变性匹配作为标量证据工具的协同验证架构，配合巧妙的辅助奖励有界 RFT，思路非常清晰。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 大异构领域测试集、12k 评测查询、详尽的工具与奖励函数消融、纯视觉基线比对以及 10 项通用能力保留验证。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对照自洽，对失败模式和局限性讨论坦诚且具有深度。
- 价值: ⭐⭐⭐⭐⭐ 为解决 MLLM 固有视觉感知瓶颈与构建可信多模态智能体验证系统提供了极具落地可行性的范式。