ARGOS: Who, Where, and When in Agentic Multi-Camera Person Search¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/4039
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/4235.pdf
代码: https://github.com/gritYCDA/ARGOS
领域: LLM智能体 / 交互式行人检索
关键词: 多摄像头行人搜索、目击者交互、时空拓扑图、工具调用、轮次加权成功率

一句话总结¶

ARGOS把行人搜索改写成有限轮次内的证据收集过程，让四模块智能体主动追问并调用摄像头时空约束工具，在2,691个任务上同时考察找对目标与少问问题的能力，最优空间、时间轨道TWS分别为0.383和0.590。

研究背景与动机¶

传统行人重识别通常已有一张目标照片，文本行人检索则假设目击者能一次给出足以区分目标的外观描述。现实中的描述往往只有“穿黑色上衣、戴口罩”，更多线索需要追问，而且目击者可能只记得地点和先后顺序。已有交互式检索能够继续询问外观，却未充分把“在哪看到”和“隔了多久又看到”纳入同一决策过程。

空间与时间并非外观描述的附属标签。同样穿白衣的人可能很多，但“先在仓库、几乎同时又在大厅”会排除一批路线不相容的人。已有时空ReID早就使用摄像头转移分布，本文的新意不在于首次利用物理约束，而在于把何时获取线索、何时测试可行性、何时停止追问交给智能体。问题也因此不只是排序精度：反复询问目击者记不住的属性，即使最终找对人，也不是高效的策略。

ARGOS利用MTMMC的同步多摄像头轨迹和属性标注，先算法化生成可验证任务，再用自然语言包装证据，避免让语言模型同时编故事和决定正确答案。核心 idea：让智能体在不完全知道目击者可回答内容的条件下，联合选择外观问题、空间问题和时空工具，以尽量少的交互把候选集缩到唯一正确身份。

方法详解¶

整体框架¶

输入是一段含糊的初始目击描述，以及从结构化行人库得到的初始候选集合；输出是一个目标身份ID。每轮先分析候选差异，再规划动作，由执行模块调用目击者或环境工具，最后把自然语言回答规范化并更新候选集。过程在提交预测或用完20轮预算时结束。

需要先划清能力边界：基线访问的是包含24种外观属性的只读数据库，并不是从原始视频中自行检测、跟踪和识别所有人。时空拓扑图和候选过滤由确定性环境提供；LLM负责策略及语言解释。环境隐藏候选与摄像头的直接映射、最优消歧路径、逐候选可行性详情，以及目击者究竟能回答哪些属性，防止智能体直接读取答案。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["同步轨迹与属性标注"] --> B["真值与语言分离" ]
    B --> C["时空拓扑约束"]
    C --> D["四模块决策循环<br/>分析→规划→执行→解释"]
    E["初始描述与候选集"] --> D
    D -->|追问或工具过滤后继续| D
    D -->|提交预测或预算耗尽| F["轮次加权评估"]
    F --> G["身份结果与交互效率"]

关键设计¶

1. 真值与语言分离：保证任务可解，再考验描述理解与主动消歧

任务构建分两步。第一步不用LLM，直接从属性库、摄像头拓扑和轨迹计算任务真值与最优动作序列：Who按信息量选择外观线索，Where通过区域内的空间区分构造歧义，When用拓扑图判定时间可行性。第二步才用LLM把结构化线索转成自然语言对话，使模型必须理解同义表达、指代和犹豫措辞，而不能照抄属性标签。底层数据包含14个场景、1,273名标注行人和16台同步摄像头，场景来自工厂与大学校园两种环境。

三个轨道的交互方式并不相同。Who有989个任务，输入已经完成的对话，平均上下文为5.6轮，但待评模型只做一次解析与预测，不负责生成这段对话。Where有550个任务，必须至少进行一次空间追问，在覆盖多台摄像头的区域内定位子区域，再用属性排除候选。When有1,152个任务，给出两次目击及大致时间，要求至少一次超出“此人是否出现过”检查的时间排除。这样可以分别考察已有证据的读取、主动空间消歧和时间工具使用，不能把三个轨道的分数当成同难度排名。

2. 时空拓扑约束：用直接观测的摄像头转移支撑候选排除

时空拓扑图STTG是有向加权图：节点是摄像头，带区域名与自然语言子区域描述；边记录转移类型、最短/中位/最长转移时间和样本数。视野重叠的OVERLAP边形成原子区域，隔着门或通道、无视野重叠且转移小于2秒的SOFT_ADJ边连接相邻区域，其余移动由TRAVEL边表达。图由轨迹提取、按优先级标注并人工核查、聚合有向边得到，工厂和校园分别有110与149条边。它把“仓库一带”映射到一组相机，也为两次目击的时间关系提供数据依据。

时间过滤先去掉没有在指定摄像头出现的候选，再根据观测转移区间检验剩余人的移动是否成立。正文明确描述的排除包括时间倒置和超过观测最长转移时间；任务只在STTG中有直接观测边的摄像头对上构造，不做多跳最短路径推断。check_temporal由环境读取这些事实并返回过滤后的候选集合，智能体不是凭语言常识猜谁能走到哪里。需要保留一个解释边界：观测到的最快与最慢时间是经验范围，不是现实中不可违反的物理定律。

3. 四模块决策循环：候选区分度与目击者可回答性必须一起考虑

Analyst通过query_gallery取得候选属性，用analyze_dist查看各属性的分布及排除能力，并在空间任务中用get_zone_info读取子区域结构。Planner结合这份摘要和完整对话历史，决定追问外观、追问位置还是测试时间关系。Interviewer执行选择，通过ask_witness获取自然语言回答，或调用check_temporal直接过滤；Interpreter把回答转换成规范属性值，交给filter_attr或filter_spatial更新候选集合，最后可用predict提交身份。八种工具分别承担读取、交互、筛选与终止，LLM不直接修改真值库。

这个循环真正困难的地方在信息不对称。数据库虽有24种属性，确定性目击者实际只会回答外观性别、上衣颜色和下装颜色，其他属性返回不确定；智能体事先不知道这个集合。因此，当前最能区分候选的发型或体型问题，可能完全问不出有效答案。Planner需要从失败追问中调整选择，而Interpreter必须区分“稍带犹豫但提供了颜色”和“完全不记得”，否则错误的规范化会把真目标永久过滤掉。空间与时间回答来自预计算路径，语言形式则带变化；这种控制减少了证人随机噪声，集中暴露策略与解析问题。

4. 轮次加权评估：找对人还要接近任务自身的最少轮数

对于Where和When，主指标Turn-Weighted Success（TWS）按每个任务的oracle最优轮数对成功加权。失败任务贡献为零；成功但耗费额外轮次则被折扣，提前达到最优也不会获得超过1的分数。根据正文给出的变量定义，指标为：

\[ \mathrm{TWS}=\frac{1}{N}\sum_{i=1}^{N}s_i\frac{\tau_i^*}{\max(\tau_i,\tau_i^*)}. \]

其中，\(s_i\)表示是否成功，\(\tau_i\)是实际轮数，\(\tau_i^*\)是构建任务时预计算的最优轮数。这个指标借鉴导航SPL对成功与效率联合计分的思路，但用对话轮次替代路径长度。它不是把整批Top-1除以平均轮数，因为每题难度与成功情况不同。论文同时报告Top-1、预算为5轮的累计成功率，以及仅成功任务的平均轮数，帮助区分误判、超时和低效追问。

一个完整示例¶

论文图4给出的工厂困难样例，初始线索是白色上衣，以及“开始时在仓库，几乎同时出现在大厅入口”，留下19名候选。第一次调用时间工具后变成3名，即直接排除16名；第二轮询问服装颜色布局，目击者表示不确定，候选仍为3名；第三轮询问下装颜色，得到黑色线索，候选缩为唯一身份，随后预测成功。

这个例子说明高信息量工具可以先完成大幅排除，但后续策略仍可能浪费一轮。在去掉时间工具的对照里，智能体多次询问年龄、背包、体型、发色等不可回答属性，最终耗尽20轮预算。这里的19→3→3→1来自论文案例，不代表全部任务的平均缩减速度。

损失函数 / 训练策略¶

本文没有提出新的可训练检索损失，也没有报告通过微调或强化学习训练这四个模块。实验调用现有LLM骨干，主设置为temperature 0.0、seed 42和最多20轮。贡献主要是任务、环境、工具接口、策略分工与评估协议，而不是新视觉编码器。

复现时应特别注意时间工具的调度：方法节强调由Planner自主决定调用顺序，但表6把80.6% / 0.567标为Temporal-first，自主版本为83.9% / 0.572；前一组又与主表GPT-4o结果一致。下文保留各表原值并分开标注，不把主表数字直接归为自主调度收益。

实验关键数据¶

主实验¶

下表摘录原文表5。Top-1单位为%，平均轮数只统计成功任务；TWS越高越好，轮数越低越好。不同轨道的任务与oracle预算不同，不应据TWS高低直接判断时间任务更简单。

骨干	Where TWS	Where Top-1	Where平均轮数	When TWS	When Top-1	When平均轮数
Oracle	1.000	100.0	2.05	1.000	100.0	1.88
GPT-5.2	0.338	73.1	7.04	0.590	88.2	3.91
GPT-4o	0.323	74.5	7.49	0.567	80.6	3.91
GPT-5-mini	0.319	74.9	7.48	0.556	88.0	4.40
Claude Sonnet 4	0.383	76.0	6.71	0.548	83.6	4.25

Who轨道使用GPT-4o时，工具调用版本SR@1为81.1%，直接输出ID为73.3%，规则方法为32.2%。值得注意的是，直接输出的属性解析准确率93.0%高于工具版90.8%，最终检索却更差，说明单个解析指标并不能替代候选操作与身份预测的端到端评估。

消融实验¶

下表为原文表7的GPT-4o逐组件消融；不适用项用“—”，不当作零分。

配置	Where TWS	Where Top-1 (%)	Where平均轮数	When TWS	When Top-1 (%)	When平均轮数
完整ARGOS	0.323	74.5	7.49	0.567	80.6	3.91
去掉策略推理	0.136	47.6	10.78	0.373	76.9	7.73
去掉空间工具	0.063	40.7	14.20	—	—	—
去掉时间工具	—	—	—	0.054	31.0	13.44
单次推断，给完整对话	—	56.2	—	—	29.6	—
单次推断，仅给初始描述	—	64.7	—	—	11.3	—

表6额外控制时间工具调用顺序：Temporal-first的When Top-1/TWS/平均轮数为80.6%/0.567/3.91，自主调度为83.9%/0.572/4.05。自主调度并没有更少的平均轮数，却因成功率等因素获得略高TWS；这支持工具自身的信息价值，而非某种固定“第一步必须查时间”的流程优势。

关键发现¶

时间工具移除使When Top-1从80.6%降到31.0%，下降49.6个百分点；空间工具移除使Where下降33.8个百分点。这里证明的是该环境下结构化时空信息的重要性，不等同于LLM已学会从视频恢复这些信息。
When去掉策略后Top-1只下降3.7个百分点，但成功任务平均轮数从3.91增至7.73，TWS从0.567降至0.373。摘要将策略影响概括为TWS减半，具体解释应以这组表值为准，不能把它写成严格50%下降。
Where中完整对话的单次推断反而低于只给初始描述，56.2%对64.7%；更多文字不自动带来更多有效证据。正文给出的Where/When解析成功率为78.6%/94.2%，与空间语言理解瓶颈相符，但不能仅凭相关性认定全部误差都来自解析。

亮点与洞察¶

把真值生成与自然语言表述分开，既保留可验证的最优动作序列，又让语言理解成为真实考点。这比让LLM同时决定目标、证据和答案更容易定位失败来源。
时空先验成为可主动调用的证据工具，而不是固定检索后处理。图4说明一次工具调用能够改变后续最值得追问的属性，工具价值和提问策略因此相互影响。
明确区分“候选差异大”与“目击者能回答”，揭示信息增益式选题的隐含前提。只分析数据库分布，却不根据历次“不记得”调整策略，容易把20轮预算耗在不可观测属性上。

局限与展望¶

作者承认目击者是确定性的，且只可靠回答三类外观属性。真实证人会遗忘、答错和前后矛盾，当前结果不能直接外推到带噪人类交互。
数据仅覆盖工厂与校园；STTG依赖可靠跨摄像头跟踪标注和直接观测转移。城市级稀疏相机、漏检、多跳路径和分布外步行速度都未被充分验证。
从任务设计看，真值构造与执行工具共用STTG，所得高分更直接说明在给定结构化世界中的规划能力。原始视频识别误差、拓扑估计误差如何传入最终身份决策，尚缺端到端证据。
缓存只有正文与参考文献，正文提及的附录A/B/C未随文本提供；多种子、改写鲁棒性和提示模板细节无法完整复核。正文给出的oracle平均轮数在基准统计表与结果表略有差异，本文保留主结果表的2.05/1.88，不推断差异来源。
作者明确指出跨摄像头定位个人具有隐私及滥用风险，并声明基于获同意的公开数据开展研究。真实部署仍需合法授权、用途限制与对错误匹配的人工复核，基准分数不是部署许可。

评分¶

新颖性: 4/5。把目击交互与多摄像头时空工具纳入同一受控基准，组合和评估有价值，但各基础技术并非首次提出。
实验充分度: 4/5。覆盖三轨道、四骨干、关键工具及策略消融；真人噪声、更多环境与端到端视觉误差仍欠缺。
写作质量: 4/5。任务边界和消融动机清晰，但调度方式、oracle轮数及摘要对策略降幅的表述需要对照表格阅读。
价值: 4/5。适合研究可验证工具下的主动信息获取及效率评估，不宜直接视为成熟监控系统的效果证明。