OmniCoT: A Benchmark for Global and Multi-Step Panoramic Reasoning¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/Chenfei-Liao/OmniCoT
领域: 视觉语言推理
关键词: 全景空间推理、全局证据、多跳推理、思维链、GRPO
数据集: OmniCoT
模型: OmniCoT-R1

身份核验：ECCV ID 3376，缓存首页作者为 Haocong He、Chenfei Liao 等；清单与全文标题一致，无副标题变化。本文依据会议 PDF 正文撰写，正文提到的补充材料未包含在当前缓存中。

一句话总结¶

OmniCoT 把全景问答升级为需要跨视角证据的“看、定位、移动”多步空间推理，同时评测答案与推理过程，并通过结构化思维链监督和 GRPO 将 Qwen2.5-VL-7B 的 OmniCoT-B 准确率从 23.53% 提升到 59.54%。

研究背景与动机¶

全景图覆盖完整的水平视野与上下方向，天然适合描述环境中不同物体的相互关系。但覆盖范围更大不等于模型会使用更多信息：如果问题只是寻找出口或判断一个局部区域，模型仍可依赖局部线索作答。与此同时，等距柱状投影带来的形变、图像两端的连续性以及密集物体，使普通图像上的视觉语言能力难以直接迁移到全景空间。

已有 OSR-Bench、ODI-Bench 等基准提供了全景理解任务，本文则进一步要求模型连续更新朝向、沿多个参照物定位目标，或预测移动之后的可见性。这里真正困难的是把每一步语言推理重新落到同一个空间坐标系：一段听起来合理的“转弯、经过沙发、找到目标”并不保证目标真在图像中那个位置。只评价最终答案，无法区分偶然猜对、证据缺失与推理过程自相矛盾。

核心 idea：用受三维几何约束的全局多跳问答与结构化思维链，同时诊断答案正确性、证据覆盖和空间一致性，再用相同任务体系指导全景模型后训练。

方法详解¶

整体框架¶

OmniCoT 是“数据集、评测协议、训练基线”组成的套件，而不是新的视觉编码器。输入为等距柱状投影（ERP）全景图、问题，以及默认三个物体的坐标与方向提示；模型输出推理过程和最终答案。图像负责提供视觉证据，少量空间锚点负责建立统一参考系，二者不能相互替代。

数据端从三维场景生成空间描述，按 See-Locate-Move 分类产生候选问答，经双模型筛选、专家检查和思维链生成后，形成约 14.3K 的 OmniCoT-T 与约 6.7K 的 OmniCoT-B。另采集真实全景、人工标注 OmniCoT-Real。训练端先进行监督微调（SFT），再进行组相对策略优化（GRPO）；评测端同时报告最终答案与六项推理质量指标。

这是以基准设计为主的工作，下面按任务定义、数据筛选、过程评价、后训练四个环节解释，而不把所有数据集画成模型模块。

关键设计¶

1. See-Locate-Move 任务体系：迫使模型维护跨步骤的空间状态

See 对应视角变换，包含多步朝向跟踪（MOT）与相对角度计算（RAC）。前者从初始朝向出发，连续执行相对旋转后识别目标；后者以不同地标为参考，计算累计转角或相对方位。关键不只是认出物体，而是在跨图像边界、投影变形等情况下维持方向关系，不能把全景两端误当成不相邻的位置。

Locate 对应物体间空间关系，包含多跳物体识别（MOI）与多跳方向识别（MDI）。问题通过“最近”“第二近”和方位限定串联参照物，要求先找到中间对象，再确定最终目标或其相对方向。因此，跳过任意一个参照对象，都可能得到一个语义上合理但指向错误物体的答案。

Move 对应具身动作模拟，包含纯平移（PTM）与旋转加平移（RTM）。前者判断沿指定方向移动时首先遇到的对象；后者还要更新移动后的位置、朝向与可见性。这里的“具身”是问答中的虚拟状态更新，不是已经验证的真实机器人闭环控制。

三个维度共六类题，分别强调视角、关系链和动作后果。它们共享空间布局，但不能靠同一种局部物体检测策略全部解决。

2. 几何约束的数据筛选：先保证问题可解，再生成可检查的推理链

原文图 2 的起点是可靠的三维场景数据，而不是让语言模型仅凭一张图自由编故事。场景几何先转成结构化自然语言描述，再按六种题型批量生成候选问答；空间描述为物体身份、位置与关系提供上下文，减少生成过程中自行补造布局的自由度。

DeepSeekv3.2 与 Qwen3-Max 共同作为候选题裁判，检查格式、对象唯一性、逻辑一致性、推理复杂度、可回答性和题型特定惩罚。通过筛选的问答还需专家快速核查，避免问题指代不清或答案与场景脱节。正文没有给出全部打分阈值，不能据此声称已完整复现筛选器。

问答确定后，按题型提示生成含 2 至 4 个清楚步骤的思维链，再压缩冗余叙述，保留关键空间信息。随后分别检查推理格式、结构、场景信息利用、题型惩罚、答案格式与答案正确性。专家对接近 400 条样本进行详细抽查，流程要求达到 95% 的准确率标准；这是抽检接受条件，不是对每条数据正确性的逐一证明。

真实集采用另一条数据来源：使用 Insta-X5 采集 200 张全景，覆盖 13 类室内场景，由三位领域专家投入约 320 小时标注，得到 1,073 对问答。它引入真实畸变、光照差异与遮挡，用于检验合成场景上的能力能否迁移，而不应被视为合成集的等难度复制。

3. 答案与过程联合评价：把“说得通”拆成可诊断的证据维度

默认给出三个随机物体的坐标及方向约定，例如 X 轴正向为东、Y 轴正向为北。空间锚点只是已知位置和方向的对象级参照，不是完整场景布局。锚点数量会改变输入的信息量，因而报告准确率时必须同时说明锚点设置，不能把不同锚点密度当成同一评测条件。

通用思维链指标沿用 MME-CoT：Precision 表示生成步骤中正确步骤的比例，Recall 表示标准解题步骤被覆盖的比例，F1 综合两者。按这一定义，其调和关系为：

\[ F_1=\frac{2PR}{P+R}. \]

这里 \(P\)、\(R\) 分别为 Precision 与 Recall；这是指标定义的记法，不是新的训练损失。表中聚合后的 F1 应直接读取原表，不宜用已经平均的 P、R 再计算并替换报告值。

全景专用指标进一步检查空间内容。视角一致性（VC）逐条抽取与视角有关的陈述，依据真实几何评分后取平均；空间证据充分性（SES）检查解题必需关系是否被推理过程引用，以引用覆盖率计分；推理可行性（RF）逐条检查移动、转向、交互步骤是否符合场景约束，再取平均。

CoT 评分采用 DeepSeekv3.2。评价设计明确要求以空间事实为依据，但裁判仍是语言模型；高 VC、SES 或 RF 不能单独证明模型真的完成了像素到几何的对应。Qwen3-VL-8B 的高过程分、较低答案分正是本文的重要诊断现象。

4. 两阶段后训练：先学证据组织，再优化任务正确性

OmniCoT-R1 从 Qwen2.5-VL-7B-Instruct 出发。SFT 用 OmniCoT-T 教模型遵守显式的 <think>...<answer> 输出组织，让步骤引用全景证据；此阶段只训练语言模型，冻结视觉编码器与投影层。因此，SFT 的重点是建立已有视觉表示与空间推理叙述之间的对应，而非训练新的全景视觉前端。

GRPO 以 SFT 检查点初始化，改为全模型微调，每个问题采样 8 个回答。奖励包含输出格式、几何执行器计算的任务准确性，以及抑制重复或冗长退化的正则项，对应权重为 0.1、1.0、0.2。这里不能把评测用的 VC、SES、RF 擅自写成三个独立训练奖励；正文表 6 列出的奖励只有格式、准确性、重复三项。

正文描述准确性由几何约束执行器计算，但未完整展开其容差、失败处理和奖励子项实现，因此仅凭正文还不足以重建完整训练程序。机制上的重点是让格式成为稳定前提，再把主要优化压力放在可验证的任务结果上，同时控制输出退化。

损失函数 / 训练策略¶

表 6 给出两阶段都使用 OmniCoT-T，数值精度为 BF16，最大序列长度 4096，最大生成长度 2048。SFT 使用余弦学习率调度，预热比例 0.03；表中未列 SFT 初始学习率，不作补填。

GRPO 学习率为 \(10^{-6}\)，生成组大小为 8。图 7 展示最初 6,000 个优化步骤的动态，这不是正文明确声明的总训练步数。格式奖励从 GRPO 开始就已饱和，与“先用 SFT 学好结构”的设计相符。

作者还报告 KL 变化有限、裁剪比例接近零与重复惩罚改善。这些是优化动态观察，不能单凭它们证明通用能力没有遗忘；仍需要独立的通用任务评测。

实验关键数据¶

主实验¶

OmniCoT-B 评测 12 个开源与 9 个闭源模型，输入为 ERP 全景、问题和默认三个空间锚点。下表摘自原文表 2；准确率以百分数报告，最后一列为原文的 CoT F1 分数。

模型	See	Locate	Move	Overall	CoT F1
Qwen2.5-VL-7B-Instruct	33.77	15.53	24.33	23.53	25.76
Qwen2.5-VL-72B-Instruct	52.03	23.69	35.05	35.26	35.39
Qwen3-VL-8B-Instruct	41.52	18.73	26.59	27.56	39.80
GPT-5	57.29	24.40	42.71	39.72	41.51
Gemini3-Flash	47.52	14.17	29.29	28.43	35.01

表 2 的未针对该数据集训练的模型中，Locate 均未超过 25%，说明关系链定位是突出短板。GPT-5 的总体准确率为 39.72%，但这不意味着它在所有推理质量指标上都最好。

消融实验¶

原文表 7 给出连续后训练阶段的比较。它能证明 SFT 后继续 GRPO 的增益，但没有提供“仅 GRPO、无 SFT”的控制组，因而不能分离两个阶段的全部交互效应。

配置	See	Locate	Move	Overall	CoT F1
Qwen2.5-VL-7B 基线	33.77	15.53	24.33	23.53	25.76
OmniCoT-R1，SFT	59.41	39.44	52.06	49.31	38.07
OmniCoT-R1，SFT+GRPO	67.97	51.82	61.34	59.54	51.14

SFT 使 Overall 增加 25.78 个百分点，后续 GRPO 再增加 10.23 个百分点，总增益为 36.01 个百分点。Locate 从 15.53% 增至 51.82%，说明提升不限于较容易的视角任务。

下表跨原文表 2 与表 5 对照模拟集和真实集的 Overall；差值为本笔记按“真实减模拟”计算的百分点，而非严格配对样本上的因果效应。

模型	OmniCoT-B	OmniCoT-Real	差值
Qwen2.5-VL-7B-Instruct	23.53	15.28	-8.25
GPT-5	39.72	29.45	-10.27
Gemini3-Flash	28.43	30.10	+1.67

关键发现¶

过程质量与正确答案并不等价：Qwen3-VL-8B 的 VC 为 85.09、SES 为 79.05，但 Overall 仅 27.56%（表 2）。这支持检查视觉落地，而非只奖励流畅推理。
CoT 不是普遍增益：GPT-5 从直接回答的 42.66% 降至 CoT 的 39.72%，下降 2.94 个百分点（表 3）。这是响应模式比较，不能据此断言某类模型永远不需要推理。
真实域退化不是无例外规律：Gemini3-Flash 的 Overall 从 28.43% 升至 30.10%（表 2、5）。同时，Qwen2.5-VL 的 7B 分数低于 3B，不能照搬正文“规模增长时稳步提升”的概括。

亮点与洞察¶

把题目难度绑定到全景输入的独特价值。要求更新视角、串联参照物和预测动作后果，比单纯增加问答数量更能检验模型是否使用全局布局。
把证据覆盖与步骤正确性分开。短而保守的回答可能 Precision 高却 Recall 低，这种区分可迁移到其他视觉多跳推理基准。
对齐训练和诊断的任务结构，而非只优化最终榜单。SFT 学证据组织、GRPO 学结果约束的组合，为小模型的定向后训练提供了清楚的基线。

局限与展望¶

作者强调合成到真实的泛化问题，但真实集只有 200 张室内全景，尚不足以覆盖室外、动态场景与长期交互；更大规模真实数据仍有必要。
自动生成和过程评分都依赖强语言模型。近 400 条抽检与 95% 接受标准不能排除系统性题型偏差，应进一步报告裁判一致性、失败分布和人工复核结果。
当前缓存没有补充材料。重述鲁棒性、投影鲁棒性、容差敏感性和数据规模实验仅在正文被提及，本笔记不补造其数字；图像分辨率、完整采样配置与执行器细节也不能从表 6 全部恢复。
表 7 没有 OmniCoT-R1 的真实集结果，也缺少 GRPO-only 对照。59.54% 不能被扩展解释为真实环境上的同等收益。
正文有少数过强概括：参数规模提升、锚点增加和真实域下降都并非逐模型单调成立。后续分析应以分模型表格为准，并加入置信区间与独立泛化评测。

评分¶

新颖性: 4/5。贡献集中在全局多跳任务体系、过程诊断与数据资源，而非新模型架构。
实验充分度: 4/5。覆盖 21 个模型、后训练阶段与真实集，但仍缺少若干关键控制和泛化结果。
写作质量: 3/5。主线明确，但部分概括超出表格支持，复现细节还依赖补充材料。
价值: 4/5。适合研究全景空间推理与有证据约束的视觉语言后训练。