OpenView: Empowering MLLMs with Out-of-view VQA¶

会议: NeurIPS 2026
arXiv: 2512.18563
代码: https://github.com/q1xiangchen/OpenView
领域: 多模态大模型
关键词: 视场外视觉问答, 全景图像理解, 多模态大模型, 数据合成管线, 空间推理

一句话总结¶

本文针对当前多模态大模型局限于视野内图像推理的盲区，提出了基于全景图像构建视野外（Out-of-view, OOV）多选问答的自动合成管线 OpenView，构建了包含 15.8 万个样本的高质量微调数据集 OpenView-Dataset 与基准评测集 OpenView-Bench，使多种开源 MLLM 的 OOV 综合推理准确率从 48.6% 大幅跃升至 64.1%。

研究背景与动机¶

当人类浏览相册时，往往能凭借常识记忆与空间感知，自然推断出照片画框之外未拍摄到的周围环境、物体分布与潜在事件。这种超越当前可见视野（Field of View, FoV）的“视场外理解”（Out-of-view Understanding, OOV）是人类视觉智能的基本组成部分。近年来，多模态大模型（MLLM）在通用图文理解、文档解析、数学推导乃至具身规划等各类 VQA 任务上展现出强大能力，但现有评测体系与监督信号几乎完全聚焦于画框之内的“视野内”（In-view）视觉线索。这种视野局限性导致 MLLM 在面对需要空间连续性感知与全局上下文外推的实际任务（如机器人自主导航、视角外展补全、具身交互与世界模型构建）时频频受挫。

构建视场外推理训练数据面临严苛的技术壁垒。如果依赖人工标注，不仅成本高昂，且难以在大规模场景中保证空间一致性与逻辑自洽；若简单采用传统图像裁剪子图来构建合成数据，由于缺乏对未观察区域真实全局环境的先验真值，合成的问答极易引入严重的事实性幻觉、逻辑漂移与视角畸变。全景图像虽然天然具有 $180^\circ \times 360^\circ$ 的无死角环境覆盖能力，但由于等距柱状投影（Equirectangular Projection）存在严重的球面几何畸变，直接让视觉语言模型对其进行问答设计极易引发空间定位失准和低质生成。

为了打破这一僵局，本文提出以全景多源图像为物理真值锚点，将全景投影分割与透视切片分析相结合，研发出一套高度自动化的四阶段 OOV VQA 生成管线 OpenView。核心 idea：利用全景图像的全局空间先验消除画框外幻觉，通过网格化透视切片分析建立场景语义地标，自动化合成兼具全局上下文推理（Contextual）与相机转向空间感知（Directional）的高质量 OOV 问答与逐选项逻辑链，为 MLLM 赋予可靠的视野外空间想象与外推能力。

方法详解¶

整体框架¶

OpenView 是一套流式、高效且高度可扩展的四阶段自动化多选 VQA 数据合成与质量增强管线，分为“全景场景标注”与“多选 VQA 构建”两大模块。整个管线以大尺度真实全景图像/视频为基础，采用强大的视觉语言模型（Qwen2.5-VL-72B）作为辅助智能体协同完成多阶段任务。管线首先通过数据预处理器（Stage 1）对海量全景图进行严格的几何投影校验、伪影模糊剔除与多帧时序一致性筛选；随后通过视觉分析器（Stage 2）将球面全景解耦为 12 个局部透视切片并提取局部空间定位与全局综合摘要；在问答生成器（Stage 3）阶段，辅助模型根据视角元数据框定逼真的无横滚视角（zero-roll），自动生成包含情境推理或方向旋转的 OOV 问题、5 个选项及反思性思维链；最后，提案优化器（Stage 4）进行严格的格式修正、置信度阈值过滤、选项乱序消除位置偏差以及轻量视角抖动数据增强，形成最终的高质量 OOV VQA 数据集与基准评测集。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["多源全景图像/视频集合<br/>(Matterport3D, 360-1M 等)"] --> B["数据预处理与多维质量过滤<br/>投影完整度/伪影/时序一致性"]
    B --> C["网格化透视投影切片与空间语义分析<br/>12个透视Patch解耦+UV坐标+全局摘要"]
    C --> D["自由视角框定与选项逻辑链生成<br/>Contextual/Directional 双任务 + 5选项与依据"]
    D --> E["格式精修置信度过滤与增强<br/>满分置信度保留 + 选项打乱 + 视角微小抖动"]
    E --> F["输出: OpenView-Dataset (15.8万训练对)<br/>与 OpenView-Bench (1327评测基准)"]

关键设计¶

1. 网格化透视投影切片与空间语义分析：解耦球面畸变与建立局部空间锚点 直接输入等距柱状投影（Equirectangular）的全景图会导致 MLLM 难以解析严重的极区拉伸与几何畸变。为此，OpenView 将每个全景场景划分为 3 行 4 列共 12 个带有重叠区域的透视投影切片（Perspective Patches）。每个切片严格绑定内外参元数据，包括对角视场角（FoV）、宽高比以及由归一化 UV 坐标 $(u, v \in [0, 1])$ 映射得到的偏航角（Yaw）和俯仰角（Pitch）。辅助模型对每个局部 Patch 生成局部描述、识别 9 宫格方位（如左上、中央、右下）的目标分布并建立空间拓扑图，最后聚合生成场景级别全局功能分类与室内外状态摘要。这种将全景连续空间离散化为规则透视切片的方案，既规避了球面畸变，又为后续视角外推提供了精确的真值语义地标支撑。

2. 自由视角框定与双重任务提案生成：情境推断与方向感知协同 在构建 VQA 题目时，系统依据切片元数据在全景图内灵活框定透视视角。为贴近现实拍摄习惯并剥离复杂的相机外参几何解算干扰，算法强制设定相机的横滚角（Roll）为 0 度，保持视轴垂直于重力方向。基于选定视角和画框外的全景真值环境，设计两类正交的 OOV 任务：情境推理任务（Contextual）要求模型从可见线索反推未见区域的整体环境功能与隐藏活动（如根据可见的跑道碎片判断画框外存在操场体育设施）；方向旋转任务（Directional）则显式模拟相机旋转（例如“若向右旋转 $90^\circ$ 会看到什么”），考验严格的空间几何变换能力。每道题目生成 5 个选项，其中最后一个选项固定为干扰项（如“A和C均正确”或“以上皆无”），迫使模型进行排他性推断。

3. 逐选项双向推理逻辑链构建：引导结构化因果学习与归因解释 为避免模型仅学习浅层统计偏差或蒙猜答案，提案生成器在输出选项的同时，为每一个选项（包括 1 个正确选项与 4 个干扰选项）生成详细且具有辨别力的判定依据（Rationale）。正确选项阐明画框内视觉线索与画框外客观真值的推导链条，错误选项则明确指出其违背物理空间布局或场景逻辑的具体矛盾。每个生成样本平均包含 190 个词的密集思维链，使 MLLM 在微调监督过程中不仅学会“选什么”，更能学会“为什么选”以及“画框外为什么不可能存在某物”，从根本上抑制了视觉幻觉。

4. 质量精修、全置信度过滤与无损几何抖动增强：消除偏差与保障高保真度 为消除自动生成中常伴随的格式瑕疵、选项分布偏置与平凡无效问题，管线设置了严格的多重质量控制。首先，由模型对生成的题目进行 1 至 3 分的整体质量置信度自评，仅保留评分为 3 的满分提案，并自动修复轻微格式缺陷；其次，引入选项随机洗牌机制（Option Shuffling），打破生成模型固有的选项位置偏好，消除通过记忆选项位置作弊的可能；最后，引入视角扰动增强（View Jittering），在偏航角和俯仰角上施加 $\pm 3.6^\circ$ 的微小随机旋转。这种微小视角扰动在维持原有 VQA 语义和逻辑答案不变的前提下，大幅扩充了视觉表征的多样性与空间鲁棒性。

损失函数 / 训练策略¶

在模型训练阶段，作者采用 LoRA（Low-Rank Adaptation）对开源视觉语言模型的主干网络进行监督微调（SFT），全程冻结视觉编码器（Vision Tower）。针对不同规模的模型配置不同的超参数： - 对 LLaVA-NeXT-Mistral-7B 与 InternVL3.5-8B，设定 LoRA rank $r = 8$、scaling factor $\alpha = 16$、batch size 为 8； - 对 Qwen2.5-VL-7B 与 Qwen3-VL-8B，设定 LoRA rank $r = 64$、scaling factor $\alpha = 64$、batch size 为 128；所有模型在 2 张 NVIDIA A100 80GB GPU 上微调 1 个 epoch，学习率统一设定为 $1 \times 10^{-4}$。损失函数采用标准的自回归交叉熵目标： $$\mathcal{L}_{\text{SFT}} = - \sum_{t=1}^T \log P(y_t \mid y_{<t}, X_v, X_q)$$ 其中 $X_v$ 为框定的透视投影图像输入，$X_q$ 为整合了统一推理引导词的 VQA 提示词，$y$ 包含模型预测的逐选项推理依据（Rationale）及被 <answer>...</answer> 标签包裹的最终选项字符。

实验关键数据¶

主实验¶

在由多轮人工核验构建的 OpenView-Bench（包含 1,327 道均衡分布的测试题）上，作者评测了多款前沿闭源商业模型、主流开源 MLLM 以及微调后模型的性能。评测指标包含选项准确率（Choice Accuracy）、依据合理性准确率（Rationale Accuracy，采用 DeepSeek V3.1 进行 GPT-as-a-judge 二值判定）以及两者同时正确的联合准确率（Joint Accuracy）。

模型类别 / 模型名称	Contextual Joint (%)	Directional Joint (%)	Overall Choice (%)	Overall Rationale (%)	Overall Joint (%)	联合准确率提升
人类表现 (Human-level)	-	-	83.00	-	-	基准基准
闭源前沿模型
GPT-4o-mini	51.73	33.23	57.35	74.11	42.50	-
GPT-4o	59.70	32.33	62.09	74.15	46.04	-
Gemini-2.5-flash	70.07	53.17	65.18	94.57	61.64	-
GPT-5	68.42	55.14	62.25	99.27	61.79	-
开源基座模型
LLaVA-NeXT-Mistral-7B	22.71	8.91	35.49	44.59	15.82	-
GLM-4.1V-9B-Base	46.16	23.56	52.22	66.81	34.89	-
GLM-4.1V-9B-Thinking	44.21	32.33	49.59	77.20	38.28	-
InternVL3.5-8B	44.66	23.56	51.77	65.94	34.14	-
Qwen2.5-VL-7B-Instruct	42.86	23.87	54.41	61.36	33.38	-
Qwen3-VL-8B-Instruct	53.23	42.90	52.90	90.88	48.08	-
MiniCPM-V 4.5	62.10	49.70	63.07	88.65	55.91	-
开源微调提升 (+OpenView-Dataset)
LLaVA-NeXT-Mistral-7B + Ours	60.15	39.27	60.74	81.89	49.74	+214% (相对)
InternVL3.5-8B + Ours	57.29	38.82	58.48	82.22	48.08	+41% (相对)
Qwen2.5-VL-7B-Instruct + Ours	68.42	46.83	67.07	85.96	57.65	+63% (相对)
Qwen3-VL-8B-Instruct + Ours	70.67	46.83	69.93	84.05	58.78	+22% (相对)

消融实验¶

在 5,000 张全景图采样子集（48,296 条训练样本）的配置下，作者对视觉分析器（Visual Analyzer, VA）和提案优化器（Proposal Refiner, PR）的模块有效性进行了系统消融。

测试基座模型	视觉分析器 (VA)	提案优化器 (PR)	Overall Choice (%)	Overall Rationale (%)	Overall Joint (%)	相比完整配置差距
InternVL3.5-8B	✗	✓	58.40	74.84	43.71	-0.22%
	✓	✗	56.59	73.64	41.67	-2.26%
	✓	✓	57.42	76.51	43.93	基线完整
Qwen2.5-VL-7B	✗	✓	64.05	83.29	53.35	-3.25%
	✓	✗	63.07	81.24	51.24	-5.36%
	✓	✓	67.40	83.99	56.60	基线完整

关键发现¶

人类与模型存在巨大认知鸿沟：人类测试者在未见全景的前提下凭借常识与空间感知可取得 83.00% 的准确率，而所有开源基座模型原始联合准确率均显著偏低（LLaVA 仅 15.82%，主流 7B/8B 普遍在 33% 左右）。模型普遍表现出“能猜对选项、但给不出正确解释”的浅层模式。
微调带来全面而稳健的跨越：在 OpenView-Dataset 上进行微调后，4 款开源模型展现出极大的性能飞跃，其中 LLaVA-NeXT-Mistral-7B 联合准确率相对暴增 214%，Qwen2.5-VL-7B 联合准确率提升 24.27 个绝对百分点（达到 57.65%），微调后的 Qwen3-VL-8B 联合准确率达 58.78%，逼近顶级商业模型水平。
方向旋转题难度远高于情境推理题：所有模型在 Directional 任务上的表现明显落后于 Contextual 任务（例如 GPT-4o 的 Directional Joint 仅 32.33%，而 Contextual 为 59.70%），表明当前大模型的绝对空间几何推理与坐标系旋转感知仍是极其薄弱的短板。
数据规模具备单调收益：当训练全景图数量从 1k（9,596 样本）逐步扩增至 16k（158,352 样本）时，Qwen2.5-VL-7B 的联合准确率从 42.50% 稳步攀升至 57.65%，表明大规模空间监督对建立全局空间一致性至关重要。

亮点与洞察¶

将全景图作为 OOV 无幻觉真值发生器：利用 $360^\circ$ 全景真实世界捕捉消除传统子图裁切面临的“画框外真值缺失”问题，从数据物理源头根除了自动标注常见的幻觉与事实漂移。
解耦球面畸变的透视切片代理表征：通过 12 个局部透视 Patch 与 UV 坐标参数化表达全景空间，使标准透视视觉编码器能够精确提取局部地标与空间拓扑，巧妙跨越了全景几何畸变的技术阻碍。
双向归因的密集选项级逻辑链设计：不仅标注正确答案，更强制生成干扰项的排除证据，有效破除了 MLLM 的虚假相关性捷径，使微调后的模型真正掌握了合理的空间几何与物理因果推理。
赋能下游全景外画（Outpainting）的文本引导：将微调后的 MLLM 作为邻域视角外推描述器，以步进 $45^\circ$ 循环推断相邻视角的连贯文本，显著提升了扩散模型（如 MVDiffusion）生成外展全景画面的空间合理度与局部细节丰富度。

局限与展望¶

零横滚角（Zero-roll）设定的物理简化：为了聚焦于纯粹的视场外语义与旋转推断，本文强制限制透视视角为水平拍摄（roll=0）。然而现实世界中无人机、手持设备或自动驾驶车辆常常伴随剧烈的颠簸、俯仰与倾斜，未来需将三维姿态全自由度（6-DoF）的坐标变换融入 OOV 理解。
静态单帧场景向动态物理世界的延展：当前问答主要围绕静态全景图与环境展开，对于动态物体轨迹外推、因果动作预测（如画框外驶来车辆的碰撞预测）尚显不足，未来应进一步向连续全景视频与动态具身世界模型延伸。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 开辟了 MLLM 视场外推理（OOV）这一全新评估与训练维度，设计了严谨的全景自动生成闭环。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 16 款闭源与开源基座大模型、严格的用户实验对照、详尽的模块消融与下游外画拓展任务。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密流畅，问题陈述切中核心痛点，数据构建机制与图表呈现清晰扎实。
价值: ⭐⭐⭐⭐⭐ 为具身智能、空间感知、全景内容生成及多模态大模型的空间常识注入提供了坚实的基础设施与评测基准。