UniVR: Thinking in Visual Space for Unified Visual Reasoning¶

会议: NeurIPS 2026
arXiv: 2607.12800
项目主页: https://UniVR.github.io/
领域: VLM推理
关键词: 视觉空间推理, 统一生成模型, 强化学习, VR-GRPO, 具身长程规划

一句话总结¶

针对传统 MLLM 局限于文本符号空间进行链式推理、无法建模连续物理动态与时空演化的问题，UniVR 提出了首个摆脱语言中介、直接在原生视觉空间学习异构推理与长程规划的统一生成框架，并通过结合全局完成度与局部高不确定性步骤聚焦奖励的 VR-GRPO 强化学习算法，在新建的大规模 VR-X 基准及经典多模态理解任务上取得突破性进展。

研究背景与动机¶

从原始视觉感官中直接归纳并汲取物理世界运转规律，是生物与通用人工智能的基石。在现实场景中，人类无需依赖密集的自然语言转录，便能在脑海中直接想象、模拟物体形变、机械交互和空间轨迹演进。然而，当前主流的多模态大语言模型（MLLMs，如 Gemini-3、GPT-5）主要遵循“文本驱动”范式：模型首先在抽象的符号空间中生成冗长的文本思维链（Chain-of-Thought），再交由图像/视频生成模型（如 Nano Banana、GPT-Image）作为条件进行逐帧渲染。这种间接方式天然受制于语言符号的固有抽象性，文本无法充分表征微观形变、三维空间遮挡、连续流体流动及复杂的接触动力学，导致生成的视觉演化轨迹频繁出现逻辑断层和严重违反真实物理规律的现象。

为了克服语言中介的表达瓶颈，近年部分研究尝试转向原生视觉建模：一些工作利用视频生成模型探索自动驾驶与机器人控制策略，另一些统一多模态生成模型（如 Emu3.5、Show-o2）尝试在离散 token 空间联合表征视觉与文本。然而，现有视频策略模型多局限于短时程动力学或单一任务设置；而统一生成模型则过度依赖密集图文对微调，且训练目标主要偏向娱乐性生成与艺术修图，缺乏对逻辑因果闭环与长程连续规划的建模机制。更严峻的是，当尝试在纯视觉空间统一学习高度异质的任务知识时（例如同时处理二维空间拼图与长达数分钟的衣物折叠/手工艺品制作），常规的监督微调（SFT）极易遭遇多任务冲突与次优解收敛。

面对这一系统性挑战，本文旨在探索智能体能否直接摆脱密集的语言监督，仅凭原始视觉演示轨迹完成从复杂长程规划到通用空间认知推理的学习。核心 idea：将多任务视觉推理统一表述为原生视觉空间内的自回归下一帧状态演化，并提出结合全局任务判决与不确定性峰值子步聚焦惩罚的强化学习算法 VR-GRPO，在无语言辅助下协同约束推演轨迹的整体完备性与局部物理因果自洽性。

方法详解¶

整体框架¶

UniVR 建立在统一离散自回归架构（基准模型为 34B 参数的 Emu3.5）之上，将异构视觉推理任务统一格式化为三元组：输入查询图像（Query Image）、简短任务指令（Instruction）以及自回归展开的视觉推理轨迹（Visual Reasoning Trajectory $x_{1:t}$）。两阶段训练流水线由冷启动初始化（Cold Initialization）与基于组相对策略优化的视觉推理强化学习（VR-GRPO）组成。在冷启动阶段，模型通过全参数 SFT 注入基本的视觉推理先验；在 RL 阶段，针对视觉演化过程中“全局看似合理、局部物理崩溃”的常见缺陷，VR-GRPO 引入互补的全局奖励与局部步骤聚焦奖励协同驱动策略探索。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询图像 + 任务指令"] --> B["自回归视觉轨迹生成<br/>统一离散 Token 空间自回归解码"]
    B --> C["轨迹评估与方差分析<br/>分组生成 K 条轨迹并提取 CLIP 特征"]
    C --> D["VR-GRPO 混合奖励计算<br/>全局完成度 + 局部高不确定性步骤聚焦"]
    D --> E["策略梯度优化<br/>无语言监督下的策略与物理自洽性更新"]
    E -->|持续迭代收敛| F["最终高质量视觉推理轨迹<br/>长程规划与物理因果保真"]

关键设计¶

1. 原生视觉空间思维建模：无语言中介的状态演化表征

针对传统范式中语言符号无法精准捕捉连续物理空间演进的痛点，UniVR 彻底摒弃中间文本思维链，直接在离散视觉 token 空间建模条件转移概率分布 $p(x_{t+1} \mid x_{1:t})$。前端借助 VQ-VAE 风格的图像离散化自编码器，将每张图像映射为 $1000 \sim 1500$ 个离散视觉 token，并支持与文本 token 的无缝序列拼接。在冷启动阶段，研究团队从 16 个异构数据源中提炼出 310k 条涵盖生活烹饪、机器人具身操作、迷宫寻路及几何空间编辑的高质量演示轨迹，通过时间感知场景采样（0.27 FPS）与严格的语义过滤，将所有任务规范化为统一格式，使基座模型初步建立视觉演进与多步因果关联的归纳偏置。

2. 组相对策略优化与步骤聚焦奖励：抑制奖励作弊与局部物理崩塌

在纯视觉长程轨迹中，使用在线 VLM（如 Qwen3-VL-30B）作为奖励模型往往存在明显的评估盲区：由于缺乏底层物理先验，评测模型倾向于过度关注画面清晰度与终态是否对齐目标，从而极易忽视中间过程发生的物理违规（如衣架穿透衣物、倒水过程中液体流态错误）。这导致常规全局奖励 $R_{\rm g}$ 频繁引发奖励作弊（Reward Hacking）。针对该问题，UniVR 设计了创新的 Step-Focal 局部聚焦奖励 $R_{\rm s}$。针对同一指令采样的 $K$ 条候选展开轨迹 $y_{1:K}$，首先利用 CLIP 图像编码器提取每帧特征嵌入 $\mathbf{z}_k(t) \in \mathbb{R}^d$，并计算轨迹间在各时间步的跨样本方差： $$\sigma(t) = \sqrt{\frac{1}{K}\sum_{k=1}^K \|\mathbf{z}_k(t) - \bar{\mathbf{z}}(t)\|_2^2}$$ 方差极大值点 $t^* = \arg\max_t \sigma(t)$ 表明策略在此处产生了最大的推演分歧与不确定性，对应最易出错的关键操作节点。系统在区间 $[t^* - W/2, t^* + W/2]$ 内截取局部关键动作片段，送入评测模型进行局部物理真实性与逻辑连贯性检验。

3. 相对胜率对齐与一致性联合惩罚机制：防范局部投机捷径

为消除 VLM 作为奖励模型时直接打分带来的标量绝对偏置，UniVR 全面采用成对比较（Pairwise Evaluation）协议分别计算候选轨迹的全局相对胜率 $R_{\rm g}$ 与关键子步相对胜率 $R_{\rm s}$。更重要的是，为了防止模型通过牺牲局部细节投机达成全局终态，最终推理奖励构造为带有偏差惩罚的联合函数： $$R_{\rm reason} = R_{\rm g} - \lambda |R_{\rm g} - R_{\rm s}|$$ 其中超参数 $\lambda$ 控制全局与局部的对齐强度（实验默认设为 2.0）。当模型在中间关键步骤发生物理逻辑崩溃而在终态侥幸过关时，$|R_{\rm g} - R_{\rm s}|$ 将形成剧烈惩罚，迫使模型在保证宏观目标完成的同时，必须严密维持全流程每一步的程序合理性与物理真实性。此外，显式引入格式奖励 $R_{\rm format}$ 约束输出分辨率统一性与轨迹步数契合度。

损失函数 / 训练策略¶

训练采用两阶段全参数方案。在冷启动阶段，使用 32 块 GPU 基于余弦学习率衰减进行 10k 步 SFT，初始学习率为 $5\times 10^{-4}$，最大上下文截断长度设为 15,000 token（包含约 10 步长程展开）。在 RL 阶段，基于开源 verl 强化学习分布式框架构建，采用 32 块 GPU 执行主干模型参数更新，并额外分配 8 块 GPU 部署 Qwen3-VL-30B-A3B 进行高吞吐在线胜率打分。RL 阶段学习率调低至 $1\times 10^{-5}$，组采样 rollout 大小 $K=8$，不确定性窗口大小 $W=4$ 帧，训练 250 步即稳定收敛，完全禁用 CFG 采样以提升训练吞吐。

实验关键数据¶

主实验¶

为了系统评估纯视觉空间的推理泛化能力，作者构建了大规模评测基准 VR-X，包含长程规划（视觉指引 Guidance、机器人操控 Robot）与通用认知推理（图像编辑 Editing、空间感知 Spatial、智力拼图 Puzzle、视觉搜索 Search）六大维度，采用 Qwen3.5-397B 综合评分（VLM 评分）及表征真实物理动态对齐度的 V-JEPA 特征分布 MMD 距离（JEPA 得分，越低越好）双重评测。

模型类别 / 方法	视觉思考	视觉指引	机器人操控	图像编辑	空间感知	拼图游戏	视觉搜索	综合均分↑	JEPA相似度↓
MLLM + T2I 管线
Qwen3-VL-235B + Qwen-Edit	✗	48.2	62.8	42.1	38.2	64.1	59.8	52.5	18.08
Qwen3.5-397B + Qwen-Edit	✗	47.0	63.2	39.8	40.4	65.6	64.5	53.4	18.64
GPT-5 + GPT-Image-1.5	✗	68.2	64.1	58.0	49.3	64.0	77.4	63.5	12.17
Gemini-2.5-pro + Nano Banana 1	✗	58.4	67.9	54.0	40.5	67.7	76.3	60.8	14.39
Gemini-3-pro + Nano Banana 2	✗	66.2	67.1	63.7	55.1	65.5	79.0	66.1	11.07
统一生成多模态模型
Janus-pro (7B)	✗	9.2	18.2	5.4	10.2	27.1	21.5	15.3	68.79
Show-o2	✗	15.1	22.5	13.0	17.1	29.4	35.8	22.2	59.93
Bagel	✗	25.2	34.7	20.9	21.3	35.1	47.7	30.8	40.88
Emu3.5 (Base 34B)	✗	38.6	42.8	32.7	35.3	43.4	46.2	39.8	33.62
UniVR (本文)	✓	59.5	68.0	48.5	46.5	62.2	64.3	58.2	13.01
相对 Emu3.5 净提升	-	+20.9	+25.2	+15.8	+11.2	+18.8	+18.1	+18.4	-20.61

消融实验¶

表 2(b) 深入剖析了 VR-GRPO 各奖励模块及评估协议对长程规划（LP）、通用推理（GR）以及物理动态一致性（JEPA）的贡献：

冷启动基线	全局奖励 $R_{\rm g}$	步骤聚焦奖励 $R_{\rm s}$	成对胜率评估	长程规划 (LP)↑	通用推理 (GR)↑	物理动态 (JEPA)↓	说明
✓	-	-	-	48.2	42.4	18.44	纯 SFT 冷启动模型
✓	✓	-	-	45.7	46.0	22.30	单独全局奖励：产生奖励作弊，JEPA 劣化
✓	-	✓	-	54.9	45.8	15.87	单独步骤奖励：强化局部因果，规划稳步提升
✓	✓	✓	-	61.6	53.7	12.89	全局+局部协同惩罚：显著规避作弊
✓	✓	✓	✓	63.8	55.4	13.01	引入成对胜率（Full VR-GRPO）：消除绝对打分偏差

在跨模态理解泛化评估中（表 2(a)），基于 UniVR 训练范式不仅优化了视觉生成，甚至全面反哺了多模态基准答题表现：在 MMMU 上从 0.292 提升至 0.337（+0.045），MME 感知得分从 781.1 跃升至 799.3，MM-Vet 从 28.0 提高到 35.6，证明在视觉空间磨炼物理因果逻辑能够有效增强模型底层的跨模态感知表征深度。

关键发现¶

单独全局奖励引发严重作弊：只给长轨迹终态打分时，模型倾向于跳跃式渲染终态高保真结果，中间步骤经常发生物体悬浮、部件穿模等严重违背物理规律的现象，导致 JEPA 得分从 18.44 显著恶化到 22.30。
长时程规划增益尤为显著：在时序切片评测中（表 5），对于大于 60 秒的超长时序推理，UniVR 相对 Emu3.5 基座提升达 23.9 点，远高于 10 秒以内短序列的 16.9 点，证实通过方差定位关键不确定性子步能有效抑制长程多步累积误差。
异构任务联合训练增益：在纯 SFT 阶段，联合训练因数据分布冲突导致表现弱于单独任务模型（长程规划 48.2 vs 53.6）；而在引入 VR-GRPO 自主策略探索后，联合训练大幅反超单任务训练（63.8 vs 61.5），展现了跨域泛化协同效应。

亮点与洞察¶

原生视觉空间推理的范式确立：摆脱了“语言先思考、图像做渲染”的传统束缚，证明自回归模型完全可以在没有密集文本 CoT 引导的情况下，直接从动态像素/离散视觉 token 的时空因果演化中习得复杂推理与物理规约。
方差驱动的无监督关键步挖掘：巧妙借助 Rollout 轨迹组在 CLIP 特征空间的互方差峰值定位模型推演最分歧、最薄弱的动作瓶颈，无需昂贵的帧级密集人工标注即可实现精准的局部聚焦奖惩。
视觉逻辑反哺多模态理解：实验揭示了一个令人振奋的洞察——在原生视觉空间培养连续的物理交互模拟能力，能直接促进通用多模态问答（如 MMMU、MathVista）的表现，为通用世界模型构建提供了崭新的技术路径。

局限与展望¶

计算资源开销大：模型基于 34B 参数规模展开长时程（最大 15k token）自回归生成与采样，训练与推断资源要求较高，难以在端侧轻量部署。
奖励模型先验天花板：当前仍依赖现有通用 VLM（Qwen3-VL）提供局部与全局胜率判别，而通用 VLM 自身在极端微观物理机制（如流体、弹性碰撞）上的认知依然存在偏差。
多模态协同思考机制待深入：本文主要侧重纯视觉空间的推理闭环，未来如何让内部原生视觉模拟与外部符号语言/听觉推理形成深层双向反馈与自适应切换，仍是开放的前沿课题。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出在统一视觉空间直接学习复杂推理与物理动力学的框架，并设计了独特的 Step-Focal 奖励机制。
实验充分度: ⭐⭐⭐⭐⭐ 构建了包含 6 大类任务的全新大规模 VR-X 基准，涵盖完备的对比基线、消融实验、外部迁移及跨模态泛化评测。
写作质量: ⭐⭐⭐⭐⭐ 论述清晰严谨，从动机、数学建模、实验对比到错误案例诊断层层递进。
价值: ⭐⭐⭐⭐⭐ 突破了文本中心化思维链的局限，为具身智能与多模态世界模型在非符号空间的原生思考奠定了重要基石。