VisGym: Diverse, Customizable, Scalable Environments for Multimodal Agents¶

会议: NeurIPS 2026
arXiv: 2601.16973
代码: https://github.com/visgym/visgym
领域: 多模态VLM
关键词: 多模态智能体、交互决策、视觉Gym环境、失败模式诊断、启发式求解器监督微调

一句话总结¶

VisGym 构建了包含 17 个长程视觉交互环境的基准测试与训练平台，通过参数化控制观测结构、动力学与反馈，对 12 款前沿多模态大模型进行跨领域受控诊断，揭示了长上下文反向缩放与视觉感知瓶颈，并通过显露信息的专家示范微调实现了显著的泛化提升。

研究背景与动机¶

人类在日常生活中解决复杂任务高度依赖于感知、记忆与跨步决策的紧密闭环，例如操纵实体工具、操作复杂交互界面或在未知三维环境中探索导航。视觉语言大模型（VLM）虽在静态视觉问答、跨模态多选题及纯文本多步任务（如网页检索、代码生成）中表现出色，但当视觉感知被置于多轮交互式序贯决策中时，模型的行为特征与瓶颈机制仍然缺乏系统理解。以往针对机器人操作、GUI 桌面智能体或电子游戏的研究虽然报告了低成功率、视觉定位脆弱和泛化性能差等现象，但这些分析往往局限于特定单一领域，且多停留在现象观察层面，无法跨任务对上下文长度、模态表征、环境反馈设计和目标可见性等通用维度进行严格受控的变量隔离与机制诊断。

现有交互式决策评测基准普遍面临几个关键矛盾：一方面，多数评测环境缺乏多样性或仅支持离散评测，难以低成本生成大规模具备多步真值监督的训练示范轨迹；另一方面，环境动力学、状态完全可观测性与视觉输入复杂度的混杂，使得研究者难以剥离模型失败到底源于高阶长程规划能力欠缺，还是受制于底层视觉定位或工作记忆退化。为了突破跨领域评测的割裂现状，亟需一个兼具高多样性、灵活参数化配置、统一函数调用动作接口和内置启发式真值求解器的视觉交互决策平台。

针对上述挑战，本文的研究思路是通过基于 Gymnasium 构建跨越符号拼图、真实图像几何与时序重构、三维主动导航及物理仿真机械臂操作的多领域长程环境集合，为每个任务配备具备随机探索能力的启发式多步专家求解器，并在统一步长接口下对交互历史截断、文本/图像表征转换、语言反馈剥离及最终目标先验提供精确的控制变量支持。核心 idea：构建包含 17 个涵盖不同观测与动力学特性的长程多模态环境基准 VisGym，借助参数化配置与启发式多步求解器，对前沿视觉语言智能体开展跨领域受控变量诊断与显露信息式微调示范构建。

方法详解¶

整体框架¶

VisGym 基于强化学习标杆框架 Gymnasium 进行面向视觉语言智能体的系统化重构。智能体在每个时间步 \(t\) 接收多模态交互历史 \(H_t = \bigl(I, \{(o_\tau, a_\tau, f_\tau)\}_{\tau < t}\bigr)\)，其中 \(I\) 为初始任务自然语言指令与函数规范说明，\(o_\tau \in \mathbb{R}^{H \times W \times C}\) 为渲染后的视觉观测（或可选的 ASCII 纯文本等价表征），\(a_\tau\) 为智能体输出的参数化函数调用动作，\(f_\tau\) 为环境即时反馈的文本状态提示。智能体在执行动作后接收下一个视觉观测与执行反馈，直到达到最大步长或主动调用终止动作 stop()。

在系统架构上，VisGym 统一解耦了环境任务定义、步长解析验证流水线与专家求解器。每个任务独立配置初始观测渲染器、动力学模拟器以及覆盖连续与离散难度的参数控制器；统一步长流水线负责从自由文本中稳健提取函数名与参数元组，验证合法性并执行状态更新；同时，内置的启发式求解器可自适应合成确定性或包含可逆探索行为的多步示范轨迹，不仅为无监督评估提供闭环基线，更直接支持跨领域的监督微调（SFT）与在线强化学习（Online RL）数据供给。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务指令与当前视觉观测<br/>Instruction I + Observation o_t"] --> B["函数式动作解析与合法性验证<br/>Function-Conditioned Parser"]
    B -->|格式错误或越界| C["文本反馈即时阻断<br/>Format / Bounds Feedback f_t"]
    B -->|合法函数调用| D["环境动力学更新与渲染<br/>Gym Transition & Visual Render"]
    D --> E["终止判定与奖励评估<br/>Termination Check & Reward"]
    E -->|未结束| F["组装交互历史 H_t<br/>History Buffer (o_t, a_t, f_t)"]
    F -->|多轮决策闭环| A
    E -->|终止| G["输出二值任务胜负奖励<br/>Binary Success Metric"]
    H["启发式多步专家求解器<br/>Oracle Multi-Step Solver"] -.->|合成状态显露式轨迹| I["SFT 与在线强化学习数据管线<br/>Demonstration & RL Pipeline"]

关键设计¶

1. 函数条件化动作空间与自省反馈机制：解耦高阶语义决策与低阶底层控制

传统强化学习环境通常依赖于定长的离散索引或连续数值控制向量，这类形式割裂了视觉语言模型固有的函数调用（Function Calling）与跨任务知识迁移优势。VisGym 抛弃了黑盒数值动作编码，将全部 17 个环境的操作抽象为显式语义函数调用及受约束的参数空间，例如拼图环境中的 swap((r1, c1), (r2, c2))、三维旋转中的 rotate([dy, dp, dr]) 以及机械臂控制中的 move([x, y, z]) 和 gripper(g)。在任务启动前，环境将完整的函数签名、取值范围约束及任务说明整合入输入 Prompt，使零样本大模型无需特定动作适配即可直接开展多步规划。

与此同时，真实世界与物理仿真中智能体难以仅凭相邻两帧微小视觉变化精确推断动作合法性与环境边界。VisGym 设计了结构化文本反馈通道 \(f_\tau\)：当模型输出不可解析字符、超出坐标边界或尝试执行违反物理法则的操作（如迷宫中撞墙或滑动拼图中撞向被占据格）时，环境不仅返回维持原状的图像观测，同时附带精确的错误反馈（如 "Cannot move into a wall" 或 "invalid format"），并显式更新当前剩余交互步数配额。这一机制为模型提供了纠偏信号，将因语义解析错误导致的失败与长程逻辑决策失效解耦开来。

2. 双模态表征与控制变量环境设计：隔离感知瓶颈与长程规划缺陷

为精准定位当前 VLM 智能体的能力短板，VisGym 在环境层面引入了跨模态和跨信息维度的受控扰动机制。首先，针对 Matchstick Equation、Maze 2D、Patch Reassembly 和 Sliding Block 四类结构化任务，平台开发了与原始 RGB 视觉渲染完全一一映射的 ASCII 纯文本等价观测表征。通过消除底层视觉编码器对像素布局、边缘和色块的解析负担，研究者能够直接对比模型在纯文本符号推理与图像感知推理之间的性能差异，从而判断瓶颈在于空间思维能力还是视觉图元接地（Visual Grounding）缺陷。

此外，VisGym 支持在交互过程中对历史窗口长度实施动态截断（单轮、保留前 1-3 轮或全长无界历史）、对中间环境语言反馈进行完全遮蔽（只依赖图像逐帧状态变迁），以及在任务开始时显式提供最终目标观测图像 \(o_{gt}\)。这种多维度的开关式控制能力使 VisGym 从单一的成功率跑分平台升维为具备细粒度诊断能力的因果测试台，能够量化观察上下文膨胀导致的注意力稀释、缺乏语言确认时的感知迟钝以及目标误检诱发的早熟终止效应。

3. 启发式真值求解器与信息显露式示范策略：打破部分可观测与未知动力学屏障

多模态决策算法的后训练（Post-training）严重受制于高质量多步示范数据的匮乏。VisGym 为全部 17 个环境设计了内置的解析式或图搜索真值求解器（Oracle Solvers），例如基于广度优先搜索（BFS）计算滑动拼块与火柴算式最短路径、基于 Dijkstra/A* 图搜索计算二维与三维迷宫最优路径，以及基于分层有限状态机（FSM）驱动 MuJoCo 机械臂完成安全抓取与搬运。求解器不仅能够输出理论最优极短路径，还支持可逆随机扰动采样（如插入试错性的推拉动作对后即时撤销），从而合成了长度分布可调、探索覆盖多样的监督示范集。

更关键的是，针对部分可观测马尔可夫决策过程（POMDP）及未校准动力学环境，标准贪心最短路径往往无法为智能体提供环境隐变量的有效先验。VisGym 提出了“信息显露式”（Information-revealing）示范轨迹生成设计：在未知缩放比例的 Matchstick Rotation 任务中，求解器先执行两个已知单位长度的探测动作以标定像素位移与动作步长之间的比例映射，随后执行最终对齐；在存在视角遮挡的三维物体旋转（Mental Rotation 3D Objaverse）中，求解器先沿着主几何轴线执行完整 360 度循环旋转以完全揭示物体背部纹理与几何拓扑，再收敛至目标姿态。该策略让模型通过模仿学习主动获取观测信息，解决了部分可观测下策略由于感知混淆而无法学习的痼疾。

实验关键数据¶

主实验¶

在 VisGym 17 个长程交互环境中对 12 款主流视觉语言模型（覆盖前沿商业闭源模型、顶级开源权重模型及 GUI 专用模型）进行系统评测，每项任务分别评估简单（Easy，上限 20 步）和困难（Hard，上限 30 步）两种难度设定，每任务各评估 70 轮独立轨迹。

模型类型	评估模型	Easy 平均成功率 (%)	Hard 平均成功率 (%)	特性与任务强弱表现
闭源前沿	Gemini 3 Pro	46.61	26.00	全场基线最高，底层视觉感知突出，但困难任务严重掉点
闭源前沿	GPT-5	42.15	24.85	长视觉上下文耐受度最好，Matchstick Rotation 及长尾步数较优
闭源前沿	Gemini 2.5 Pro	41.80	22.30	空间拓扑与局部对齐最强（Jigsaw/Maze2D/Sliding Block 优异）
闭源前沿	Claude Sonnet 4	35.20	18.70	动作循环与边界死锁较少，步数分布集中于短轨迹
闭源前沿	Grok 4 Fast	31.40	15.60	复杂三维与部分可观测环境下状态追踪退化明显
闭源前沿	Qwen-VL-Max	28.90	14.10	依赖直接图像线索，多步推演稳定性不足
开源通用	Qwen3-VL-235B-Instruct	36.80	20.40	开源最高，细粒度目标定位最强（Referring Dot-Pointing 领先）
开源通用	GLM-4.5V	29.50	15.20	跨模态文本指令跟随尚可，几何旋转与物理抓取极弱
开源通用	Llama-4-Maverick	27.10	13.80	轨迹步数分布急剧衰减，3-5 步后成功概率骤降
开源通用	Qwen-2.5-VL-72B-Instruct	25.40	12.60	计数（Counting）任务表现优秀，长程规划频繁动作死循环
开源通用	Gemma 3-27B-Instruct	18.20	8.90	极易出现提早认输（Giving Up）与主动提前 `stop()`
垂直专用	UI-Tars-1.5-7B	14.30	6.50	动作死循环率高达 87%，状态管理失效高达 35%
微调对比	Qwen2.5-VL-7B (SFT 混合)	59.00	21.00	在见过的 Easy 任务上超越所有闭源模型，Hard 泛化有限
微调对比	Qwen3-VL-8B (SFT 混合)	64.00	39.50	相同微调设置下跨难度泛化大幅超越 2.5 代，接近翻倍

核心诊断与消融实验¶

利用 VisGym 独特的受控扰动接口，针对历史长度、表征模态、反馈去除和目标先验等关键维度进行的因果对照分析：

诊断测试维度	实验对照组设定	核心测试环境 / 代表模型	平均成功率 / 指标表现	关键因果发现与现象说明
上下文历史长度 (Turns Kept)	1 轮 (当前帧) 2 轮 (当前+前1轮) 4 轮 (当前+前3轮) \(\infty\) (全长无界历史)	Maze 2D, Sliding Block, Fetch Reach, Match Rotation (测试 GPT-5 / Gemini 2.5)	1轮: 18.5% 2轮: 27.2% 4轮: 36.8% \(\infty\)全历史: 24.1%	呈现显著“倒 U 型”曲线。适度上下文提供动力学参照，无界历史引入冗余图像导致注意力稀释与反向缩放
观测表征模态 (Vision vs. Text)	原始视觉图像 (Image) 纯 ASCII 符号文本 (Text)	4 项结构化任务 (Patch, Maze, Sliding Block, Match) GPT-5	Image: 14.5% Text (ASCII): 48.2%	GPT-5 在 ASCII 下性能飙升 3-4 倍，证实其高阶推理能力完备，主要瓶颈在于底层视觉接地
环境语言反馈 (Language Feedback)	完整文本反馈 (With Feedback) 完全剥离反馈 (No Feedback)	Maze 3D, Maze 2D, Sliding Block, Match Equation (全部主力模型)	With FB: 29.4% No FB: 17.8% (平均降幅 >35%)	所有模型性能一致剧烈衰退，表明当前 VLM 无法仅靠视觉像素变化推断碰撞与越界，高度依赖文本状态提示
首步目标先验 (Goal Observation)	无目标图像 (No Final Obs.) 提供目标图像 (With Final Obs.)	Jigsaw, Colorization, Patch Reassembly (Gemini 2.5 / GPT-5)	Jigsaw/Patch: 显著提升 Zoom-In/Match: 异常衰减	明确目标可大幅降低逆向推演难度，但在局部微小差异任务中，模型误判已达标而发生过早终止率上升至 80%
微调数据探索策略 (Data Curation)	标准贪心移动 (3 Moves) 信息显露探测 (2 Units + 1 Move)	Matchstick Rotation (未知动力学) Qwen2.5-VL-7B SFT	3 Moves: 32.9% 2 Units+1: 70.0%	通过前期单位步长探测标定比例系数，成功率翻倍；证实 SFT 价值取决于示范是否暴露隐变量而非单纯样本量
模块微调协同性 (Module Specificity)	仅微调 Vision Encoder 仅微调 LLM Backbone 两模块联合全量微调	VisGym 全集任务分布 (见文中协同分析)	Vision: 局部空间对齐有益 LLM: 贡献核心主导增益联合微调: 效果最佳	LLM 主导时序历史整合与因果决策；在 POMDP 和复杂动力学中，时序推理是较视觉编码更深层次的瓶颈

关键发现¶

前沿 VLM 整体通过率严重偏低：在 20-30 步的长程约束下，即便是综合实力最强的 Gemini 3 Pro 与 GPT-5，在 VisGym Hard 设定下的成功率也仅为 26.0% 与 24.85%，开源大模型普遍徘徊在 10%-20%，展现出视觉长程决策能力的巨大空白。
四大典型失败模式主导错误轨迹：StringSight 自动化错误聚类分析表明，模型受挫主要归咎于：(1) 动作死循环（Action Looping），占错误轨迹的 60% 以上，智能体面对不确定性时倾向于以固定步长反复振荡；(2) 状态管理失效（State Mismanagement），无视前几轮关于“撞墙”的反馈提示，持续重试非法操作；(3) 过早放弃与终止（Early Termination）；(4) 视觉空间线索忽视，对物体移出视野或已对齐目标视而不见。
更强的基座大模型带来跨难度泛化质变：仅使用简单难度（Easy）示范数据训练时，Qwen2.5-VL 与 Qwen3-VL 在训练分布内的 Easy 任务上表现接近（59% vs 64%），但面对未见过的网格变大、拼块增多或视角翻倍的 Hard 任务时，Qwen3-VL 取得了 39.5% 的成功率，接近 Qwen2.5-VL（21.0%）的两倍，证明更强基座的内在视觉常识可显著放大模仿学习的泛化边界。

亮点与洞察¶

多领域可定制 Gymnasium 架构：将视觉 Gym 从传统的固定像素与连续电机控制推向由文本函数定义、可参数化调节难度与信息通道的开放多模态体系，为视觉智能体研究提供了规范标准。
视觉长上下文的反向缩放瓶颈：实验打破了“视觉上下文越长越好”的直觉，揭示了无界图像历史会导致注意力干扰与表征漂移，为未来智能体系统设计自适应记忆压缩与状态摘要机制提供了直接依据。
信息显露式（Information-revealing）SFT 数据策展范式：证实了在部分可观测与隐式物理参数任务中，主动进行感知校准与状态探查的专家示范远比机械式的端到端最短路径更具泛化价值，为模仿学习的数据生成指明了新范式。

局限与展望¶

动作执行依赖高层语义离散化：当前环境以高层函数调用为主，尚未完全打通像底层连续关节力矩控制、高频实时视觉伺服控制（Visual Servoing）这种毫秒级闭环动力学场景。
符号环境向开放域真实物理迁移的差距：部分任务（如 ASCII 变体、火柴棍算式）仍具备较强的符号合成特征，在真实机器人操作中普遍存在的传感器噪声、复杂材质反光与软体形变尚未充分涵盖。
自动化诊断分类器自身的评估开销：轨迹归因依赖 GPT-4.1 等外部大模型进行语义聚类分析，多模态深层视觉差错分析因成本制约无法全面覆盖所有消融设置，未来需探索更轻量轻便的交互白盒评估探针。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出兼具参数化变量隔离、长程多域覆盖与 Oracle 求解器的视觉多模态 Gym 平台。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 12 款主流前沿模型，设计了历史截断、模态消融、反馈剥离等多组严谨受控实验及微调验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，实验归因深刻，图表与附录详实详尽。
价值: ⭐⭐⭐⭐⭐ 为多模态交互智能体（VLM/VLA Agent）的机理诊断、数据构建与算法训练设立了高价值基准。