MMSkills: Towards Multimodal Skills for General Visual Agents¶

会议: NeurIPS 2026
arXiv: 2605.13527
OpenReview: https://openreview.net/forum?id=up4CskJQ0w
代码: https://github.com/zkangning/MMSkills_for_Visual_Agents
领域: 多模态VLM
关键词: 多模态技能, 视觉智能体, 具身与GUI决策, 分支加载, 状态卡片

一句话总结¶

针对传统智能体技能库仅依赖文本而缺乏状态视觉线索的瓶颈，提出将可复用经验组织为耦合文本过程、运行时状态卡片与多视角关键帧的多模态技能包（MMSkills），并结合自动化生成管线与分支加载机制，在GUI与游戏基准上大幅提升多模态智能体的长程决策与完成效率。

研究背景与动机¶

近年来，可复用技能（Skills）已成为拓展大语言模型与多模态智能体能力边界的核心基石，主流方案普遍将成功经验抽象为文本提示、执行代码或动作图谱。然而，对于工作在图形用户界面（GUI）或视觉开放世界（如Minecraft、Mario）中的通用视觉智能体而言，程序性知识本质上是高度多模态的：智能体在每一步不仅要知道“执行什么操作”，更必须依赖细粒度的视觉线索去判断“当前环境是否处于合法状态”、“界面弹窗是否已加载完毕”、“动作是否已产生预期推进”或“任务是否已经达成”。

这种高度依赖视觉状态的决策特性，使得现存技能表示陷入了两难困境。单纯使用文本描述技能，语言表述往往极度冗长却依旧歧义重重，无法精准传递复杂的视觉辨识线索；而如果直接保存整段示范轨迹（Demonstration Replay），虽保留了完整图像序列，却冗长死板、高度依赖特定实例，极难泛化至变化后的布局与场景，且直接塞入主上下文会导致严重的上下文压力与参考截图误锚定。

解决上述矛盾的核心，在于构建结构化的多模态程序性知识体系：既要抽象出可迁移的动作工作流，又要显式绑定状态触发条件、视觉辨识线索与验证依据。本文的核心 idea：将视觉智能体的可复用技能形式化为多模态技能包（MMSkills），通过运行时状态卡片将文本过程与多视角关键帧精细锚定，并配合离线轨迹生成管线与推理期分支加载（Branch Loading）机制，实现对多模态视觉经验的高效检索、上下文隔离与结构化决策支撑。

方法详解¶

整体框架¶

MMSkills 体系由三部分构成：用于承载多模态程序性知识的多模态技能包、从公开非评测交互轨迹中提炼技能的生成管线，以及在推理阶段进行渐进式证据检验的分支加载智能体。

在离线构建阶段，系统通过聚类规划、过程归纳、视觉锚定与元技能审计，将原始轨迹池转化为结构化技能库。在在线执行阶段，主智能体先依据任务指令预召回候选技能；当面临复杂子任务时，不把庞大的图像技能直接硬塞进主干上下文，而是派生出一个轻量临时分支，在分支中筛选关键状态卡片与对应视角，与当前屏幕画面对齐后蒸馏出紧凑的结构化决策指导元组 \(G_t\)，再交由主智能体在真实环境画面上执行落地动作。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["任务指令与实时视觉观测"] --> B["指令预召回候选技能集合"]
    B --> C["分支调度决策：直接执行或技能分支"]
    subgraph S1["临时分支加载与环境对齐"]
        direction TB
        D["门控视图筛选<br/>状态卡片与视角类型选择"] --> E["分支规划与环境对齐<br/>对比参考帧并生成指导元组"]
    end
    C -->|需要技能支持| D
    E --> F["结构化决策指导元组 G_t"]
    C -->|常规步骤| G["主策略落地动作生成"]
    F --> G
    G --> H["环境交互执行与历史更新"]

关键设计¶

1. 多模态技能包表征：将文本过程、决策状态卡片与多视角关键帧深度耦合

传统文本技能通常只包含流程描述，智能体遇到界面布局微变或加载延迟时极易盲目点击。MMSkills 将技能包形式化为四元组 \(M = (D, P, \mathcal{S}, \mathcal{K})\)，其中 \(D\) 为紧凑描述符，\(P\) 为通用文本过程描述，\(\mathcal{S}=\{S_j\}_{j=1}^m\) 为运行时状态卡片集合，\(\mathcal{K}=\{K_j\}_{j=1}^m\) 为与各卡片对应的多视角关键帧束。每个状态卡片 \(S_j\) 严格定义了适用条件、排除条件、关键可见线索、完成与进展验证线索以及可用视角：

\[S_j = (\text{when\_to\_use}_j, \text{when\_not\_to\_use}_j, \text{visible\_cues}_j, \text{verification\_cue}_j, \mathcal{V}_j)\]

多视角关键帧集合支持四类视角 \(\mathcal{V} = \{\text{full\_frame}, \text{focus\_crop}, \text{before}, \text{after}\}\)。其中全局帧保留界面整体上下文，局部裁剪框高亮聚焦微小关键 UI 组件或状态标识，before/after 视图显式揭示状态转换前后的对比。这种解耦设计使得技能不再是死板的截图回放，而是赋能智能体在运行时清晰判断“何时该跟进”、“何时该跳过”以及“动作是否真正生效”。

2. 轨迹提炼与元技能审计生成器：自动化多模态经验压缩与质量把控

如何从大量公开交互数据中自动化提炼高质量多模态技能是规模化扩展的难点。生成器在可复用元技能工厂 \(\mathcal{F}\) 驱动下执行五阶段闭环提炼：Phase 0 对任务指令与元数据进行文本嵌入与语义聚类；Phase 1 针对每个子簇由 LLM 规划具有明确边界的原子技能，产出领域规划表；Phase 2 去除重叠与过度宽泛的雨伞型技能，实现跨轨迹归纳合并；Phase 3 在无图状态下先行起草文本描述与状态卡片骨架；Phase 4 加载轨迹真实图像，执行保守的视觉定位（Visual Grounding），提取局部焦点并构建多视角关键帧。元技能工厂提供标准模式、评分规则与质量门禁，确保入库的技能包保持紧凑与高诊断性，避免存入无信息增量的冗余截屏。

3. 渐进式分支加载：隔离参考图干扰并输出结构化决策指导

若将多模态技能中的所有状态卡片和多视角截图全量拼接至主智能体对话上下文中，不仅会导致上下文窗口急剧膨胀、带来极高的推理延迟与成本，更致命的是智能体会产生“视觉强锚定”（Over-anchoring）偏差——试图在当前屏幕中寻找参考截图中的具体坐标或特定文字，导致规划走偏。为此，系统采用两阶段分支加载机制：第一阶段“门控视图筛选”根据当前观测 \(O_t\)、交互历史 \(H_{t-1}\) 和文本过程 \(P_t\)，从卡片库中按需挑出相关状态卡片子集 \(J_t\) 及视角类型集合 \(R_{t,j}\)，若纯文本已足够甚至不加载图像；第二阶段“分支规划”在隔离分支中对齐选定参考帧与实时界面，并蒸馏输出标准化指导元组：

\[G_t = (\text{applicable}_t, \text{subgoal}_t, \text{plan}_t, \text{do\_not\_do}_t, \text{verify}_t)\]

主智能体只接收包含适用性判断、局部子目标、技能约束、负向规避动作及验证检查的紧凑指导 \(G_t\)，并始终基于当前真实观测 \(O_t\) 产生落地的精准操作，从架构上彻底消除了跨上下文的视觉干扰。

一个完整示例¶

以 LibreOffice Calc 中构建图表并调整数据透视表的任务为例：当主智能体进入图表向导后，由于子对话框加载中存在短暂空白，主智能体触发分支加载请求。分支模块读取候选技能包中的图表向导状态卡片，其 visible_cues 指明“需确认主数据区域已被虚线框高亮且向导步骤列表处于活跃态”，此时门控筛选仅提取向导区域的局部裁剪图（focus_crop）。分支模型将局部参考图与实时截图对比，判断当前向导正在初始化、下一步应等待或点击“Next”，生成指导元组 \(G_t\)：applicable: true, subgoal: 推进至系列格式设置, do_not_do: 严禁在向导未加载完毕时多次重复点击Finish。主智能体依据该指导，从容确认界面后精准点击下一步，避免了以往盲目连点导致崩溃或卡死的恶性循环。

实验关键数据¶

主实验¶

论文在真实操作系统桌面环境（OSWorld、macOSWorld）及开放式视觉游戏环境（VAB-Minecraft、Super Mario Bros）上，针对前沿闭源旗舰及开源多模态基准模型进行了系统评测。

模型	技能设置	OSWorld 总体成功率 (%)	macOSWorld 总体成功率 (%)	Minecraft 成功率 (%)	Mario 总奖励
Gemini 3.1 Pro	无技能基线	44.08	–	–	–
	纯文本技能	40.76	–	–	–
	MMSkills	50.11 (+6.03)	–	–	–
Gemini 3 Flash	无技能基线	36.65	55.94	67.24	766.67
	纯文本技能	40.27	53.85	68.96	912.00
	MMSkills	47.97 (+11.32)	65.73 (+9.79)	73.28 (+6.04)	1081.33 (+314.66)
Qwen3-VL-235B	无技能基线	21.34	47.55	52.59	955.50
	纯文本技能	28.57	43.36	55.17	1138.25
	MMSkills	39.17 (+17.83)	51.75 (+4.20)	62.07 (+9.48)	1514.25 (+558.75)
GLM-5V	无技能基线	28.71	34.97	56.03	1191.50
	纯文本技能	36.61	51.75	61.20	1218.00
	MMSkills	38.51 (+9.80)	51.75 (+16.78)	68.10 (+12.07)	1384.50 (+193.00)
Qwen3-VL-8B	无技能基线	10.78	6.29	23.28	928.75
	纯文本技能	14.93	4.90	29.31	997.25
	MMSkills	25.40 (+14.62)	6.29 (+0.00)	38.79 (+15.51)	1128.75 (+200.00)

消融实验¶

消融实验深入评估了多模态技能包各构成要素以及分支加载架构各组件的核心作用（以 OSWorld 和 VAB-Minecraft 上相对无技能基线的提升点数衡量）：

配置 / 变体	核心变动说明	技能检索与加载方式	效果表现与影响机理
Full MMSkills	完整模型：状态卡片 + 多视角关键帧	两阶段分支加载（视图动态筛选）	最优表现：OSWorld与游戏环境均获最高增益
w/o 状态卡片	仅保留文本过程与参考关键帧	分支加载	性能显著下跌；缺少触发/排除条件导致状态误判
w/o 视觉图像	仅保留文本过程与状态卡片逻辑（无图）	分支加载	优于纯文本基线，但缺失细粒度视觉对齐凭证
直接加载全量技能 (Direct-full)	完整技能包所有图像与卡片	直接拼入主模型上下文	表现劣化：上下文过载且诱发严重的视觉强锚定
仅视图筛选直接加载 (Direct-select)	经门控筛选后的卡片与视角	直接拼入主模型上下文	较全量直接加载有所改善，但仍显著逊于分支加载
纯文本分支加载 (Text-branch)	仅纯文本技能描述	分支加载	优于直接塞入文本，证实分支隔离规划本身的有效性

关键发现¶

显著遏制试错，交互步骤大幅缩短：动态分析表明，MMSkills 不仅提升了调用成功率，更显著降低了完成任务所需的交互步数（例如在 OSWorld 上使 Qwen3-VL-235B 平均步数由 15.22 缩减至 9.87，净缩减 5.35 步）。纯文本技能有时因指导模糊反而引发额外探测（Gemini 3 Flash 步数反增 2.53），而多模态状态卡片能直接为智能体指明正确路径。
动作模式重塑与死循环打破：行为分析揭示，MMSkills 显著降低了智能体无意义的低级重复动作（Qwen3-VL-235B 的完全重复动作率由 21.8% 骤降至 6.2%），并有效抑制了盲目点击行为（点击占比由 75.8% 降至 63.7%），大幅增加了结构化键盘输入与精准发出任务完成指令（DONE）的比率。
局部聚焦视角主导推理：在运行期视图选择中，局部聚焦切片（focus_crop）在绝大多数测试中占据了被调用视觉线索的首位（如 OSWorld Gemini 3 Flash 中被选择 241 次，远超全局帧的 79 次），印证了通用视觉决策对细粒度局部线索的高度依赖。

亮点与洞察¶

多模态程序性知识的形式化定义：跳出了传统“文本技能带插图”或“整段回放视频”的固有思维，首次将可复用多模态技能抽象为带有严格正负触发条件、局部线索以及验证断言的状态条件包。
渐进式分支加载架构：巧妙化解了多模态大上下文开销与参考图像视觉误锚定的结构性矛盾，主干链路仅吸收高维决策元组，兼顾了知识赋能与推理纯净性。
小模型互补收益尤为显著：实验表明轻量级模型（如 Qwen3-VL-8B）在引入 MMSkills 后性能翻倍（OSWorld 10.78% \(\to\) 25.40%），证明高质量外部多模态知识可极大弥补紧凑模型内部先验表征的不足。

局限与展望¶

依赖高质量非评测交互轨迹的覆盖度：若遇到全新冷启动应用程序或罕见交互范式，生成管线缺少对应的原始交互语料，将制约技能库的覆盖广度。
生成过程中的视觉定位误差累积：离线视觉锚定完全依赖自动化模型进行焦点裁剪，如果关键帧裁剪出现轻微偏移，可能对分支推断带来噪声干扰。
分支加载引入额外的推理延迟：每次调用技能均需额外启动分支决策，虽然减少了环境交互总轮数，但在单步响应延迟上带来了一定开销；未来可探索端到端蒸馏或在线自适应技能演化机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出状态卡片与多视角耦合的多模态技能包表征与分支加载机制。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 GUI 桌面与开放游戏四大代表性基准，涵盖 6 款主流旗舰与开源大模型，消融与行为分析极为详实。
写作质量: ⭐⭐⭐⭐⭐ 架构逻辑清晰，符号体系规范，问题定义与解决方案层层递进。
价值: ⭐⭐⭐⭐⭐ 为通用多模态视觉智能体从“探索式试错”迈向“结构化经验驱动”奠定了坚实范式。