Sandboxed Coding Agents are Competitive Omni-modal Task Solvers¶
会议: NeurIPS 2026
arXiv: 2606.00579
OpenReview: https://openreview.net/forum?id=zYMvOwt5bN
代码: https://github.com/Dongping-Chen/OmniCoding
领域: 代码智能
关键词: 代码智能体, 沙箱工具调用, 全模态任务求解, 强化学习, 过程级评测
一句话总结¶
本文发现仅具备文本和图像输入能力的沙箱代码智能体无需端到端输入全模态音视频流，通过按需执行终端工具（ffmpeg、Whisper、OCR 等）即可在多个全模态基准上匹敌甚至超越前沿原生全模态大模型，并进一步提出了开源训练方案 Code-X 与多模态操作基准 TerminalBench-O。
研究背景与动机¶
随着多模态大语言模型（MLLM）在现实世界通用助手场景中的持续渗透，处理来自真实具身环境的视频和音频信号成为了核心诉求。学术界与工业界的主流认知普遍假定，解决复杂的音视频任务必然需要依赖原生全模态架构（native omni-modal models），即直接将长视频帧和高采样率音频打包灌入模型的多模态上下文窗口中。然而，这种端到端输入流的范式在工程落地上面临着显著的上下文窗口膨胀、极高的推理计算开销以及对密集冗余信号建模的低信噪比问题。与此相对，诸如 OpenClaw 或各类代码智能体在现实部署中多为文本或纯图文系统，并未原生接入密集音视频感知流。
与此同时，以 Codex 和 Claude Code 为代表的沙箱代码智能体已经在软件工程、终端控制和长程任务解决中展现出惊人的自适应推理与环境交互能力。这一工程现实引发了一个根本性的学术矛盾：对于现实世界中的音视频全模态任务，原生多模态感知真的不可或缺吗？或者说，一个只具备代码编写与终端沙箱执行能力的通用图文智能体，能否通过按需调用现成的多媒体命令行工具（如 ffmpeg、ffprobe、Whisper、Tesseract）或即时编写 Python 脚本，将连续的视听感知问题降解为结构化的检索、信息抽取与多步验证流程？
本文正是从这一反思切入，全面评测了沙箱代码智能体在无任何预制人工技能时的全模态求解能力。研究表明，智能体通过环境交互主动解构媒体数据，在节省巨量上下文 token 的同时实现了极具竞争力的表现。为了进一步突破代码智能体在全模态场景下的边界，作者深入剖析了错误归因分类学，探索了推理时技能注入，并针对开源模型提出了从监督微调到可验证过程奖励强化学习的完整训练范式 Code-X。本文的核心 idea 是：将全模态音视频任务从“模型端到端密集感知”重构为“沙箱代码智能体驱动的主动检索与证据抽取”，通过命令行工具编排与过程级交互实现兼具高精度与高 token 效率的全模态任务求解。
方法详解¶
整体框架¶
本文的方法视角颠覆了传统原生全模态模型将所有非文本媒体文件直接编码并打包进上下文的固有做法。整个求解框架将多模态输入文件解耦并暂存（stage）于受控的 Ubuntu Linux 沙箱工作区中，环境仅向代码智能体提供自然语言指令与对应的文件路径引用，智能体本身仅保持文本或图文交互接口。智能体在沙箱中以多轮交互的形式推进任务：首先通过探测工具勘测媒体元数据，接着根据任务目标编写终端命令或脚本分流提取关键音频转录文本、定位显著时间戳或采样关键视频帧，随后对抽取的轻量化中间证据展开多跳推理与一致性交叉验证，最终输出受约束的格式化答案。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["全模态任务输入<br/>自然语言指令 + 媒体文件暂存沙箱"] --> B["沙箱化终端环境交互<br/>多模态文件转化为环境状态"]
B --> C["阶段化工具编排与多模态证据抽取<br/>ffprobe勘测 / Whisper转录 / ffmpeg抽帧"]
C --> D["过程级失败诊断与技能自演化注入<br/>六类错误归因与轨迹日志自蒸馏"]
D --> E["Code-X 开源后训练配方<br/>SFT预热 + 过程感知可验证奖励GSPO"]
E --> F["结构化最终答案输出与制品交付"]关键设计¶
1. 沙箱化终端环境交互：将多模态数据视作环境状态而非上下文负载 原生全模态模型强制将音视频密集采样并直接编码进上下文，导致大量与问题无关的背景信息挤占有限的注意力带宽。本文将所有输入媒体文件放置于隔离的 Linux 终端沙箱中，仅向智能体暴露标准输入输出与文件系统接口。智能体拥有紧凑的动作空间，包括执行 Bash 命令的终端通道、原生多模态图文观察接口以及任务完结提交接口。这种设计使得多模态媒体从“强制性模型输入”转变为“按需探索的环境状态”，智能体可以根据具体问题自由调用通用 Unix 实用程序、Tesseract OCR、OpenCV 或 Librosa 等多媒体库，将海量原始感知流压缩为紧凑的文本切片或局部关键帧，从根本上消除了密集上下文冗余。
2. 阶段化工具编排与多模态证据抽取：自适应工具链驱动的分流检索
通过对智能体在沙箱内行为轨迹的深入分析，本文揭示了代码智能体成功求解全模态任务的核心机制在于“分阶段工具流水线”。在面对长视频或双流视听媒体时，智能体首先运行 ffprobe 探测媒体的时长、编码格式与音轨元数据；随后使用 whisper 提取语音转录文本以获得时间对齐的语义索引；进而利用 ffmpeg 基于关键词时间戳精准切片或自适应降采样抽取关键帧；最后必要时编写 python3 临时脚本执行几何变换、坐标计算或正则解析。统计表明，高阶推理强度的智能体更倾向于发起多次探测与组合调用，通过多模态证据的主动检索与交叉对齐，将黑盒端到端感知转化为白盒可解释的符号化求解流。
3. 过程级失败诊断与技能自演化注入：基于错误分类学的无微调增强 针对代码智能体在全模态任务中暴露的短板，本文抽样了 200 条完整轨迹（共 6,268 步）构建有向无环图（DAG），提出了包含 6 种典型模式的失败分类学：音频感知抽取、视频感知抽取、模态内容探索不充分、知识检索与事实错误、逻辑推理与数值计算、以及工具/环境基础设施故障。基于此诊断，论文探索了无需重新训练基座模型的推理时技能注入机制，系统对比了三种设置：编码专家工作流的人工介入技能（Human-in-the-loop Skills）、基于校准集二元反馈的自迭代技能（Calibration-set self-iteration）、以及由独立智能体从原始执行日志中挖掘成功/失败模式的日志驱动自蒸馏技能（Log-driven self-distillation）。实验证明，从富含过程信号的执行痕迹中自蒸馏出的可复用程序性技能泛化性最强，能有效抑制盲目猜测与规则误用。
4. Code-X 开源后训练配方：SFT 预热与过程感知可验证奖励强化学习 为了打破闭源前沿模型对沙箱全模态求解能力的垄断，本文提出了面向开源模型的完整后训练配方 Code-X。首先构建了包含 6,035 条轨迹的多模态终端数据集 OmniCoding，并规范化覆盖开放问答与多项选择。训练第一阶段采用监督微调（SFT）预热，仅在智能体生成的 token 上计算损失并掩蔽所有环境观察与工具返回，确立基本的交互协议；第二阶段采用基于可验证奖励的强化学习优化，设计了细粒度的轨迹级奖励函数：
其中 \(\text{base}(\tau)\) 实行阶梯式激励：通过门控验证且精确匹配时给予正确性奖励 \(w_{\text{correct}}\)，对于尝试了工具交互并以非空标签规范完结但答案错误的轨迹给予格式奖励 \(w_{\text{fmt}+}\)，格式崩溃则施加惩罚 \(w_{\text{fmt}-}\)；模态惩罚 \(r_{\text{mod}}(\tau) = -w_{\text{mod}}\) 严厉惩罚面对音视频任务却完全不调用对应工具宇宙（如 ffmpeg/whisper）的“偷懒猜测”行为；错误工具惩罚 \(r_{\text{tool}}(\tau) = -w_{\text{tool}} \cdot P_{\text{bad}}\) 则根据不可解析调用、越权操作与语法崩溃的比例动态惩罚。优化采用群组序列策略优化（GSPO），利用序列级截断重要性权重 \(\rho_i(\theta)\) 结合群组优势归一化与动态零方差掩码，实现了稳定高效的多模态策略演进。
一个完整示例¶
以 OmniGAIA 中的一个多模态复合任务为例：输入为一张贝勒大学（Baylor University）校园导览路标图片与一段德克萨斯某体育设施周边的现场音频，目标是计算两地之间的实际距离。
在沙箱中，智能体并未一次性将音频与图片全量输入模型。其执行流如下：
1. 图像分支：智能体调用 image_read 查看路标图片，定位到“Baylor University Campus Tour”字样，提取出地点 A 为德克萨斯州韦科市的贝勒大学。
2. 音频分支：智能体首先尝试运行语音识别命令，遇到杂音干扰后自适应调整为使用 Whisper 模型提取音频中的环境背景讲解，同时调用脚本检索音频内嵌的元数据与 YouTube ID，成功锁定了音频记录地点 B 为德克萨斯州某特定体育中心。
3. 聚合计算：智能体在终端中编写了一段 Python 脚本，调用地理距离计算库获取两组经纬度，精确计算出两地间距为 169 km，并将最终答案规范输出在 <answer> 标签中。整套流程历经多次探索与错误恢复，各分支证据在 DAG 汇聚节点闭环验证，避免了单模态幻觉。
实验关键数据¶
主实验¶
论文在 OmniGAIA、SocialOmni（Level 1 与 Level 2 Q1）、LVOmniBench 和 VideoZeroBench 四大基准上系统评测了沙箱代码智能体与原生全模态大模型及模块化多模态智能体的表现。
| 模型 / 系统 | 评测 Harness | OmniGAIA (Avg.) | SocialOmni (L1) | LVOmniBench (Avg.) | VideoZeroBench (L3) |
|---|---|---|---|---|---|
| Gemini 3.1 Pro (原生全模态) | – | 66.1 | 90.0 | 69.0 | 17.6 |
| Gemini 3 Flash (原生全模态) | – | 51.7 | 85.0 | 59.0 | 17.8 |
| Qwen 3.5 Omni Plus (原生全模态) | – | 38.7 | 88.0 | 46.0 | 10.4 |
| OmniAgent (GPT-5.4 High) | 预设 Agent | 66.4 | 55.0 | 33.0 | 12.2 |
| Agent-Omni (GPT-5.4 High) | 预设 Agent | 41.1 | 37.0 | 36.0 | 5.0 |
| Codex GPT-5.4 Low (本文代码智能体) | Codex | 55.0 | 64.0 | 48.0 | 21.0 |
| Codex GPT-5.4 High (本文代码智能体) | Codex | 61.4 | 72.0 | 58.0 | 27.2 |
| Codex GPT-5.4 xHigh (本文代码智能体) | Codex | 75.0 | 75.0 | 57.0 | 27.6 |
| Claude Opus 4.6 (本文代码智能体) | Claude Code | 68.6 | 54.0 | 40.0 | – |
| Kimi K-2.5 (本文代码智能体) | Claude Code | 55.6 | 46.0 | 43.0 | 15.6 |
在更具实用性的开源 Code-X 训练实验中，经过全套配方后训练的开源模型实现了大幅跃升：
| 模型与训练阶段 | OmniGAIA (Avg.) | SocialOmni (L1) | LVOmniBench (Avg.) | VideoZeroBench (L3) |
|---|---|---|---|---|
| Qwen3.5-9B Direct MLLM | 20.0 | 37.0 | 33.0 | 7.2 |
| Qwen3.5-9B Code-X (SFT) | 23.1 | 50.0 | 33.0 | 9.5 |
| Qwen3.5-9B Code-X (RL) | 28.1 | 52.0 | 53.0 | 15.8 |
| Qwen3.6-27B Direct MLLM | 38.2 | 61.0 | 51.0 | 7.4 |
| Qwen3.6-27B Code-X (SFT) | 43.3 | 64.0 | 60.0 | 18.4 |
消融实验¶
- GPT-5.4 High 纯文本消融与多模态技能注入对比（OmniGAIA 准确率）：
| 配置 / 实验变体 | 关键指标 (OmniGAIA Avg.) | 说明 |
|---|---|---|
| Codex GPT-5.4 High 完整图文智能体 | 61.4% | 基线设置，无预制技能 |
| Codex GPT-5.4 High 纯文本智能体（禁用直接图像输入） | 64.4% | 仅靠 OCR 与命令行工具，证明基准含大量浅层文字线索 |
| GPT-5.4 High + 校准集自迭代技能 | 73.0% | 基于校准集二元正确性反馈迭代优化技能 (+11.6%) |
| GPT-5.4 High + 人工介入技能 (Human-in-the-loop) | 75.3% | 注入人工专家编写的高效规范执行路径 (+13.9%) |
| GPT-5.4 High + 日志驱动自蒸馏技能 (Log-driven) | 76.7% | 从原始执行 trace 挖掘正反例通用模式 (+15.3%) |
- 面向多模态操作的新基准 TerminalBench-O 评测结果（50 个真实场景长程任务）：
| 模型 | Harness | 通过率 Pass Rate (%) | 平均综合得分 Avg. Score | 说明 |
|---|---|---|---|---|
| GPT-5.5 xHigh | Codex | 24% | 0.71 | 最强闭源智能体仍仅有 24% 通过率 |
| GPT-5.5 High | Codex | 24% | 0.71 | 证明长程多模态文件编辑与操作极度困难 |
| GLM-5.1 (V) | Claude Code | 16% | 0.69 | 中文开源代表模型表现 |
| DeepSeek V4 Pro (V) | Claude Code | 12% | 0.64 | 复杂工具链长程交互出现衰退 |
| MiniMax M2.7 (V) | Claude Code | 4% | 0.55 | 工具执行与制品合规性不足 |
关键发现¶
- 工具编排替代全量感知的 Token 效率优势显著：智能体在视听任务中的平均输入 token 消耗量远低于原生全模态大模型，因其无需将每秒数十帧的密集视频编码入上下文，仅按需提取几十至几百个相关文本或图像 token，位于显著优越的 Pareto 前沿。
- 不同工具的收益存在显著分化：统计显示
ffprobe、ffmpeg抽帧与whisper转录在成功案例中的调用比例明显偏高（Gap 为正），而智能体临时编写的临时python3脚本由于调试摩擦大、易出现语法及路径报错，在失败轨迹中出现频率更高。 - 开销与能力瓶颈的转移：纯问答式全模态基准（如 OmniGAIA）已被代码智能体攻克至 75%+，暴露出大量所谓“全模态”评测实为跨模态实体检索或文字识别；然而在真实的多模态内容操作任务（TerminalBench-O）中，受制于工件格式校验、长程规划与严格制品约束，最顶尖模型的通过率暴跌至 24%，揭示了多模态智能体真正的未来前沿。
亮点与洞察¶
- 范式级观念纠偏：论文强力证伪了“处理全模态视听现实任务必须绑定原生全模态密集模型”的技术偏见，确立了“沙箱代码智能体 + 专用工具链”在推理开销与通用长程任务中的结构性优势。
- 闭环的“诊断-注入-训练”技术链条：不仅止步于评测现象，而是自顶向下构建了 6 维失败归因树，设计了从日志中无监督自蒸馏可复用 skill 的免微调方法，并落地了含过程惩罚与 GSPO 的开源全流程训练框架 Code-X。
- 定义了从“模态理解”向“模态加工”跃迁的新战场：提出了涵盖真实长视频剪辑、音频取证、图像瑕疵审计的 TerminalBench-O，填补了社区在面向现实世界制品交付与多模态操作性评测领域的空白。
局限与展望¶
- 细粒度时空感知与流式实时交互受限：依赖 ffmpeg 离散抽帧和外部 ASR 很难应对毫秒级动作微表情识别、密集时空连续轨迹追踪或低延迟双向全双工语音交互。
- 环境安全与外部工具依赖的脆弱性：沙箱智能体高度依赖宿主机中 ffmpeg、Python 运行库与系统环境的完整性，偶发性的库缺失或命令超时会导致链路中断；开放外部模型下载与网页检索在生产环境中存在安全合规风险。
- 未来方向：探索端到端原生全模态感知与沙箱代码执行工具调用的深度混合架构（Hybrid Architecture），兼顾密集的直觉式感知与精确的符号化程序操纵。
相关工作与启发¶
- vs 原生全模态大模型 (Gemini 3.1 Pro / Qwen 3.5 Omni): 原生模型追求多模态表征在注意力机制中的端到端统一建模，直觉式感知强但推理上下文开销呈爆炸级增长且无法主动操作本地多媒体文件；本文证明代码智能体通过沙箱分阶段处理更经济高效且可精确溯源。
- vs 预设多模态 Agent 框架 (OmniAgent / Agent-Omni): 既有框架多采用预先固化定义好的 API 路由管道与硬编码提示词，容错率与规划灵活性受限；本文采用原汁原味的通用沙箱代码编写执行（Codex / Claude Code），展现出远超刚性 Agent 框架的动态环境探索与自愈能力。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 颠覆了音视频任务必须依赖原生全模态感知的传统技术假定，立意深刻。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大既有基准、自建 6k 轨迹数据集、开源两尺寸后训练及全新的操作型评测基准。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密，从经验发现、错误归因、自演化注入到训练配方层层递进。
- 价值: ⭐⭐⭐⭐⭐ 为现实工业界以轻量图文/代码智能体低成本落地复杂多模态长程任务提供了决定性范式参考。