Nautilus: From One Prompt to Plug-and-Play Robot Learning¶

会议: NeurIPS 2026
arXiv: 2605.11665
代码: https://yufengjin.github.io/nautilus/
领域: 机器人
关键词: 机器人学习, 评测基准, 智能体支架, 跨策略评测, 统一接口

一句话总结¶

Nautilus 提出了面向机器人学习研究的专用 Harness（支架系统），通过类型化接口契约、隔离舱式执行和统一通信传输底座，结合 Guides、Sensors 与状态注册表，将自然语言需求自动转化为跨策略、跨基准与跨真机本体的即插即用复现与评测工作流。

研究背景与动机¶

机器人学习（Robot Learning）研究目前严重割裂在三大正交维度中：策略家族（包括模仿学习 IL、视觉-语言-动作模型 VLA、强化学习 RL 以及世界动作模型 WAM）、仿真评测基准套件（如 LIBERO、RoboCasa、ManiSkill、ALOHA 等）以及多样化的真实机器人本体（单臂、双臂、灵巧手、足式移动与人形机器人）。由于每个开源策略或基准套件在实现时均高度依赖特定的软件栈、依赖项以及自定义输入输出格式，导致每将一个策略接入一个新基准或部署到真实硬件，都需要研究人员手写专门的适配器、Docker 环境配置、烟雾测试和校验逻辑。在整个学术界层面，这种点对点的对接方式导致了高达 $\Theta(N \cdot M \cdot K)$ 的组合复杂度与工程负担，构成了严重的跨家族复现与公平评测壁垒。

通用代码智能体（如 Claude Code、OpenHands、SWE-agent 等）虽然在通用软件工程任务中展现出强大能力，但在面对机器人学习研究工作流时依然频繁失败。这种持久性失败并非源于大语言模型本身的代码生成能力不足，而是缺乏专门的 Harness（支架工程）支持。机器人研发高度依赖领域特定的程序化先验（Procedural Priors）、多环境依赖隔离以及阶段性置信校验机制；若缺少稳定的结构化契约，通用智能体只能盲目尝试为每个特定组合重新试错并编写一次性胶水代码，既无法沉淀可复用的工程资产，也极易在多层底层依赖冲突中崩溃。

本文的核心切入点在于将机器人学习系统集成的工程负担从“两两点对点手写适配”转变为“面向标准契约的一次性接入”，从而把整体复杂度降至 $\Theta(N + M + K)$。核心 idea：构建首个面向机器人学习研究的领域专用智能体 Harness，通过类型化接口契约、隔离舱容器执行与统一二层通信构筑稳定底座，并在其上结合引导式规则、运行时传感器与轻量注册表，让智能体仅凭一句提示词即可可靠调度、生成并端到端验证策略在基准与真机上的即插即用工作流。

方法详解¶

整体框架¶

Nautilus 作为一个构建在底层通用智能体之上的插件系统，将自然语言请求（例如“在 LIBERO 基准上评测 $\pi_0$ 策略”）自动拆解并路由为端到端可执行的工作流。整个架构分为两层：底层是不变的技术底座（Substrate），提供类型化接口契约、多容器隔离舱以及分层统一传输协议，为智能体暴露统一且稳定的交互界面；上层是机器人特定的内容层（Content Layer），由 Guides（动作前指导）、Sensors（生成后校验）、State（基于 FastMCP 的不可变规范注册表）以及工作空间制品（Workspace Artefacts）协同运作，确保工作流的可靠性、复现性与跨任务复用能力。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["用户自然语言提示<br/>/nautilus:eval 等指令"] --> B["Guides 意图路由与规则引导<br/>任务拆解与子智能体派发"]
    subgraph S1 ["State 契约注册表"]
        direction TB
        C["State 规范检索与校验<br/>MCP 只读接口读取类型化契约"]
    end
    B --> S1
    S1 --> D["类型化接口契约生成<br/>Policy / Benchmark / Robot"]
    D --> E["隔离舱环境构建与生命周期管理<br/>uv + Docker 解耦多模块依赖冲突"]
    subgraph S2 ["统一两层通信与传感验证"]
        direction TB
        F["二层轻量 WebSocket 传输<br/>剥离底层 ROS 2 与驱动细节"]
        G["Sensors 多级安全与语义守门<br/>规范对比与分级烟雾测试梯"]
    end
    E --> S2
    S2 --> H["端到端可复现评测与真机部署<br/>生成可追溯执行日志与复现凭证"]

关键设计¶

1. 类型化接口契约：解耦多维组合复杂度的标准规范

针对策略、评测基准和真机本体之间数据格式与控制粒度互不兼容的问题，Nautilus 拒绝针对每对组合编写特定胶水层，而是定义了三组不可变的标准类型化契约。策略契约统一暴露推理接口 infer(obs) -> actions 与可选重置函数；环境基准契约统一约束 reset(seed) -> Observation 与 step(action) -> Transition，并对任务定义、确定性随机种子和成功判据进行规范化元数据描述；机器人硬件契约则统一暴露四个轻量原语：reset、get_observation、apply_action 和 safe_stop。通过把接入单元规范化为满足对应契约的规范对象，任意新加入的策略或基准只需要完成一次类型化契约适配，即可自动与注册表中所有已有模块兼容，将生态系统的集成负担从笛卡尔积级 $\Theta(N \cdot M \cdot K)$ 彻底降低至线性级 $\Theta(N + M + K)$。

2. 隔离舱执行：彻底消除跨软件栈依赖污染

针对深度学习框架（不同版本 PyTorch、JAX）、仿真器引擎（MuJoCo、Isaac Lab、SAPIEN）与机器人底层中间件（ROS 2、专用驱动）之间常年存在的 CUDA、C++ 扩展及动态链接库版本冲突，Nautilus 引入了基于抛弃型容器的隔离舱机制。系统将底层环境构建拆分为由 Docker 承载系统级工具链、由 uv 进行单次且确定性的 Python 锁文件解析，坚决剔除脆弱的 Conda 或全局环境管理。策略推理和基准仿真各自运行在彼此完全独立的容器舱中，下游子智能体仅通过文件系统契约（如 docker/ 结构与 .classification 标签）通信，上游构建故障绝不向其他模块逃逸渗透，使得复杂的多智能体并发生行构建与测试成为可能。

3. 统一两层通信：消除软硬件鸿沟的分级传输架构

为在保持真机底层毫秒级实时控制的同时为上层智能体暴露统一接口，Nautilus 提出了两层解耦的通信架构。第一层（Tier 1）面向机器人本地，保留高带宽、微秒级延迟的原生交互逻辑，由 ROS 2 节点与共享内存（Shared Memory IPC）对接硬件厂商驱动（如 1kHz 的电机控制与 50Hz 的状态聚合）；第二层（Tier 2）则面向跨容器与智能体可见的端点，抽象为轻量级 WebSocket 传输协议，承载统一观测与动作数据包，运行在 15Hz 的应用循环速率。由于真实硬件平台与仿真基准对外暴露完全对称的 Tier 2 接口并封装于相同的 Gym 式适配器内，智能体无需理解底层 DDS 话题或 C++ 符号，同一套策略代码或测试脚本在仿真与实物部署之间实现零代码修改迁移。

4. 传感器守门体系与状态注册表：保障智能体可靠运行的内容层

通用代码智能体缺乏机器人特有的自检与调试准则，容易产生静默失败。Nautilus 在内容层设计了六大运行时 Sensors（包括防范破坏性 shell 调用的前置动作过滤、防止未验证镜像泄漏的构建审计、接口类型校验、免构建的规范比对门控、分级烟雾测试梯以及跨运行验证）。在容器实际构建前，规范对比门控通过比对注册表元数据即可静态拦截键名缺失或动作维度不匹配等错误；分级烟雾测试梯则逐层测试端点活跃度、单步步进、有限数值有效性及单轮训练前向，实现故障就地修复。配合基于 FastMCP 暴露的只读 State 注册表与 L6 层记录的机器与人类双重视角凭据（Process Logs 与 Receipts），实现了安全可靠、全程留痕的研究闭环。

损失函数 / 训练策略¶

Nautilus 作为一个研究支架系统，其本身不引入特定的网络训练损失，但提供了两类高度标准化的训练调度模式： - 模式 A（基准原生数据集训练）：通过 train-generator 自动生成数据加载器与观测映射代码，在独立隔离舱内执行单轮（1-epoch）烟雾前向校验，确认无异常后在后台分离式启动全量离线模仿学习或强化学习。 - 模式 B（跨生态 Hugging Face / LeRobot 数据集微调）：支持将公开标准数据集转换为策略兼容格式，提供涵盖 LoRA、冻结骨干网络（Freeze-backbone）及全参数微调的 PyTorch / JAX 脚本生成，并在训练产物元数据中固化环境快照指纹。

实验关键数据¶

主实验¶

为了验证 Nautilus 自动生成的基准包装器（Benchmark Wrappers）是否忠实于原文官方评测协议，论文在五大主流基准上对涵盖 IL、VLA 和 WAM 三大家族的代表性公开策略进行了官方检查点（Checkpoint）复现对比。

策略家族	策略方法	评测基准	包装器成功率 (%)	官方文献参考值 (%)	偏差 $\Delta$ (%)
IL	Diffusion Policy	LIBERO	70.2	72.4	-2.2
IL	Diffusion Policy	ManiSkill	32.4	30.2	+2.2
IL	Diffusion Policy	RoboTwin	26.4	28.0	-1.6
IL	Diffusion Policy	ALOHA	75.8	77.5	-1.7
IL	ACT	RoboTwin	30.0	29.7	+0.3
IL	ACT	ALOHA	72.8	72.3	+0.5
VLA	$\pi_0$	LIBERO	93.6	94.2	-0.6
VLA	$\pi_0$	RoboTwin	42.6	46.4	-3.8
VLA	$\pi_{0.5}$	LIBERO	97.0	96.8	+0.2
VLA	$\pi_{0.5}$	RoboCasa	18.6	16.9	+1.7
VLA	OpenVLA	LIBERO	78.2	76.5	+1.7
VLA	OpenVLA	ManiSkill	4.0	4.8	-0.8
VLA	SmolVLA	LIBERO	88.2	87.3	+0.9
WAM	cosmos-policy	LIBERO	98.4	98.5	-0.1
WAM	cosmos-policy	RoboCasa	66.7	67.1	-0.4
WAM	Motus	RoboTwin	86.9	87.0	-0.1

消融实验¶

在受控留一基准（Leave-one-benchmark-out）扩展性测试集上，论文评估了智能体在被剥离目标基准支持的代码库中重建端到端评测集成的能力，对比了原生智能体、完整 Nautilus 及两组关键组件消融配置。

配置	接入成功率 (%) (Opus / Sonnet)	任务达成率 (%) (Opus / Sonnet)	智能体交互轮数 (Opus / Sonnet)	Token 消耗量 (Opus / Sonnet)	单次美元开销 (Opus / Sonnet)
原生智能体 (Vanilla)	100.0 / 98.8	95.4 / 93.2	161.9 / 158.0	12.2M / 12.4M	$5.10 / $5.19
完整模型 (Nautilus)	100.0 / 100.0	98.7 / 98.0	152.4 / 115.5	13.8M / 9.5M	$6.36 / $4.76
去掉类型接口模板 (w/o template)	55.3 / –	55.1 / –	607.5 / –	41.7M / –	$74.94 / –
去掉已验证镜像注册 (w/o verified image)	100.0 / 100.0	87.6 / 79.2	431.2 / 287.5	16.2M / 9.8M	$14.80 / $9.75

关键发现¶

模板与接口契约是消除工程内耗的决定性支架：去掉类型化接口模板（w/o template）后，智能体失去了统一的 Tier 2 WebSocket 通信蓝图，接入成功率断崖式下跌至 55.3%，交互轮数暴涨近 4 倍（607.5 轮），Token 消耗和美元成本急剧增加超过 10 倍（高达 $74.94）。智能体将海量上下文浪费在反复排查进程间通信与套接字连通性等底层杂务上。
支架收益随底层模型基础能力减弱而进一步放大：在 Claude Sonnet 4.6 上，完整 Nautilus 相比原生智能体不仅将任务成功率从 93.2% 提升至 98.0%，且交互轮数减少了 26.9%（115.5 vs 158.0），Token 消耗降低 23.4%（9.5M vs 12.4M），成本由 $5.19 降至 $4.76，验证了强规范支架能够显著补齐中等能力模型的领域短板。
真机即插即用泛化得到切实闭环：通过 nautilus-collect，在 LIBERO 仿真中验证的 $\pi_{0.5}$ 策略检查点无需修改任何算法代码，仅替换底层硬件容器即可直接在 Franka 机械臂上执行实物抓取；同样架构亦成功驱动了 Unitree H1 人形机器人的强化学习足式步态，证明了 Robot 四原语契约跨形态移植的有效性。

亮点与洞察¶

创新性地将“智能体支架工程（Harness Engineering）”落地于机器人学习领域，准确识别出阻碍自主科研的并非 LLM 编码能力瓶颈，而是缺乏隔离执行、类型契约与阶段性传感校验的领域专用 Harness。
采用巧妙的二层解耦通信哲学：底层 ROS 2/共享内存屏蔽异构驱动细节保障 1kHz 控制实时性，上层统一暴露 15Hz 的 Gym-WebSocket 接口，实现了算法逻辑在仿真与物理硬件之间的无缝等价迁移。
提出了基于交叉策略复现偏差（Cross-policy Evidence Protocol）的基准准入校验机制，打破了以往依赖静态评分阈值的脆弱验证模式，使开源社区的协作沉淀具备透明可追溯的置信度。

局限与展望¶

工作流覆盖尚不完整：目前主要打通了复现、评测、初步微调与真机采集部署链路，对于自主科研闭环中的大规模超参数自动扫参、对抗性假设检验与实验假设自动迭代尚未完全涵盖。
跨仿真器对齐停留在接口层而非物理层：当前跨基准统一发生在环境输入输出 API 维度，各物理仿真引擎（如 MuJoCo 与 Isaac Sim）底层接触动力学与数值求解器的系统性差异仍需在分析结论中单独考量。
依赖通用智能体宿主环境的稳定性：作为 Claude Code 等宿主 CLI 的插件运行，上游工具链与大模型上下文管理机制的微小变动仍可能传导至子智能体编排流程中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次系统化提出并构建面向机器人学习全流程的领域专用智能体 Harness 与类型化契约体系。]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 4 大策略家族、5 大主流仿真基准、16 组官方复现对比、严谨的留一消融实验以及两款异构物理机器人实物部署。]
写作质量: ⭐⭐⭐⭐⭐ [概念定义严密自洽，系统分层清晰，从图示到代码清单均具备极高的工程可读性与学术美感。]
价值: ⭐⭐⭐⭐⭐ [直击机器人学习开源碎片化与高门槛工程复现的行业核心痛点，具有极高的开源社区实用价值与推动力。]