ECHO: Terminal Agents Learn World Models for Free¶

会议: NeurIPS 2026
arXiv: 2605.24517
OpenReview: https://openreview.net/forum?id=9rkAbf5ICO
领域: LLM Agent
关键词: 终端智能体, 强化学习, 世界模型, 辅助预测目标, GRPO

一句话总结¶

ECHO 在标准 GRPO 策略梯度损失之外，复用单次前向传播直接对采样轨迹中已有的终端观测 Token 施加自回归交叉熵损失，零额外采样开销让智能体学会预测自身动作的环境反馈，在 TerminalBench-2.0 上将 pass@1 翻倍并大幅降低对专家 SFT 数据的依赖。

研究背景与动机¶

命令行交互（CLI）是当前大语言模型智能体最接近具身智能（Embodied AI）的真实应用场景。智能体通过输出 Bash 命令、修改文件、执行测试套件、检查编译器报错与日志堆栈来逐步逼近任务目标。然而，现有的多轮强化学习范式（如基于 GRPO 的策略优化）存在极度严重的信息浪费问题：模型必须依赖终端返回的完整标准输出与错误信息作为上下文才能决定下一步动作，但最终送入优化器的却仅仅是一个稀疏、延迟且通常二值的最终任务成败奖励（0 或 1）。

在终端智能体训练初期，策略的自主成功率极低（通常低于 15%），绝大多数采样轨迹以失败告终。在标准的基于组归一化优势函数的强化学习中，全为 0 的采样组无法提供任何相对对比信号，包含成功轨迹的混合组也仅将失败轨迹简单打上负优势标签。然而，失败的轨迹中绝非毫无价值，相反它们充满了极其宝贵的真实环境因果证据：命令打印的文件名、依赖安装冲突、Docker 容器内的构建报错、grep 匹配结果以及测试失败跟踪。在标准强化学习中，这些输入虽然进入了注意力计算，却在损失函数中被完全屏蔽。

这一困境的核心矛盾在于：智能体学习有效规划需要精确理解环境在动作执行后的隐状态转移，但仅靠最终成败的稀疏标量奖励无法提供环境状态演化的细粒度反馈，而传统世界模型方案又往往需要额外收集庞大离线数据或训练复杂的独立判别器/动力学模拟器。本文的切入视角回归到自回归语言模型“预测即理解”的本质——终端输出正是容器深层状态在文本空间下的投影。核心 idea：将轨迹中已由自身动作引发的终端观测 Token 作为密集监督信号，在不增加额外 Rollout 与前向计算的前提下，通过对观测 Token 增加自回归交叉熵辅助损失（ECHO），将无用甚至失败的交互转化为免费且动态更新的世界模型学习过程。

方法详解¶

整体框架¶

ECHO（Environment Cross-entropy Hybrid Objective）的核心架构是极度轻量且即插即用的。在多轮交互序列中，提示词（系统提示与用户任务）、助手动作与环境观测交替排列。ECHO 完全共享主策略在训练时单次前向传播产生的 Logits，通过构建两个互补的 Token 掩码分别计算策略梯度与环境预测损失：在动作 Token 位置 \(\mathcal{A}\) 上应用标准 GRPO 目标，在环境观测 Token 位置 \(\mathcal{O}'\) 上计算长度归一化的交叉熵损失。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入交互轨迹<br/>提示词 + 动作交错序列"] --> B["单次 Actor 前向传播<br/>计算全序列 Logits"]
    B --> C["双掩码切分 Logits 收集"]
    C -->|动作掩码 A| D["动作策略优化<br/>GRPO 组归一化优势剪裁损失"]
    C -->|环境观测掩码 O'| E["环境动态监督<br/>终端观测 Token 交叉熵损失"]
    D --> F["联合目标优化<br/>自适应衰减动态塑造表征"]
    E --> F

关键设计¶

1. 联合目标函数与零开销在策略动态课程：将已有观测就地转化为密集监督

针对稀疏奖励下失败 Rollout 信号丢失的核心痛点，ECHO 直接将环境响应建模为对当前策略所产生动作的因果预测任务。给定当前参数 \(\theta\)，序列在第 \(t\) 步的预测分布为 \(p_\theta(x_t \mid x_{<t})\)，ECHO 的联合训练目标定义为：

\[\mathcal{L}_{\mathrm{ECHO}}(\theta) = \mathcal{L}_{\mathrm{GRPO}}(\theta; \mathcal{A}) + \lambda \mathcal{L}_{\mathrm{Env}}(\theta; \mathcal{O}')\]

其中 \(\mathcal{L}_{\mathrm{Env}}(\theta; \mathcal{O}') = -\frac{1}{Z}\sum_{t \in \mathcal{O}'} \log p_\theta(x_t \mid x_{<t})\)，归一化因子设为当前序列的总观测长度 \(Z = |\mathcal{O}|\)，以确保不同长度和子集的序列在损失量纲上具备可比性。由于这些观测 Token 均由当前策略最新采样产生的动作触发，随着策略探索能力的提升与进入全新终端状态，环境返回的预测目标随之自动演化，形成天然的在策略动态课程（On-Policy Curriculum）。整个过程无需双重采样、无需外部教师、无需独立的动力学网络，只通过调整反向传播时 Logits 的收集掩码即可完成。

2. 目标 Token 筛选与低熵警告屏蔽：保留高信息熵的任务反馈

在现实的 Agent 交互框架中，观测文本通常由两部分构成：框架自身生成的格式规范或解析警告（如 WARNINGS:\n- ...）与终端实际执行产生的命令回显（<command_output> ... </command_output>）。如果不对观测 Token 进行筛选，简单的规则警告文本信息熵极低，实验证明模型在训练前 60 步左右就会将其几乎完全记住（交叉熵迅速降至 0.05 nats 以下），使辅助梯度迅速失效并浪费容量。因此，ECHO 明确将 \(\mathcal{O}'\) 限制为真正的终端执行回显 Token（env-only），彻底剥离规则性警告。终端回显包含文件名列表、测试报错追踪、编译器返回码与日志内容，这些高信息熵信号在数百步训练中能够持续提供稳定的动力学表征塑造梯度。

3. 损失权重自退火机制与表征竞争平衡：平稳收敛不挤占策略梯度

对于辅助预测任务，超参数 \(\lambda\) 的选取至关重要。若 \(\lambda < 0.01\)，辅助梯度过小无法对 Transformer 底层表征产生实质性的动力学先验塑造；若 \(\lambda > 0.1\)，观测自回归目标会与策略梯度的动作选择产生严重竞争，甚至在 \(\lambda = 0.2\) 时导致策略退化为只会输出容易预测终端输出的死循环动作（例如不断执行无害的空操作或固定的回显命令）。本文将 \(\lambda\) 固定在 \(0.05\)。令人惊喜的是，随着模型逐渐学会终端环境的基本语法与常见命令反馈模式，\(\mathcal{L}_{\mathrm{Env}}\) 会在训练早期自发快速下降并平缓收敛，使得该辅助项在整个训练生命周期内天然具备自退火（Self-Annealing）特性，无需任何复杂的人工衰减调度。

损失函数 / 训练策略¶

训练采用标准的 AdamW 优化器（\(\beta_1 = 0.9, \beta_2 = 0.95\)，权重衰减 0.01），学习率恒定为 \(1 \times 10^{-6}\)，梯度剪裁为 0.2。强化学习采样配置为每个任务 Prompt 采样 \(n = 16\) 条轨迹，Batch Size 为 16，Rollout 采样温度为 0.8，测试评估温度为 0.6。所有模型均在 8 张 GPU（B200/A100）上进行 500 步 GRPO 训练。训练任务库包含来自 Endless Terminals、OpenThoughts-Agent-v1-RL 以及自建 Dockerfile 验证管线生成的 8,770 个数据处理、系统运维与软件工程真实任务。

实验关键数据¶

主实验¶

在保留集（val100）、分布外系统任务（ITD，71 题）、轻量基准（TBLite，100 题）以及最具挑战性的公开终端基准 TerminalBench-2.0（TB2，89 题）上，对比 Base 基模型、标准 GRPO 以及加入 ECHO 的表现：

模型与配置	val100 (pass@1)	ITD (pass@1)	TBLite (pass@1)	TB2 (pass@1)	TB2 (pass@3)	TB2 (pass@5)
Qwen3-8B Base	34.20%	7.00%	4.90%	1.57%	3.71%	4.49%
Qwen3-8B + GRPO	54.94%	16.22%	9.47%	2.70%	6.74%	8.99%
Qwen3-8B + ECHO	63.66%	18.89%	11.39%	5.17%	10.45%	13.48%
OT-SFT (专家SFT初始化)	38.50%	10.70%	6.00%	5.62%	10.45%	12.36%
OT-SFT + GRPO	63.52%	18.79%	11.63%	7.64%	14.38%	17.98%
OT-SFT + ECHO	73.10%	22.70%	12.90%	7.87%	13.82%	17.98%
Qwen3-14B Base	35.30%	12.10%	5.70%	4.27%	8.99%	12.36%
Qwen3-14B + GRPO	60.30%	17.90%	9.80%	5.17%	10.67%	13.48%
Qwen3-14B + ECHO	65.00%	19.80%	15.10%	10.79%	16.52%	19.10%

消融与分析实验¶

1. 弥合专家 SFT 数据差距分析（Qwen3-8B Base） 下表量化了不使用任何 GLM-4.6 教师模型的 1.5 万条专家演示轨迹（OT-SFT），纯靠 Qwen3-8B Base 配合 ECHO 能够挽回多少原本由专家 SFT 带来的提升：

评估基准	SFT 收益差距 (SFT+GRPO - GRPO)	ECHO 提升净值 (ECHO - GRPO)	ECHO 挽回专家 SFT 差距比例
val100 (同分布验证)	8.58%	8.72%	101.6%
ITD (分布外系统运维)	2.57%	2.67%	103.9%
TBLite (高难度分布外)	2.16%	1.92%	88.9%
TB2 pass@1 (公开基准)	4.94%	2.47%	50.0%
TB2 pass@3	7.64%	3.71%	48.6%
TB2 pass@5	8.99%	4.49%	50.0%

2. 推理阶段资源消耗与超时率分析（TerminalBench-2.0）

模型与训练方法	超时率 (%)	平均交互轮次 (Turns)	平均消耗 Token 数 (Tokens)	说明
Qwen3-8B + GRPO	19.8%	24.3	43.2k	基线策略经常陷入反复试错的死循环
Qwen3-8B + ECHO	9.0% (-55%)	19.8 (-18%)	30.3k (-30%)	超时率腰斩，以更少步骤精准解决任务
OT-SFT + GRPO	45.2%	66.3	35.4k	SFT 初始化模型易出现长轮次冗余探索
OT-SFT + ECHO	24.7% (-45%)	37.7 (-43%)	34.8k (-2%)	轮次几乎减半，探索效率显著提升
Qwen3-14B + GRPO	40.7%	22.0	49.8k	14B 基线容易在单步生成冗长内容
Qwen3-14B + ECHO	43.1% (+6%)	23.5 (+7%)	43.1k (-13%)	保持高成功率的同时总体 Token 消耗下降 13%

关键发现¶

双倍 pass@1 突破：在极度困难的 TerminalBench-2.0 上，ECHO 让 Qwen3-8B 的 pass@1 从 2.70% 跃升至 5.17%（1.9 倍），让 Qwen3-14B 从 5.17% 暴涨至 10.79%（2.1 倍）。
真正学会环境动力学：作者用更强的 Qwen3-32B 生成的 2,168 条完全异配（Off-policy）未见轨迹测试各模型对终端输出 Token 的交叉熵。标准 GRPO 训练前后该指标毫无变化，而 ECHO 模型的预测困惑度大幅暴跌（例如 Qwen3-14B 在 val100 上交叉熵从 0.24 降至 0.07，ITD 上从 0.39 降至 0.31），直接证明模型真正掌握了终端状态转移模型。
免验证器自适应可能（Verifier-Free Adaptation）：完全关闭强化学习奖励，仅在干净工具调用的交互轨迹上使用 \(\mathcal{L}_{\mathrm{Env}}\) 训练 100 步，模型在合成代码任务 PyTerm 上 pass@1 依然提升了 +10.0 百分点，在 ITD 上提升了 +5.2 百分点，展现出仅靠观察自身行为后果实现纯无监督自我进化的惊人潜力。

亮点与洞察¶

零成本的表征重塑：不同于需要独立训练世界模型（如 CWM）或依赖大模型担任裁判生成文本反馈（如 RLTF、OpenClaw-RL）的复杂方案，ECHO 连前向传播的 FLOPs 都没有增加，仅仅多搜集了一组已算好的 Logits 计算 Cross Entropy，以极简主义实现了四两拨千斤。
重新审视专家 SFT 的真正价值：研究证明专家演示数据很大一部分价值在于提供“终端交互先验”（即知道文件长什么样、报错后会发生什么）。ECHO 通过让模型自己动手撞墙并强迫其记住撞墙的后果，成功补全了这一交互先验，追平了 1.5 万条昂贵专家轨迹带来的同分布红利。
强化学习探索的负反馈沉淀：传统 RL 将失败轨迹完全视作负面惩罚，而 ECHO 证明“失败中包含了世界运作规律的全部事实”。这一视角完全可以推广到 Web 浏览、GUI 操作、代码解释器乃至机器人仿真等所有具备丰富环境反馈的智能体领域。

局限与展望¶

部分可观测性与长输出截断：终端环境只能呈现标准输出与日志片段，无法直接观测完整文件系统树与内核进程状态；在长日志被终端截断或被分页工具隐藏时，观测 Token 的预测难度会非线性增大。
免验证器自适应高度依赖动作质量与环境反馈密度：在 TBLite 这种需要复杂隐式配置与系统级协调的任务上，缺乏密集的动作-回显关联，纯预测环境会导致模型过拟合于错误操作模式，导致无验证器优化出现掉点（-3.9 pp）。
未来方向：探索加权损失机制（例如根据报错回显的重要程度动态赋权），以及将 ECHO 推广至多模态 GUI 智能体的屏幕像素/视差预测训练中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了 Agent RL 仅优化动作空间的传统思维，将丢弃的终端观测转化为在策略世界模型监督。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8B/14B、Base/SFT、多基准评测、异配世界模型预测熵测试及免验证器自适应，数据详实。
写作质量: ⭐⭐⭐⭐⭐ 动机清晰尖锐，数学表述精炼，叙事层层递进，极具说服力。
价值: ⭐⭐⭐⭐⭐ 兼具优雅的理论直觉与极低的工程落地成本，是终端智能体强化学习的里程碑工作。