When Search Becomes Memory: Accelerating Robot Design Discovery with Self-Evolving Skills¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/wangyf9/Auto-Robotist
领域: 机器人/具身智能
关键词: 机器人构型设计, 演化搜索, 大语言模型智能体, 技能记忆库, 跨尺度迁移
一句话总结¶
针对传统机器人演化构型搜索中代价昂贵的仿真探索轨迹在迭代后即被遗忘的无记忆弊端,本文提出 AUTO-ROBOTIST 自演化智能体,将构型物理评测轨迹提炼为显式的自然语言技能库(包含结构原型、正负规则及支持证据),实现了冷启动加速搜索以及从 \(5\times 5\) 到 \(10\times 10\) 跨尺度搜索空间的有效知识迁移。
研究背景与动机¶
在模块化软体机器人自动化设计领域,协同探索构型形态与控制策略通常高度依赖昂贵的环境仿真评估。在诸如 Evolution Gym(EVOGYM)基准中,评估单一候选形态不仅需要检查材料联通性与致动器约束,还必须经历多达 \(5.12\times 10^5\) 步的近端策略优化(PPO)强化学习控制器训练。当机器人形态从 \(5\times 5\) 网格扩展至 \(10\times 10\) 时,离散体素组件的选择状态空间呈组合爆炸,形态空间规模超过 \(5^{100} > 10^{69}\),搜索难度急剧攀升。
然而,现存的演化算法、质量多样性搜索以及近期引入大语言模型作为候选提议生成器的系统,其优化循环本质上都是“无记忆的”(memoryless)。每次仿真评测实质上都是一次关于力学支撑、接触面稳定性、致动器载荷传递与运动坍缩的物理实验;但传统演化循环仅保留适应度最高的精英个体或更新种群分布,伴随大量计算代价产出的探索证据(如某类对称性抑制了翻滚、某处过度悬挑导致结构疲劳坍塌)在下一代或者新任务中被全盘抛弃。直接通过图像双线性插值或 \(2\times 2\) 体素瓦片复制来跨尺度放大精英形态,又往往因力臂改变、接触力学突变和载荷分布失衡而彻底破坏原有功能。
人类设计师在面对全新尺度的设计挑战时,不会仅依靠孤立的蓝图放大,而是提炼出一套可复用、可审计的通用结构设计法则。大语言模型虽具备出色的结构先验与文字归纳能力,但若缺乏与仿真证据强绑定的显式记忆架构,极易退化为不受约束的幻觉提议器。本文的核心切入点在于:将物理仿真代价转化为持久化、可审计的领域结构理论。核心 idea:构建包含结构原型(L1)、正负设计规则(L2)与仿真观测证据(L3)的三层自演化技能库,以证据加权实用度引导 LLM 生成变异候选并结合遗传算法探索,并在代际间通过增加、诊断与合并持续重写设计记忆,实现跨分辨率与跨任务的知识迁移。
方法详解¶
整体框架¶
AUTO-ROBOTIST 的运行流程由设计演化循环与技能演化循环紧密交织而成。在每一代搜索中,智能体从当前技能库中检索出与任务和尺度相关的技能,结合平滑历史增益计算采样权重,引导固定参数的 LLM 对当前精英个体进行技能变异提议(Path A),同时保留标准遗传算法变异通道(Path B)以确保空间覆盖度与拓扑容错;生成的新构型经拓扑合法性检验后送入 EVOGYM 仿真器进行 PPO 控制器训练评测,所得适应度反哺精英池;随后,评测产生的形态差异与适应度增量形成观测记录,系统通过新增(ADD)、诊断(DIAGNOSE)与合并(MERGE)三项原子操作自适应扩充与修订技能库,完成从仿真搜索痕迹到可迁移物理设计知识的沉淀。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["精英形态池 + 待求解任务环境"] --> B["三层显式技能库检索与效用加权采样"]
B --> C["双轨候选构型提议与拓扑合法性校验"]
C --> D["EVOGYM 物理仿真评测与 PPO 控制器训练"]
D --> E["代际自演化技能库维护<br/>ADD / DIAGNOSE / MERGE"]
E -->|更新精英池与领域知识理论| A
关键设计¶
1. 三层显式技能库表示:解耦宏观原型、定性规则与审计证据
传统 LLM 智能体通常将反思保存在非结构化的提示词上下文或单纯的文本日志中,容易在长时间探索中产生概念膨胀与无凭据的臆测。AUTO-ROBOTIST 将每个技能 \(s \in \mathcal{S}\) 严格设计为三层解耦的自包含记录:第一层(L1 原型,Archetype)定义紧凑的宏观拓扑概念与适用条件(例如用于包覆致动器的门式承重框架 portal_frame);第二层(L2 规则,Rules)包含指导设计的正向规则(提升适应度的构型微观模式)与负向规则(导致性能坍塌的失效模式),每条规则均记录定性拓扑描述、支持证据编号及滑动的父子相对适应度均值 \(\bar{g}_\ell\);第三层(L3 观测,Observations)则忠实记录所有相关的父子构型体素网格、任务尺度、绝对适应度、相对增益 \(g_{s,i}\) 与生成归因。这种设计确保了规则始终基于相对拓扑关系(如“在致动器侧翼添加刚性支架以稳定垂直变形”)而非绝对坐标索引,从而保证了跨尺度的物理可解释性与严密的可审计追踪。
2. 双轨候选构型提议:技能引导变异与遗传算法覆盖相结合
在生成子代构型阶段,若完全依赖 LLM 会因模型固有的归纳偏差而陷入探索狭隘,而纯遗传算法(GA)又缺乏目标方向性。系统在每一代设定评测预算为 25 个构型,将其分配为 15 个技能引导槽位(Path A)与 10 个随机变异槽位(Path B)。对于 Path A,系统根据各技能累积的观测收益,利用带有饱和截断因子的平滑实用度权重计算采样分布: $\(w_s = \frac{1 + \sum_{i=1}^{n_s} \text{clip}(g_{s,i} / \delta_{\max}, 0, 1)}{2 + n_s}\)$ 式中 \(g_{s,i} = f(d_{\text{child}}, \mathcal{T}) - f(d_{\text{parent}}, \mathcal{T})\) 代表子代相对于父代的适应度净增益,\(n_s\) 为该技能关联的观测总数,\(\delta_{\max}=2.0\) 为饱和阈值。采样所得技能的 L1 结构和 L2 正负规则被注入提示词,要求 LLM 基于选定父代进行局部编辑(\(5\times 5\) 下修改 1-3 体素,\(10\times 10\) 下修改 1-10 体素)。所有生成的网格在输入仿真前必须经过严格校验:仅允许合法体素取值、全图 4-连通且必须包含至少一个致动器;对于无法通过局部微调修复的非法提议,系统自动由 Path B 的随机变异无缝替补,杜绝了仿真算力在无效结构上的浪费。
3. 代际自演化技能库维护:ADD、DIAGNOSE 与 MERGE 闭环重写
为了使技能库能够随着搜索经验的累积不断自我净化与完善,智能体在每个世代仿真评测结束后串行执行三个核心维护操作。首先是 ADD(新增):将本代中无法归入现有技能的高收益构型汇入未分配证据池,由 LLM 仅在观察到重复涌现的新型稳定承重结构时创建新的 L1 原型,且初始生成的 L2/L3 为空,避免“单一偶发案例引发过度建库”;其次是 DIAGNOSE(诊断):对于接收到新观测的技能,系统利用增量公式实时更新对应规则的滑动均值: $\(\bar{g}_\ell \leftarrow \bar{g}_\ell + \frac{g_i - \bar{g}_\ell}{m_\ell}\)$ 其中 \(m_\ell\) 为支持样本计数。同时将规则之外的观测交由 LLM 判别,以宽容标准创建正向规则(增益显著且结构可复用),以严格标准创建负向规则(大幅恶化且展现典型失效特征),将物理失败转化为第一类保护约束;最后是 MERGE(合并):LLM 聚类具有相近拓扑机理的冗余 L1 原型,在合并概念的同时完整保留其各自承载的 L2 规则与 L3 审计轨迹,确保技能库在不发生单一模板坍缩的前提下维持高度紧凑。
一个完整示例¶
以复杂物体搬运任务 Carrier 为例,搜索过程展示了技能库从无到有的知识沉淀闭环:在初始世代 \(R_0\),智能体从随机生成的离散块体起步,适应度仅为 2.92;通过早期评测,系统捕获到底部致动器与刚性块协同能够有效推进机体,ADD 操作确立了包含下层主动驱动基底的原型;在后续演化中,智能体发现若负载区上方悬空则物体极易滑脱翻滚,DIAGNOSE 操作立即生成负向规则 blocked_lower_frame(下框架受阻卡死)与正向规则 upper_bridge_pair(顶部对称刚性悬梁);在 \(R_6\) 轮次,LLM 检索并应用该规则对父代施加变异——构建对称垂直刚性脊柱并补齐中央腹板支撑,最终演化出兼具高承载力与稳定前向推进的桥式搬运结构,适应度跃升至 7.14(最终测试达 8.19),显著超越了传统 GA 基线在此任务上的上限(6.40)。
实验关键数据¶
主实验¶
在 EVOGYM 基准的 7 项核心任务上(涵盖平地移动 Walker、高难度越障 BridgeWalker、平衡保持 Balancer、重物运载 Carrier、垂直攀爬 Climber、纵向跳跃 Jumper 以及推箱任务 Pusher),评测涵盖 \(5\times 5\) 冷启动搜索(从空技能库开始)与 \(5\times 5 \rightarrow 10\times 10\) 跨尺度迁移。实验衡量最终最大适应度、收敛加速比 \(S\)(达到 GA 终点所需步数比率,\(S > 1\) 代表更快)以及领先比例 \(L\)(搜索全程领先 GA 的步数占比)。
表 1:\(5\times 5\) 尺度冷启动技能发现性能对比(3 组独立随机种子 0, 9, 42 的均值 \(\pm\) 标准差)
| 任务 | GA 基线 | AUTO-ROBOTIST | 适应度提升 (\(\Delta\)) | 收敛加速比 (\(S\)) | 预算领先比例 (\(L\)) |
|---|---|---|---|---|---|
| Walker | 9.54 | 9.55 \(\pm\) 0.01 | +0.01 | 1.30 | 0.67 |
| BridgeWalker | 3.65 | 3.69 \(\pm\) 0.05 | +0.04 | 1.28 | 0.53 |
| Balancer | 0.13 | 0.15 \(\pm\) 0.01 | +0.02 | 1.13 | 0.45 |
| Carrier | 6.40 | 8.19 \(\pm\) 1.21 | +1.79 | 2.76 | 0.87 |
| Climber | 0.57 | 0.61 \(\pm\) 0.06 | +0.04 | 1.24 | 0.65 |
| Jumper | 5.58 | 6.67 \(\pm\) 0.33 | +1.09 | 2.16 | 0.83 |
| Pusher | 8.45 | 8.92 \(\pm\) 1.36 | +0.47 | 1.74 | 0.71 |
表 2:\(10\times 10\) 跨尺度迁移对比(1000 次评测预算;w/ ref 代表提示词中附带 \(5\times 5\) 精英样例,w/o ref 为纯技能规则迁移)
| 任务 | GA 直接放大 (\(2\times 2\)) | 本文直接放大 (\(2\times 2\)) | GA 全局搜索 | 本文 (w/o ref) | 本文 (w/ ref) | 相对 GA 增益 (\(\Delta\)) | 加速比 (\(S\)) | 领先比例 (\(L\)) |
|---|---|---|---|---|---|---|---|---|
| Walker | 4.67 | 4.20 | 9.31 | 9.72 | 10.98 \(\pm\) 1.45 | +1.67 | 3.27 | 0.75 |
| BridgeWalker | 1.24 | 0.42 | 2.46 | 2.33 | 3.69 \(\pm\) 0.33 | +1.23 | 1.47 | 0.66 |
| Balancer | -1.44 | -0.14 | 0.09 | 0.08 | 0.09 \(\pm\) 0.04 | +0.00 | 1.81 | 0.52 |
| Carrier | 3.41 | 0.16 | 1.38 | 5.69 | 7.22 \(\pm\) 1.28 | +5.84 | 8.36 | 0.95 |
| Climber | 0.34 | 0.29 | 0.63 | 0.54 | 0.77 \(\pm\) 0.03 | +0.13 | 3.11 | 0.93 |
| Jumper | 1.55 | 2.71 | 5.94 | 7.24 | 6.83 \(\pm\) 0.14 | +0.89 | 1.19 | 0.87 |
| Pusher | 5.85 | 0.76 | 8.47 | 8.36 | 8.83 \(\pm\) 0.80 | +0.36 | 0.97 | 0.74 |
消融实验¶
在 \(5\times 5\) 冷启动设定下对各模块组件进行剥离检验(以 Pusher 与 Walker 任务为例,评估平均最终适应度):
| 配置选项 | Pusher 适应度 | Pusher 相对降幅 | Walker 适应度 | 说明 |
|---|---|---|---|---|
| Full AUTO-ROBOTIST | 9.87 | 基准 | 9.56 | 完整自演化闭环 |
| (A1) No Diagnose | 7.74 | -21.6% | 9.16 | 移除诊断更新,L2 规则不再演化 |
| (A2) No Merge | 8.49 | -14.0% | 9.44 | 移除合并,导致 L1 原型冗余碎片化 |
| (A3) Pure LLM | 7.51 | -24.0% | 9.35 | 剔除 GA 变异,全部依赖 LLM 提议 |
| (A4) No L2+L3 | 7.52 | -23.8% | 9.54 | 提示词中仅保留粗粒度 L1 原型,剔除具体细则与观测 |
关键发现¶
- 纯规则先验即足以击败演化算法:在 \(10\times 10\) 跨尺度实验中,即使在提示词中完全隐去源尺度的 \(5\times 5\) 实体外形(w/o ref 纯技能模式),AUTO-ROBOTIST 依然在 Walker(9.72 vs 9.31)、Carrier(5.69 vs 1.38)和 Jumper(7.24 vs 5.94)上超越了充分搜索的 GA 基线。这证明所学技能库编码的是高阶拓扑相互作用关系(如“在致动器周围布置刚性外框以传递剪切力”),而非浅层的像素级视觉记忆。
- 几何锚点与抽象规则的协同倍增:对比 w/o ref 与 w/ ref 可以发现,在地形高度非结构化或接触依赖苛刻的环境中(如 BridgeWalker 从 2.33 提升至 3.69,Climber 从 0.54 提升至 0.77),同时提供参考构型能够为抽象规则提供初始几何锚点,二者结合取得了最高的收敛表现。
- 探索与规则指引缺一不可:消融实验显示,在强接触任务 Pusher 上,移除随机 GA 变异的 Pure LLM 设置性能下跌 24.0%,这证实离散拓扑的广度扰动能够有效防止智能体过早陷入已知技能的局部最优点。
亮点与洞察¶
- 将负向失效模式确立为一等公民规则:AUTO-ROBOTIST 不仅记录成功经验,还将仿真中导致运动闭锁、机体撕裂或载荷倾覆的结构模式提取为明确的负向规则(例如
blocked_lower_frame),在提议阶段显式规避,大幅降低了无效仿真的试错开销。 - 自然语言作为通用跨分辨率拓扑载体:直接体素放大(\(2\times 2\) 瓦片化)在所有任务上均导致性能崩溃(例如 Carrier 从 5×5 放大后仅得 0.16);而自然语言构型规则不受网格分辨率限制,天然具备跨尺度泛化能力。
- 轻量维护与高性价比:在 1000 次评测的 \(10\times 10\) 完整搜索中,调用 gpt-5.5 的总 API 成本仅约 51-62 美元,大部分计算耗时均在物理仿真与 PPO 训练中,智能体以极低的计算开销显著加速了整体搜索收敛。
局限与展望¶
- 受限于 2D 规则网格仿真环境:当前研究依托 EVOGYM 二维体素平台,尚未扩展至包含空间多自由度、复杂流固耦合或三维各向异性材料的真实机器人硬件构型。
- 固定构型材料字典:系统依赖预设的 5 种离散体素类型(空、刚性、柔性、水平致动、垂直致动),若切换至连续拓扑优化或复合柔性驱动介质,需要重新设计底层规则语法。
- 规则潜在冲突消解机制仍待完善:当多个高权重技能同时被检索时,可能存在相互矛盾的设计指令(如某技能要求中央布置刚性主梁,而另一技能要求贯穿柔性致动带),目前依赖 LLM 自行权衡,未来需引入显式的规则一致性校验与置信度量化机制。
相关工作与启发¶
- vs LASeR (Song et al., 2025): LASeR 引入 LLM 进行多样性反思与演化指导,但其反思仅停留在当前代的瞬时上下文提示词中;AUTO-ROBOTIST 构建了持久化、带证据追溯的三层技能库,实现了经验的跨代与跨尺度复用。
- vs RoboMore (Fang et al., 2025) / BodyGen (Lu et al., 2025): 后者聚焦于形态与奖励函数的联合优化或拓扑感知神经网络表示;本文则正交地探索智能体记忆系统的长期演化机理,证明了显式符号化技能库对纯算法搜索的增益。
- vs Voyager (Wang et al., 2023): Voyager 探索 Minecraft 开放世界并以代码形式沉淀技能;AUTO-ROBOTIST 面向受严格力学法则支配的物理世界,将构型搜索轨迹转化为以实体观测为锚点的显式设计理论。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出将机器人构型搜索轨迹转化为解耦、可审计、自演化的显式自然语言技能库。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 EVOGYM 全部 7 项代表性任务,兼顾冷启动与跨尺度迁移,实验设计包含严格的纯技能对比与组件消融。
- 写作质量: ⭐⭐⭐⭐⭐ 概念阐述清晰,图表与实验动机高度契合,附录提供了完整的提示词模板与超参数细节。
- 价值: ⭐⭐⭐⭐⭐ 为昂贵物理工程仿真与大语言模型智能体记忆系统的结合开辟了极具前景的通用范式。