LIBERO-PeRM: Benchmarking Personalized Robotic Manipulation¶

会议: NeurIPS 2026
arXiv: 2610.22372
论文: https://libero-perm.github.io/
领域: 机器人
关键词: 具身智能、个性化机器人操作、偏好学习、视觉-语言-动作模型、基准测试

一句话总结¶

本文提出具身智能个性化操作基准 LIBERO-PeRM，定义了涵盖运动约束、技能策略与用户画像的三层可观测偏好分类学，并构建包含 312 项偏好微调任务与 40.8k 轨迹的评测套件，揭示出前沿 VLA 模型在零样本个性化遵循、偏好泛化及冲突消解上的根本瓶颈。

研究背景与动机¶

随着视觉-语言-动作（VLA）多模态大模型的快速演进，通用机器人操作在跨场景语义泛化与异构本体控制上取得了突破性进展。然而，当通用具身智能体试图跨入真实的家庭与非结构化日常生活环境时，单纯达成名义上的任务目标（如“将杯子放到桌上”）已远不足以满足实际部署要求。不同用户在执行相同动作目标时往往存在截然不同的操作偏好与隐式习惯——例如有人要求握持杯把时必须朝外、有人要求移动轨迹严禁越过高温灶台或易碎酒瓶、有人则习惯将杯子垫在杯垫上以防损坏桌面。满足这些具有强烈用户特异性的物理与语义约束，构成了个性化机器人操作（PeRM）的核心前提。

然而，现有具身个性化研究长期受阻于两个深层瓶颈。首先，现有文献在问题设定与评估指标上极度割裂：有的工作将其抽象为基于人类反馈的隐式强化学习偏好对齐，有的将其简化为高层物品-容器语义配对或用户风格空间映射；评测方式则在任务成功率、小规模真实主观用户打分与各类启发式评分函数之间游移，导致不同算法之间既无法公平横向对比，也难以系统排查策略的具体失效模式。其次，已有的具身基准测试要么偏重于高层语义导航与容器选择（如 TidyBot、PersONAL），缺乏精细的低层物理操作轨迹与动作约束；要么属于记忆驱动型基准，混淆了单任务实例记忆与真正由用户偏好驱动的个性化行为，且完全忽视了多偏好组合及任务-偏好物理冲突等核心议题。

为了填补上述空白，本研究将用户偏好提升为与任务目标、场景布局同等地位的具身基准核心基石。核心 idea：将个性化偏好显式建模为独立于任务目标的执行约束，提出涵盖运动约束、技能策略与用户画像的三层可观测偏好分类学，并借助程序化管线构建解耦任务成功率与偏好满足度的大规模配对基准 LIBERO-PeRM。

方法详解¶

整体框架¶

LIBERO-PeRM 建立在主流具身操作基准 LIBERO 之上，整体架构包含三大核心支柱：定义严密的仿真可观测偏好分类体系、端到端的程序化数据生成与自动化度量流水线、以及针对个性化关键能力的五大评测任务套件。输入端接收任务语言指令与偏好文本提示，机器人基于智能体主视角（AgentView）与手眼相机（Eye-in-Hand）视觉观测输出连续末端动作；系统在评测阶段严格将任务达成判定与偏好约束遵从性进行正交解耦，确保仅在任务成功完成的前提下计入偏好满足度得分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务目标语言 ℓ_task<br/>+ 偏好语言 ℓ_pref"] --> B["场景布局轻量编辑<br/>保留原任务几何与物体分布"]
    B --> C["子任务规划与示教生成<br/>OMPL 路径采样 + 启发式技能"]
    C --> D["双层度量与质量审计<br/>轨迹运动学 + VLM 视觉判定"]
    D --> E["五大任务评测套件<br/>SinglePref / Scale / Conflict / Compose / ComprePref"]

关键设计¶

1. 三层可观测偏好分类学与形式化建模：解耦目标与执行约束

针对传统强化学习偏好定义含混、主观偏好无法在仿真器中自动化度量的缺陷，本文确立了入选偏好的五大刚性准则：可自然语言表述、可在 LIBERO 场景物理落地、不改变原任务终态目标、可程序化自动度量、且具备跨任务与布局的复用性。基于此构建了三层仿真可观测偏好分类体系： - 运动偏好（Motion Preference, $P_{\mathrm{motion}}$）：对执行轨迹的物理与运动学属性施加硬约束，如避开指定桌面区域（最小障碍距离）、减速/加速移动（轨迹步数控制）、贴近桌面运动或限制加速度突变； - 技能偏好（Skill Preference, $P_{\mathrm{skill}}$）：改变特定技能原语的执行策略与抓放姿态，如必须抓取马克杯把手、从左侧/边缘抓取物体、推挤替代拾放、或放置时旋转朝向； - 用户画像（User Profile, $P_{\mathrm{profile}}$）：利用用户长期语义背景指导子任务层级的目标选择，例如“偏好保护桌面”诱导智能体将杯子优先放置于杯垫、“偏好高层抽屉”存放餐具、或在同类多物体中挑选指定颜色/尺寸/包装的物品。

基准共形式化定义了 37 个单偏好实例（8 项运动、14 项技能、15 项用户画像）与 18 项双偏好组合。策略输入形式化为拼接提示词 $\ell_{\text{task}}\mathbin{\|}\ell_{\text{pref}}$，策略输出动作概率分布 $\pi_\theta(a_t \mid I_t^{\mathrm{agent}}, I_t^{\mathrm{hand}}, \ell_{\text{task}}\mathbin{\|}\ell_{\text{pref}})$。

2. 场景布局轻量编辑与程序化示教轨迹生成流水线：保证基线分布一致性

为了确保策略性能差异纯粹源于偏好引导而非场景扰动带来的环境混淆，管线采用三阶段程序化合成：首先，在布局修改阶段，利用多模态大模型对 LIBERO 初始布局进行极小化编辑（Minimal Layout Modification）——对于运动与技能偏好，完全保持场景物体几何与任务语言不变，仅由 VLM 圈定避让区域或目标把手；对于用户画像偏好，仅在场景中补充同类别的偏好候选项（如引入一个红色物体以满足“偏爱红色”），同时抽象任务指令以包容普通与偏好执行。其次，在子任务与示教生成阶段，针对偏好调整子任务序列（如调用 pick_handle 替代普通抓取），并调用底层启发式示教技能库。每个技能通过单条人类引导示教提取航路点，结合 OMPL 运动规划器对随机初始位姿进行大批量轨迹采样并滤波平滑。实验统计表明，超过 72% 的生成技能完全无需人工微调偏移参数即可无缝复用。

3. 正交解耦的偏好满足度自动度量与四级离散量化：兼顾连续密集与可解释评估

评估体系面临的关键痛点是：用户画像决策天然属于离散命中（是否抓了红色杯子），而运动轨迹和抓取姿态天然属于连续物理量。如果指标不统一，将导致多任务汇总失去统计意义。为此，管线对不同偏好类型设计了专用的自动化裁判：运动偏好基于真实物理轨迹数据计算欧氏距离、速度步数与加速度阈值；技能偏好基于关键航路点接触和多视角 VLM 独立裁决图像接触点与末端姿态（多模态裁判失误率低于 23%，歧义样本送人工交叉仲裁）；用户画像则直接跟踪执行的子任务符号状态。更关键的是，系统通过经验分位数统计将连续指标映射为统一的四级离散满足度标签 $d \in \{0, \frac{1}{4}, \frac{3}{4}, 1\}$。定义偏好满足度指标 $\mathrm{SA}$ 为： $$\mathrm{SA} = \frac{1}{N} \sum_{n=1}^{N} \mathbb{I}[G(\tau_n)] \, d_n$$ 其中 $\mathbb{I}[G(\tau_n)]$ 为原任务成功指示函数。该数学设计保证了任何偏好满足度必须以原任务成功为绝对前提——若任务失败（如杯子掉落打碎），无论移动轨迹如何“避障”得分均强制归零，彻底消除了牺牲任务达成换取表面偏好贴合的作弊策略。

4. 覆盖完整能力阶梯的五大任务评测套件：全维度解构个性化操作

整个基准共构建 312 项程序化任务与 40.8k 条高质量评测示范轨迹，划分为五大专用套件： - LIBERO-SinglePref（100 任务）：评估单一偏好的基线学习与执行能力； - LIBERO-PrefScale（100 任务）：评测随着示范轨迹量扩增、未见布局（Unseen Layouts）以及不同任务迁移时，策略在样本效率与多级泛化性上的表现； - LIBERO-PrefConflict（48 任务）：评测极端对抗条件下的策略鲁棒性，涵盖偏好-偏好互斥（如“加速移动”与“极度贴近桌面慢移”冲突）及任务-偏好互斥（如目标要求将盘子放进烤箱，但偏好要求远离所有厨房热源）； - LIBERO-PrefCompose（64 任务）：构建严格解耦的四状态组（无偏好、偏好 A、偏好 B、组合偏好 A+B），检验多偏好组合与逆向解构能力； - LIBERO-ComprePref：将显式拼接提示词改写为富含上下文情境的自然对话与因果语境（如将“抓取把手”隐式表达为“杯子刚用微波炉加热过，杯身很烫”），考察高层语义推理与常识落地。

损失函数 / 训练策略¶

针对基线 VLA 策略微调，基准主要采用基于 LoRA 的参数高效监督微调（SFT）。以开源主力策略 $\pi_{0.5}$ 为核心底座，在 8 张 A6000 Ada GPU 上以 $5 \times 10^{-5}$ 学习率微调。评测严格对比了三类数据组织策略： - 偏好专用微调（Pref-only LoRA）：仅在带有显式偏好的示范数据上进行拟合； - 顺序微调（Seq-LoRA）：先在标准无偏好 LIBERO 数据上微调巩固基础操作，再在个性化偏好数据上二次微调； - 混合联合微调（Mix-LoRA）：将原版 LIBERO 无偏好任务示范与配对的偏好示范按比例混合联合优化，使模型在单检查点下同步具备普通执行与偏好执行模式。

实验关键数据¶

主实验¶

基准在 LIBERO-SinglePref 上对六大主流前沿 VLA 策略开展了全面的零样本（Zero-shot）个性化能力评测。各策略在无偏好设定下测试任务成功率（SR），在偏好注入设定下分别统计任务成功率（SR）与偏好满足度（SA）。

模型	无偏好 SR (%)	全偏好 SR (%)	全偏好 SA (%)	运动偏好 SR / SA (%)	技能偏好 SR / SA (%)	画像偏好 SR / SA (%)
OpenVLA-OFT	91.2	40.00	4.53	70.00 / 7.30	64.10 / 3.20	3.92 / 3.92
$\pi_0$-fast	86.88	51.25	30.37	80.00 / 27.60	73.08 / 18.27	17.65 / 17.65
$\pi_{0.5}$	97.6	66.67	37.92	97.50 / 24.38	100.00 / 25.00	19.12 / 19.12
GR00T-N1.6	88.3	51.67	27.45	90.00 / 20.70	76.92 / 11.54	9.80 / 9.80
SmolVLA	60.0	4.17	2.03	16.67 / 4.17	0.00 / 0.00	0.00 / 0.00
UniVLA	80.8	45.83	21.52	90.00 / 10.17	71.79 / 3.59	0.00 / 0.00

消融实验¶

针对最强底座 $\pi_{0.5}$，论文深入对比了不同监督微调机制（LoRA、Mix-LoRA、Seq-LoRA）在域内、未见布局（记为 $*$）以及语境推理任务 ComprePref 上的表现（10 次评估均值 $\pm$ 标准差）。

微调策略	无偏好 SR (%)	全偏好 SR (%)	全偏好 SA (%)	运动偏好 SA (%)	技能偏好 SA (%)	画像偏好 SA (%)	ComprePref SA (%)
$\pi_{0.5}$-LoRA (仅偏好)	-	84.96 ± 1.06	82.48 ± 1.02	85.37 ± 2.66	76.67 ± 1.40	85.22 ± 1.47	42.64 ± 0.69
$\pi_{0.5}$-Mix-LoRA (混合)	91.00 ± 0.70	84.55 ± 1.94	84.45 ± 2.04	66.06 ± 4.38	89.29 ± 2.82	91.33 ± 3.42	70.07 ± 0.91
$\pi_{0.5}$-Seq-LoRA (串行)	52.33 ± 0.37	74.75 ± 1.97	74.73 ± 2.12	67.44 ± 6.52	72.14 ± 2.04	81.00 ± 2.79	68.25 ± 1.29
$\pi_{0.5}$-LoRA$^*$ (未见布局)	-	37.49 ± 3.27	28.36 ± 2.55	43.43 ± 7.02	26.94 ± 3.57	20.58 ± 3.39	-

此外，在偏好组合与冲突消解专项实验中呈现了关键规律： 1. 偏好组合与解耦（Composition & Decomposition）：模型在独立学习 $P_A$ 与 $P_B$ 后，零样本泛化至联合组合 $P_A+P_B$ 的评测 SR/SA 仅为 25.0%/25.0%（域内为 58.3%）；而逆向解耦测试中，从已学联合策略中试图推断并独立执行 $P_B$ 时，评测 SR 虽达到 37.5%，但偏好满足度 SA 跌至 0.0%，说明偏好特征在潜空间发生了严重纠缠。 2. 偏好与任务物理冲突（Conflicts）：在偏好-偏好冲突下，评测 SR/SA 分别降至 66.00% 与 47.75%，主导偏好差距指标（Pref-Dom）仅为 11.25%，表明模型在两个互斥偏好间随机摇摆；而在任务-偏好互斥冲突下，仅有 33.3% 遵循任务优先原则，29.2% 盲目执行偏好而导致原任务失败，37.5% 发生动作崩溃直接未完成任务。

关键发现¶

当前主流 VLA 模型普遍缺乏零样本偏好理解与遵循能力：即使在无偏好任务上达到 97.6% 成功率的 $\pi_{0.5}$，面对注入偏好的零样本测试，全偏好 SA 仅有 37.92%。更深层的原因在于模型倾向于“盲目做完任务而无视偏好约束”——在运动与技能偏好上，$\pi_{0.5}$ 的任务成功率维持在 97.5% 和 100%，但偏好遵从度分别仅有 24.38% 和 25.00%。
串行微调导致灾难性遗忘，混合微调显现技能间博弈权衡：采用 Seq-LoRA 串行训练会导致基础无偏好任务成功率腰斩（从 91% 暴跌至 52.33%）；Mix-LoRA 虽能保住无偏好保留率（91.00%）并显著强化语境推理（ComprePref SA 达到 70.07% vs LoRA 的 42.64%），但混合训练严重削弱了连续运动偏好的学习质量（运动 SA 从 85.37% 下滑至 66.06%）。
布局多样性远胜示范轨迹数量堆砌：数据缩放实验表明，在相同示教轨迹预算（2.25k 轨迹）下，将训练布局数由 2 个增加到 5 个（L1 $\to$ L3）带来的泛化增益，显著超越在单一布局下翻倍采集轨迹；此外，引入配对的无偏好数据（L4）能有效帮助策略在表征层将物体空间定位与偏好控制动态解耦。
跨场景偏好泛化依然脆弱：当任务拓展至未见布局或全新任务目标时，微调模型的偏好满足度出现断崖式下跌（全偏好 SA 跌至 28.36%），表明现存策略将偏好特征过拟合到了局部的视觉物体纹理与坐标线索上，未真正理解抽象的偏好语义。

亮点与洞察¶

构建了机器人领域首个以偏好为第一公民的标准操作基准：彻底厘清了传统具身文献中“把更换子目标当偏好”与“真个性化操作”的本质边界，确立了自然语言提示下偏好独立于任务目标的正交评价范式。
提出严格门控的偏好满足度指标 $\mathrm{SA}$：以原任务成功为先决条件的离散量化打分设计极其严谨，有效杜绝了策略通过投机取巧违背物理操作底线来刷取偏好分数的虚假繁荣。
混合微调（Mix-LoRA）的“抗遗忘-运动退化”权衡揭示了表征干扰新问题：该发现极具启发意义，证明高层语义偏好（画像/技能）能够从多源数据中获益，但底层高频连续运动轨迹控制在混合优化时极易受到无偏好轨迹梯度的平滑与冲淡，为未来具身分层解耦架构设计提供了强有力的经验指引。

局限与展望¶

作者承认的局限：偏好范畴严格受限于仿真环境下自然语言可表达、且具备自动化程序判定逻辑的显式约束，未包含历史交互隐式推断、非言语信号（手势、眼神、触觉）以及人类主观模糊演化偏好；评测中的偏好组合仅支持两两组合，冲突测试尚未引入多轮对话交互与主动澄清（When-to-ask）机制；此外，人类验证仅停留在视频打分阶段，缺乏真实机器人长周期部署与真实用户研究。
个人审视与发现：程序化示教轨迹严重依赖 OMPL 规划器与预设技能库插值平滑，生成轨迹在动态加速度与微观接触力学上呈现出明显的“算法合成感”，未能完全复现真实人类遥操作的丰富抖动与力控合规性，可能导致策略在 Sim-to-Real 迁移时面临新的动力学间隙。
改进与延伸思路：可引入主动交互与置信度校准模块，当智能体检测到不可调和的任务-偏好物理冲突时，自动触发拒识与人类反问机制；同时，可将三层偏好框架解耦为“VLM 高层语义决策器 + 扩散策略（Diffusion Policy）低层偏好流控”，彻底解决混合微调在连续运动控制上的梯度干扰。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次系统化形式化具身个性化操作并建立正交的三层偏好分类体系]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 6 大主流 VLA、312 项任务、微调对比、数据扩增、跨布局泛化及组合冲突分析]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密清晰，评测指标数学形式化规范，局限性与未来展望坦诚详尽]
价值: ⭐⭐⭐⭐⭐ [填补了机器人操作从“通用能干”跨越到“因人而异”的测评基石，对具身智能家庭落地指导意义深远]

微调策略	无偏好 SR (%)	全偏好 SR (%)	全偏好 SA (%)	运动偏好 SA (%)	技能偏好 SA (%)	画像偏好 SA (%)	ComprePref SA (%)
\(\pi_{0.5}\)-LoRA (仅偏好)	-	84.96 ± 1.06	82.48 ± 1.02	85.37 ± 2.66	76.67 ± 1.40	85.22 ± 1.47	42.64 ± 0.69
\(\pi_{0.5}\)-Mix-LoRA (混合)	91.00 ± 0.70	84.55 ± 1.94	84.45 ± 2.04	66.06 ± 4.38	89.29 ± 2.82	91.33 ± 3.42	70.07 ± 0.91
\(\pi_{0.5}\)-Seq-LoRA (串行)	52.33 ± 0.37	74.75 ± 1.97	74.73 ± 2.12	67.44 ± 6.52	72.14 ± 2.04	81.00 ± 2.79	68.25 ± 1.29
\(\pi_{0.5}\)-LoRA\(^*\) (未见布局)	-	37.49 ± 3.27	28.36 ± 2.55	43.43 ± 7.02	26.94 ± 3.57	20.58 ± 3.39	-