跳转至

Inferring the Unspoken: Aligning Embodied Agents with Implicit Preferences

会议: EMNLP 2026
论文: ACL Anthology
项目: Project Page
领域: 机器人/具身智能
关键词: 具身智能、语用推理、隐式偏好对齐、两阶段规划、PBP 基准

一句话总结

针对具身智能体面对欠指定自然语言指令时难以满足用户个性化隐式偏好的难题,本文提出了涵盖 290 项偏好的 PBP 评估基准,并设计了两阶段框架 InTU,通过显式语言化推断隐式偏好后再行规划,揭示了具身对齐瓶颈在于偏好获取而非下游规划。

研究背景与动机

自然语言是人机协作中最自然的接口,但在日常具身交互中,人类发出的指令极少是详尽完备的。根据格赖斯语用学(Gricean Pragmatics)与最省力原则(Zipf's Principle of Least Effort),说话人往往默认听者能够根据上下文自行补全常识与背景信息。例如,当用户发出“准备一个苹果”或“收拾厨房”这类欠指定(underspecified)指令时,语言本身并未界定苹果应该削皮、清洗还是切块,也没有指定清洗后放置的位置。在物理现实中,不同用户的生活习惯与交互风格截然不同,这类选择极少被口头完整表达,而是自然体现在他们过往的行为实践中。现有多模态具身大模型虽然展现出强大的常识任务分解能力,但在面对这类欠指定需求时,往往只能退回到无差别的通用先验(generic prior),从而抹杀了用户的个性化诉求。

导致这一困境的核心矛盾在于:当前主流具身系统多采用端到端隐式模仿(implicit visual imitation),试图直接将包含历史行为的视频或感知流映射到当前动作规划。这种范式将“推断隐式偏好”与“生成动作轨迹”混为一谈。人类演示视频是高维且极其嘈杂的,充斥着环境光照、视角变换、物体外观及杂乱空间布局等任务无关干扰;而真正约束行为的个性化偏好本质上是稀疏且高度语义化的(如“水果入口前必先洗涤”或“易腐食物必须放入冰箱冷藏”)。端到端网络在小样本(few-shot)条件下极难从连续像素流中解耦出这种抽象约束,且一旦场景纹理发生迁移,学到的表征就会迅速失效。

本文的切入视角是重访心智理论(Theory of Mind)与语用推理机制:语言本身正是连接高维感知观测与离散决策逻辑的最有效语义介质。通过将行为模式凝练为可解释的语言规则,智能体便能在保留行为意图的同时剥离掉感知噪声。本文的核心 idea 是将具身偏好对齐显式解耦为“先语言化推断隐式偏好、再基于偏好生成动作序列”的两阶段框架(InTU),并构建包含 290 种三级语义偏好的 PBP 基准,实证证明具身规划的瓶颈在于偏好获取而非动作生成。

方法详解

整体框架

本文提出的 Inferring the Unspoken(InTU)框架将个性化具身规划解耦为两个独立的概率推理阶段:第一阶段是语用偏好推断,智能体观察少样本无标注行为演示历史与当前环境上下文,显式生成一段人类可读的自然语言偏好描述;第二阶段是偏好条件化规划,将推断出的显式偏好作为强语义约束注入规划器,驱动动作基元生成。该框架由基准层、推断层与规划层协同构成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入:少样本无标注演示视频/轨迹 + 欠指定指令 + 当前场景"] --> B["分层语用偏好基准体系<br/>290 种偏好:原子级 / 策略级 / 时序级"]
    B --> C["上下文驱动的隐式偏好语言化推理<br/>自适应匹配演示正则性并生成显式语义规则"]
    C --> D["显式偏好条件下的动作序列规划<br/>结合当前场景图与指令生成对齐动作基元"]
    D --> E["输出:满足个性化隐式偏好的物理动作执行序列"]

关键设计

1. 分层语用偏好基准体系:为隐式意图对齐建立三级语义评估场 传统具身基准(如 ALFRED、Habitat、LoTa-Bench)主要关注智能体在明确目标指令下的导航与重排成功率,缺乏针对“未言明偏好”的系统性度量。为此,PBP(Preference-based Planning)基准构建了一个包含 290 种偏好的三层语义分类体系,从低到高全面覆盖家庭日常活动中的个性化需求: - 原子级动作语义(Atomic Semantics,75 类):关注连续物理动作执行参数的细粒度差异(例如开水龙头的水温、切片的厚薄、杯子注水是“半满”还是“全满”)。其挑战在于将连续细微的状态变化离散化为具象语义属性。 - 策略级选项语义(Strategic Semantics,135 类):涵盖物体放置、分类收纳与交互策略(例如水果放置于果盘而非冰箱、餐具放入对应层架)。该层级要求模型具备类别级的语义抽象能力,能够跨越物体实例完成归纳。 - 时序级因果语义(Temporal Semantics,80 类):规范多个子任务之间的先后顺序与因果依赖(例如“切水果前必须先在水槽冲洗”、“清洁桌面后再摆放餐盘”)。其偏好完全依赖多步动作的相对时序结构,无法从静态画幅或单步动作中识别。

PBP 基于 OmniGibson 仿真平台构建,横跨 50 个逼真可交互室内场景(厨房、客厅、卧室、办公室等)及 3000 多种物体资产,包含 5000 个严密评测组(共 15000 条演示视频与交互轨迹)。每个评测组包含 \(K=3\) 条无标注演示轨迹与一条欠指定查询指令,确保演示行为包含多种潜在规律,模型必须根据具体查询自适应辨识相关意图。

2. 上下文驱动的隐式偏好语言化推理:从少样本多模态演示中抽取紧凑语义约束 在端到端黑盒推理中,高维视觉信号与低信噪比的行为轨迹往往导致模型将环境特征(如特定房间背景、特定物体材质)与真正的人类意图发生虚假关联。InTU 引入中间潜在变量 \(\hat{S}_{\text{pref}}\),将偏好获取公式化为贝叶斯语用推断过程:

\[\hat{S}_{\text{pref}} = \arg\max_{S} P(S \mid \mathcal{C}_{\text{demo}}, I, E_{\text{curr}})\]

其中 \(\mathcal{C}_{\text{demo}} = \{X_i\}_{i=1}^K\) 代表无标注的少样本行为演示集(在视觉设定下为第一人称视频帧与俯瞰鸟瞰图,在符号设定下为动作轨迹),\(I\) 为欠指定的自然语言指令,\(E_{\text{curr}}\) 为当前交互场景。InTU 提示多模态基础模型审视过往行为中与当前指令 \(I\) 相关联的恒定行为模式,将其压缩并显式表述为简短的自然语言陈述(如 “用户偏好:在切开水果前先移至水槽清洗”)。这种语义压缩将意图与高维感知特征彻底解耦,不仅提供了清晰的人机可解释性,更使得抽取出的语义规则具备跨越未知场景零样本迁移的能力。

3. 显式偏好条件下的动作序列规划:解耦感知噪声并实现跨场景策略泛化 一旦隐式偏好被显式语言化,下游动作规划便蜕变为常规的条件规划任务,不再需要规划器承担推测意图的双重负担:

\[\hat{A} = \arg\max_{A} P(A \mid I, \hat{S}_{\text{pref}}, E_{\text{curr}})\]

规划器结合当前环境状态 \(E_{\text{curr}}\)、原始指令 \(I\) 与已推断出的语义偏好 \(\hat{S}_{\text{pref}}\),从 PBP 定义的 17 个参数化底层动作基元(包括 Move_to, Pick, Place, Cut, Cook, Wash, Clean, Toggle_on/off 等,底层运动由 A* 导航算法与逆运动学 IK / OMPL 运动规划库驱动)中解码出可执行的规范动作序列。通过这一解耦,评估协议得以通过提供标准事实偏好(Oracle Ground Truth)直接测算动作规划的下界残差,从而精确定位个性化规划中的误差源头。

一个完整示例

考虑一个评估组: 1. 历史演示输入 \(\mathcal{C}_{\text{demo}}\): - 演示 1(场景 Beechwood):用户移动到橙子处,抓取橙子并放入床头;移动到苹果处,抓取苹果并放入床头;移动到 DVD 处,抓取后放在书桌上。 - 演示 2(场景 Rs):用户抓取香蕉放在床头;抓取三明治放在厨房料理台;抓取橙子放在床头。 - 演示 3(场景 Merom):用户拿钢笔放在桌上;拿草莓放在床头;拿教科书放在书架。 2. 当前查询:场景中存在葡萄、铅笔与香蕉,指令为欠指定指令 \(I\): “整理房间物品”。 3. InTU 第一阶段推理:模型审视演示,排除三明治、DVD、书籍等不同策略后,归纳出核心规律:“所有水果类物品(orange, apple, banana, strawberry)均被放置在床上,非水果类则置于桌上或架上”,输出 \(\hat{S}_{\text{pref}}\): “Put fruit on the bed”。 4. InTU 第二阶段规划:规划器加载当前物体分布(葡萄、香蕉、铅笔),依据 \(\hat{S}_{\text{pref}}\) 自动将葡萄与香蕉归入“水果→床”分支,将铅笔归入“文具→桌”分支,准确生成序列:[Move_to(grape), Pick(grape), Move_to(bed), Place(grape, bed), Move_to(banana), Pick(banana), Move_to(bed), Place(banana, bed), Move_to(pencil), Pick(pencil), Move_to(table), Place(pencil, table)]。相比之下,端到端模型(如 LLaVA-NeXT 与 Llama 3)因未能抽象出水果类别概念,极易出现把铅笔也抓到床上、或者漏掉某样水果的错误。

实验关键数据

主实验

实验采用编辑距离(Levenshtein Distance,\(\downarrow\),越低代表与真实用户行为越一致)评估动作规划对齐质量,覆盖视频输入(ViViT、LLaVA-NeXT、EILEV、Gemini-3.1-Pro)与符号输入(Llama3-8B、DeepSeek-v4-pro、Claude-Opus-4.7、GPT-5.5)两大类别。对比设置包括:End-to-end(端到端直接规划)、Two-stage(InTU 两阶段显式语言化)、以及 Second-stage (gt)(提供真实偏好的规划理论上限)。

输入模态 模型 策略选项级 (Option \(\downarrow\)) 时序因果级 (Sequence \(\downarrow\)) 总体平均 (Overall \(\downarrow\))
视频输入 ViViT (纯视频编码下界) 15.49 \(\pm\) 1.29 34.04 \(\pm\) 11.84 24.76
LLaVA-NeXT (End-to-end) 15.94 \(\pm\) 3.41 34.76 \(\pm\) 11.25 25.35
LLaVA-NeXT (Two-stage InTU) 12.46 \(\pm\) 3.23 30.02 \(\pm\) 13.54 21.24
LLaVA-NeXT (Second-stage gt) 3.28 \(\pm\) 5.29 18.92 \(\pm\) 14.18 11.10
Gemini-3.1-Pro (End-to-end) 8.72 \(\pm\) 2.26 24.51 \(\pm\) 4.15 16.62
Gemini-3.1-Pro (Two-stage InTU) 4.28 \(\pm\) 1.76 12.57 \(\pm\) 2.92 8.43
Gemini-3.1-Pro (Second-stage gt) 0.16 \(\pm\) 1.82 10.24 \(\pm\) 2.58 5.20
符号输入 Llama3-8B (End-to-end) 14.74 \(\pm\) 3.21 31.79 \(\pm\) 7.32 23.26
Llama3-8B (Two-stage InTU) 9.67 \(\pm\) 5.16 25.46 \(\pm\) 5.93 17.56
Llama3-8B (Second-stage gt) 8.22 \(\pm\) 5.58 19.02 \(\pm\) 7.10 13.62
DS-v4-pro (End-to-end) 6.42 \(\pm\) 2.33 22.84 \(\pm\) 4.01 14.63
DS-v4-pro (Two-stage InTU) 2.31 \(\pm\) 1.67 12.10 \(\pm\) 2.85 7.21
DS-v4-pro (Second-stage gt) 0.16 \(\pm\) 1.46 10.19 \(\pm\) 2.47 5.18
Claude-Opus-4.7 (End-to-end) 6.72 \(\pm\) 2.48 21.47 \(\pm\) 3.12 14.10
Claude-Opus-4.7 (Two-stage InTU) 2.56 \(\pm\) 2.04 13.84 \(\pm\) 2.81 8.20
Claude-Opus-4.7 (Second-stage gt) 0.16 \(\pm\) 1.99 9.17 \(\pm\) 2.90 4.67
GPT-5.5 (End-to-end) 6.07 \(\pm\) 2.00 21.92 \(\pm\) 3.45 14.00
GPT-5.5 (Two-stage InTU) 2.41 \(\pm\) 1.72 12.48 \(\pm\) 2.45 7.45
GPT-5.5 (Second-stage gt) 0.14 \(\pm\) 1.21 9.77 \(\pm\) 2.69 4.96

消融实验

消融实验第一部分检验少样本演示对偏好推断准确率(Accuracy \(\uparrow\))的影响,对比了提供 \(K=3\) 演示的 Few-shot 与完全无演示的 Zero-shot(Ablative)设定:

评估配置 模型 策略选项级 (Option Acc \(\uparrow\)) 时序因果级 (Sequence Acc \(\uparrow\)) 整体准确率 (Overall Acc \(\uparrow\))
Few-shot (K=3 演示) Gemini-3.1-Pro (Video) 63.28% 52.10% 57.69%
LLaVA-NeXT (Video) 36.87% 24.85% 30.86%
EILEV (Video) 38.33% 32.69% 35.51%
ViViT (Video) 9.38% 4.24% 6.81%
Llama3-8B (Symbolic) 72.98% 67.18% 70.08%
DeepSeek-v4-pro (Symbolic) 91.28% 76.48% 83.88%
Claude-Opus-4.7 (Symbolic) 89.91% 76.92% 83.42%
GPT-5.5 (Symbolic) 92.48% 78.01% 85.25%
Zero-shot / No Context (消融) Gemini-3.1-Pro (Video) 31.92% 14.28% 23.10%
LLaVA-NeXT (Video) 15.47% 8.13% 11.80%
Llama3-8B (Symbolic) 39.50% 6.25% 22.88%
DeepSeek-v4-pro (Symbolic) 83.55% 18.58% 51.07%
GPT-5.5 (Symbolic) 82.01% 18.71% 50.36%

消融实验第二部分检验显式语言化与内部隐式思考的差异(Table A8),对比标准端到端(Vanilla)、内部隐式考虑偏好但不输出(P-aware)、以及 InTU 显式两阶段语言化(Two-stage):

模型 规划机制 Option Level \(\downarrow\) Sequence Level \(\downarrow\) Overall \(\downarrow\)
Gemini-3.1-Pro Vanilla End-to-end 8.72 \(\pm\) 2.26 24.51 \(\pm\) 4.15 16.62
P-aware End-to-end 4.56 \(\pm\) 1.96 15.73 \(\pm\) 3.55 10.14
Two-stage InTU (显式语言化) 4.28 \(\pm\) 1.76 12.10 \(\pm\) 2.85 8.19
Llama3-8B Vanilla End-to-end 14.74 \(\pm\) 3.21 31.79 \(\pm\) 7.32 23.26
P-aware End-to-end 9.24 \(\pm\) 4.11 28.13 \(\pm\) 5.34 18.68
Two-stage InTU (显式语言化) 9.67 \(\pm\) 5.16 25.46 \(\pm\) 5.93 17.56

关键发现

  • 偏好获取是根本瓶颈,规划并非主因:当向规划器直接提供黄金偏好(Second-stage gt)时,各顶尖模型在选项级任务上的编辑距离几乎逼近 0(Gemini 0.16,GPT-5.5 0.14)。而面对相同环境需要自行推断偏好时,规划误差激增 30~50 倍。这证实具身智能体在个性化任务上的退化主要源于“语用获取失败”,而非模型不理解如何控制物理动作。
  • 显式语言化具备正交价值:对比 P-aware 与 Two-stage 发现,即便提示模型在内部考虑偏好,在时序级复杂任务上,显式将偏好输出为自然语言文本依然能进一步带来 3~4 个点的编辑距离下降(Gemini 从 15.73 降至 12.10),表明外部符号表征能有效锚定长期上下文约束。
  • 视觉到语义的抽象依然极度脆弱:最强 VLM(Gemini-3.1-Pro)的偏好识别准确率仅为 57.69%,大幅落后于符号输入模型(GPT-5.5 85.25%);且在场景迁移测试(Direct vs. Gen)中,视觉模型在时序级任务上的泛化准确率从 68.21% 跌落至 52.10%,说明视觉端对端模仿学到的往往是房间背景、特定物体布局等表面虚假关联,而非可迁移的行为准则。

亮点与洞察

  • 将心智语用推理引入具身规划:跳出了传统具身 AI 仅追求“指令字面执行率”的局限,敏锐指出人类指令本质是欠指定的,唯有将偏好作为隐变量从过往交互中推断,才能实现真正的个性化智能体。
  • 语言作为抗过拟合的紧凑语义瓶颈:通过将高维连续视频压缩为离散人类语言规则,强制模型舍弃无关的视知觉细节,从而让策略能够在几何与纹理完全陌生的新场景中实现零样本泛化。
  • 完备的三层级语用评测体系:PBP 规范了原子动作级、策略选项级与时序因果级三层分类法,为具身智能从简单的单任务学习迈向长期生活习惯理解提供了标准化评测范式。

局限与展望

  • 仿真与物理真实世界的保真度差距:PBP 数据集完全在 OmniGibson 物理引擎中生成,尽管具备照片级真实渲染与刚体动力学,但相较于真实家庭中极度多样的非结构化物体状态与人机交互动态,仿真数据依然存在域迁移差距。
  • 人工预定义偏好标签的粒度局限:基准中的 290 种偏好由研究者手工设计归纳,而真实人类的生活习惯更为细腻微小、偶有自相矛盾或动态漂移,固定离散标签难以完全穷尽。
  • 依赖预筛选演示的理想化假设:当前实验默认直接提供 \(K=3\) 条与当前场景高度相关的演示,而在真实机器人长期落地场景中,智能体必须先在长期情境记忆库(Episodic Memory)中完成自主检索与降噪,对检索能力提出了更高要求。

相关工作与启发

  • vs. 传统指令执行基准(如 ALFRED、Habitat):传统基准的指令穷尽了动作细节(如“走到微波炉前拿起热好的杯子”),考核的是感知与运动规划;本文 PBP 专注于指令留白处的个性化补全,核心在于根据用户偏好消解歧义。
  • vs. 启发式重排与整理系统(如 TidyBot、Kapelyukh et al.):现有工作大多局限于特定房间的物品归位或文本摘要提示;本文 InTU 构建了系统化的跨任务、跨时序因果层次偏好结构,并定量拆解了推断与执行的双阶段误差。
  • vs. 隐式视觉模仿学习(如 VLP、EILEV):端到端视频模仿直接拟合动作轨迹,在小样本下严重受制于视觉背景过拟合;InTU 证明通过显式语言中介能够获得更稳健的跨场景泛化能力。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性将语用推断与具身个性化偏好获取解耦建模,立意深刻且切中当前具身 AI 盲区。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 种前沿闭源/开源模型、横跨双模态,主实验、消融、场景迁移与案例分析完整自洽。
  • 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰,叙述从认知语言学自然延展至具身架构,图表设计极其精美专业。
  • 价值: ⭐⭐⭐⭐⭐ 为具身智能体如何理解“言外之意”并实现个性化自主规划树立了极具参考价值的基准与方法路线。