Diffusion Models are Open-World Affordance Learners: Leveraging Generative Priors for 3D Affordance Learning¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/hq-King/DAG
领域: 机器人/具身智能 / 3D 视觉
关键词: 可供性定位、扩散先验、人-物交互、跨模态学习、少样本泛化

一句话总结¶

DAG 将冻结文生图扩散模型作为人-物交互特征提取器，结合动作文本和点云几何预测三维可供性掩码，在 PIAD2 未见动作设置中以 16.09 mIoU 超过 GREAT 的 12.05，但少样本结果并不支持全面超过全量训练基线的说法。

研究背景与动机¶

识别物体是什么，并不等于知道它的哪一部分适合执行某个动作。例如杯子的把手与杯身都属于同一个物体，但在“抓握”条件下，模型需要进一步定位可操作区域。三维可供性定位把这种功能判断落实为点云上的稠密预测，是具身感知连接操作执行的一步，而不是完整的机器人控制系统。 IAGNet、MIFAG 等方法从参考人-物交互图像学习这种对应关系，GREAT 则引入围绕可供性的描述来帮助判断。问题在于，有限配对数据中的视觉相关性未必能迁移到新物体、新动作或新组合，额外框标注与精细描述也增加了监督成本。

本文的切入点是文生图扩散模型已有的大规模预训练经验。作者观察到，它能生成语义上合理的人-物交互图像，内部注意力也能突出某些动作相关区域，因此可能包含可复用的交互先验。但图像生成能力不是点云上的监督信号：二维特征有自己的空间布局，三维点云有另一套几何表示，动作词还会改变同一物体上的目标区域。即使预训练模型储存了有用知识，也必须解决如何提取、如何按动作筛选、如何与三维几何结合的问题。图 2 的注意力与错误指令示例只是这个假设的直观动机，不能单凭可视化证明模型已经具备物理因果理解。

DAG 因此没有从零学习所有交互规律，也没有要求扩散模型直接输出三维掩码。它保留生成模型的冻结表示，用可训练的语义适配、融合与解码组件把这些表示接入三维任务。这仍然需要带可供性标注的训练数据；“开放世界”主要通过指定的未见划分和少样本设置来检验。 核心 idea：把扩散模型中隐含的交互知识转化为动作条件化特征，再以点云的全局与局部几何约束这些特征，得到可操作区域的三维定位。

方法详解¶

整体框架¶

DAG 的输入是目标点云、参考 RGB 人-物交互图像以及可供性文本，输出是点云上的可供性掩码。原文第 3.1 节将点云写为 \(P\in\mathbb{R}^{N\times3}\)；图像提供交互示范，文本明确动作，几何分支提供待定位的三维对象。图像先经过“隐式语义编码”，形成供扩散 U-Net 使用的条件，再经过“扩散先验聚合”取得统一的视觉交互表示。 “动作条件融合”把这些表示与显式动作文本结合，最后“多源几何解码”利用冻结点编码器产生的全局 token 和稠密点特征完成定位。这里的扩散主干只执行单次前向特征提取，不运行完整多步图像生成，也不执行三维掩码的迭代去噪。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Image["参考交互图像"] --> ASE["隐式语义编码"]
        ASE --> Prior["扩散先验聚合"]
        Image --> Prior
        Prior --> Fusion["动作条件融合"]
        Text["动作文本<br/>冻结 CLIP 编码"] --> Fusion
        Fusion --> Decoder["多源几何解码"]
        Points["点云<br/>冻结编码与特征传播"] --> Decoder
        Decoder --> Mask["逐点可供性掩码"]
        Labels["训练标注"] -.->|BCE 与 Dice 监督| Mask

训练标注只参与损失计算，不是测试时输入。图中点云支路包含通用几何编码与特征传播，其在多源解码中的作用与主干融合一起解释。参考图像和动作文本在测试时仍然需要，因此结果不应被理解为只输入任意点云就能零样本发现全部可供性。

关键设计¶

1. 隐式语义编码：让交互图像为扩散模型提供条件

一个预训练文生图 U-Net 通常需要文本条件，然而任务数据未必带有充分描述接触方式和空间关系的句子。只给一个动作动词会丢失交互上下文，额外生成自然语言描述又可能遗漏细节或引入错误。可供性语义编码器（Affordance Semantics Encoder，ASE）直接从图像构造隐式条件，不必先把内容完整表达成自然语言。具体来说，冻结 CLIP 图像编码器提取靠后若干层的特征，各层分别线性投影，再通过加权求和整合。随后，一个可学习 MLP 把聚合结果映射到 U-Net 接受的条件空间，形成隐式可供性知识表示。正文没有给出所选 CLIP 层的完整索引，因此不能据此补出固定层数或精确张量尺寸。

这一路条件与用户输入的动作词并不是同一个东西。 ASE 从整幅图像提取交互上下文，显式动作词则在后续可供性块中指定需要定位的功能。因而不能把该方法简化成“CLIP 编码 grasp 后送入扩散模型”。 ASE 的价值是使已有图像内容与扩散模型的条件接口接通；是否优于空文本、动词或自动描述，要由表 3 的消融判断。

2. 扩散先验聚合：从冻结生成主干读取多尺度交互线索

参考图像与 ASE 产生的条件共同进入冻结 Stable Diffusion U-Net，读取多个内部层的视觉特征。与只使用一个全局图像向量不同，这些中间特征保留不同尺度的空间信息，可能同时表达物体语义与局部交互区域。实现遵循 ODISE，每隔三个 U-Net 块提取特征，并调整分辨率形成特征金字塔。聚合网络学习不同层的混合权重，使下游任务能够选择更有用的层，而不是预先假定某一层最适合可供性定位。原文式 (3) 的核心是对已适配到可融合表示的各层特征做加权求和：

\[ A_g=\sum_{l=1}^{L}w_l A_{v,l}. \]

这里 \(A_{v,l}\) 表示第 \(l\) 层的视觉特征，\(w_l\) 是学习到的混合权重，\(A_g\) 是聚合后的可供性先验。正文没有声明权重必须非负或归一化，不能把它擅自解释成层选择概率。默认扩散时间步为 \(t=0\)，目的是保留空间细节，而不是增加多步采样带来的计算与噪声。表 6 的时间步消融也显示，增大到 50 或 100 会降低定位指标。预训练生成目标提供的是特征来源；下游训练并没有再加入图像重建或去噪目标。因此，本文利用的是生成表示的迁移能力，而不是依靠合成新图像扩充训练集。

3. 动作条件融合：把通用交互先验变成查询相关表示

视觉先验可能包含多个交互线索，同一物体也可能对应不止一种动作，所以还需要明确当前查询关注什么。冻结 CLIP 文本编码器将可供性文本编码为文本特征，与聚合后的视觉先验一起进入 Affordance Blocks。按第 3.4 节描述，模块先进行尺度处理，再用自注意力融合，并加入残差连接与层归一化。之后以文本特征为条件执行交叉注意力，再经过前馈网络、残差连接、层归一化与平均池化，得到可供性嵌入。正文对最初尺度处理的具体算子没有展开，笔记不把它补写成未经确认的逐元素乘法或固定温度缩放。

这一步的关键不是简单拼接两个模态，而是使视觉中的功能线索围绕当前动作组织起来。例如“抓握”需要强调可拿持部位，而不只是图像里最显眼的人或整个物体。池化后的表示承担向几何分支传递动作相关知识的作用，最终空间定位仍要依赖点云特征。显式文本在此充当查询条件，ASE 的隐式表示则早已参与视觉特征提取，两者分工不同而互补。表 4 分别去掉 Affordance Block 和全局 token 的实验用于检验这种融合是否确实有用，而不是仅凭结构名称宣称有效。

4. 多源几何解码：用全局形状引导局部可供性预测

图像中的交互区域不能直接当作三维点的标签，因为两种表示之间没有天然的一一索引关系。 DAG 使用正文称为 Uni3D 的预训练冻结点编码器，得到全局 [CLS] token 和点云特征。几何引导的上采样与特征传播将编码后的表示转为适合稠密预测的点特征。主文把传播细节交给补充材料，而本次提供的全文仅含主文与参考文献，不能补出插值规则或具体邻域大小。解码器首先以全局 [CLS] token 为查询，以动作相关可供性嵌入为键和值执行交叉注意力。这一顺序让目标物体的整体几何上下文参与筛选交互知识，而不是把参考图像的区域原样投射过去。

经过残差连接和前馈网络后，融合表示再作为查询，与点特征构成第二次融合。随后 Affordance Net，即一个 MLP，输出可供性掩码。第 3.6 节描述了查询、键和值的流向，但未完整展开从全局查询到逐点输出的张量组织方式。因此可以清楚复述“先融合全局形状与动作，再结合稠密几何”的设计，却不能仅凭主文复现解码器的每个维度。该方法学习的是语义与几何之间的对应，不依赖本文未声明的已知像素到点云配准。输出也只是潜在交互区域，不含抓取姿态、碰撞检查、受力分析或动作轨迹。

一个完整示例¶

以论文引言中的杯子抓握为例，输入是一幅人拿杯子的参考图像、一个目标杯子的点云和动作文本“grasp”。 ASE 从参考图像提取隐式交互上下文，扩散 U-Net 在 \(t=0\) 单次前向中产生多尺度视觉特征。聚合网络组合这些特征，可供性块再用“grasp”的文本嵌入挑出与拿持有关的信息。点云的全局 token 帮助解码器联系目标杯子的整体形状，稠密几何特征则支撑最终把手等功能区域的逐点预测。这里描述的是机制示例，不是论文提供的逐点概率实例，也不意味着所有杯子都只能通过把手抓握。训练时，预测掩码与标注比较并更新适配组件；测试时沿相同特征路径计算，不再使用标注。

损失函数 / 训练策略¶

监督仅使用二元交叉熵（BCE）与 Dice 损失来训练掩码预测，没有报告额外的扩散去噪损失。 BCE 约束逐点预测与标签的一致性，Dice 则直接关注预测区域和真实区域的重合。冻结部分包括扩散模型、CLIP 编码器和预训练点编码器，可学习部分负责语义投影、特征聚合、融合与解码。主实验使用一张 A100，训练 80 个 epoch，学习率为 \(10^{-4}\)。正文将优化器写为 Adam，但所引参考文献 [31] 是 Decoupled Weight Decay Regularization；不据此擅自改成 AdamW。缓存中式 (1)、(8)、(10) 有符号缺损，因此这里依据相邻文字解释噪声步骤、注意力流向和损失组成，不将猜补结果当作作者精确公式。

实验关键数据¶

主实验¶

PIAD1 的 Seen 保持训练与测试的物体和可供性分布相近，Unseen 则将部分物体-可供性配对留到测试阶段。 PIAD2 进一步区分未见物体与未见动作，不能把这两种难度合并成一个“开放世界准确率”。下表来自原文表 2，第 11 页，保留 GREAT 与 DAG 的直接对比；mIoU、AUC 越高越好，SIM 越高越好，MAE 越低越好。 AUC 衡量阈值变化下的判别能力，mIoU 衡量区域重合，SIM 衡量预测与目标图的分布相似性，MAE 衡量平均绝对误差。数值沿用论文刻度，DAG 的误差项原样保留；主文没有充分说明这些误差项的统计定义与重复次数。

PIAD2 设置	方法	mIoU ↑	AUC ↑	SIM ↑	MAE ↓
Seen	GREAT	38.03	91.99	0.676	0.067
Seen	DAG	47.19 ± 0.3	94.71 ± 0.4	0.779 ± 0.02	0.062 ± 0.02
Unseen Obj	GREAT	20.16	79.57	0.402	0.109
Unseen Obj	DAG	28.93 ± 0.7	85.41 ± 0.3	0.592 ± 0.05	0.102 ± 0.02
Unseen Aff	GREAT	12.05	69.81	0.290	0.127
Unseen Aff	DAG	16.09 ± 0.4	75.23 ± 0.3	0.372 ± 0.05	0.123 ± 0.02

未见动作的 mIoU 提升为 4.04 个百分点，未见物体为 8.77 个百分点，说明两类迁移都获益，但尚有明显定位误差。原文表 1（第 10 页）的 PIAD1 Seen 中，DAG 为 24.84 mIoU，GREAT 为 22.72；Unseen 则分别为 9.730 与 8.820。

消融实验¶

下表分别摘自表 3（第 12 页）和表 5（第 13 页），对应 PIAD1 Seen 设置的条件策略与特征提取器比较。两组消融共用完整模型行，但不是把多种替换同时施加到一个模型上的联合消融。

消融组	配置	mIoU ↑	AUC ↑	SIM ↑	MAE ↓
条件策略，表 3	Empty	13.9	80.5	0.462	0.116
条件策略，表 3	BLIP	18.4	85.5	0.542	0.108
条件策略，表 3	Verb	20.2	86.7	0.578	0.094
特征提取器，表 5	ResNet	13.7	82.3	0.514	0.128
特征提取器，表 5	CLIP	21.2	86.2	0.573	0.091
特征提取器，表 5	DINOv2	22.3	87.5	0.582	0.084
完整模型，表 3/5	DAG，ASE + Diffusion	24.84 ± 0.5	90.16 ± 0.3	0.637 ± 0.03	0.078 ± 0.01

ASE 相比动词条件提高 4.64 个 mIoU 百分点；扩散特征相比 DINOv2 提高 2.54 个百分点，两项分别支持条件适配与表示选择的价值。表 4（第 13 页）在 Unseen 中给出：同时去掉可供性块与 [CLS] 为 8.45 mIoU，完整模型为 9.730。表 4 的 Seen 中间行在文本抽取时粘连，因此不把这些行的模块归属当作已可靠核对的数据。

关键发现¶

少样本结果见原文表 7，第 15 页；这是按每个可供性类别减少标注样本的设置，不是 PIAD2 未见动作主表的另一种写法。表中全量训练参照与 PIAD1 Seen 主结果一致，但表 7 本身没有给出独立的 Seen/Unseen 分栏。

表 7 配置	标注数据说明	mIoU ↑	AUC ↑	SIM ↑	MAE ↓
DAG，1 shot	少于 1%	12.98	79.42	0.4952	0.125
DAG，3 shots	1%	14.34	80.22	0.4955	0.124
DAG，5 shots	2%	15.74	82.04	0.4869	0.121
PFU	全量数据	12.31	77.50	0.432	0.135
IAGNet	全量数据	20.51	84.85	0.545	0.098

1-shot DAG 的 mIoU 超过全量 PFU，但即使 5-shot 也低于全量 IAGNet 的 20.51；不能概括成“少样本超过所有全量基线”。从 3-shot 到 5-shot，SIM 由 0.4955 降到 0.4869，因而“随样本增加持续改善”并非对所有指标成立。表 6（第 13 页）在 \(t=0\) 写 24.85 mIoU，而主表写 24.84，本笔记保留各表口径，不自行消除差异。

亮点与洞察¶

生成先验被用作可迁移的稠密表示，而不是生成数据的工具。单次前向提取也避免了把完整采样链引入定位流程。
隐式图像条件与显式动作查询分工清楚。前者改善特征提取的上下文，后者决定输出对应哪一种交互功能。
全局形状与局部几何分别进入解码过程。可迁移的思路是先用目标几何筛选跨模态知识，再让局部表示承担空间精度。

局限与展望¶

作者计划继续研究有限三维数据下的知识迁移；现有少样本结果尚不能替代充分监督，也没有证明任意新动作的可靠泛化。
不完整点云实验主要是图 5 的定性可视化，不能据此宣称已测得真实机器人成功率或系统性噪声鲁棒性。
图 2 的合理生成与注意力示例支持表示有用性，但不能区分物理理解、视觉共现与预训练数据覆盖的贡献。
缺少可核验的补充材料细节，且点编码器名称与参考文献 [68] 的检测论文条目存在对应疑点；复现前需确认实际编码器版本与传播实现。
主文没有给出完整推理延迟、峰值显存或同规模预训练对照，扩散特征的收益不能直接等同于更高部署效率。

评分¶

新颖性: 4/5。把扩散内部表示与三维可供性融合得较完整，但若干部件继承已有跨模态与扩散特征方法。
实验充分度: 4/5。包含双数据集、未见划分和多组消融，少样本与真实物理交互的证据仍有限。
写作质量: 3/5。总体流程清楚，但实现细节、个别数字口径及部分结论的范围需要更精确。
价值: 4/5。提供可复用的生成先验迁移路径，适合具身感知研究，尚不等于可直接部署的操作系统。