XSemanticFlow: Cross Object Semantic Alignment for Zero-shot Manipulation¶

会议: ECCV 2026
论文: ECCV 原文
领域: 语义分割
关键词: 语义对应、3D 共分割、零样本操作、自监督跨位姿对齐、特征场对齐

一句话总结¶

XSemanticFlow 在 PartField 特征场上用只看语义、不看坐标的层级自/交叉注意力预测跨实例软对应，经 SE(3) 主干微调、Objaverse 自监督跨位姿对齐与 PartNet-Coseg 有监督微调三阶段训练；自分割较最强基线 +19.1 mIoU/+20.6 Acc，跨实例共分割 +10.9 mIoU/+12.5 Acc，单参考演示零样本重映射在 Mug Hanging 与 Block Pouring 达 80% 与 70%，明显超过视频生成基线。

研究背景与动机¶

在形状、尺度和拓扑各异的物体实例之间建立可靠语义对应，是 3D 理解与机器人操作共享的基础能力：一旦能把一个物体表面的每个点映射到另一个物体上的功能对应点，部件标签迁移无需逐实例标注，整条操作演示也能直接重映射到新物体而无需重训练策略。对应预测因此可以当作通用原语——有了准确的对齐特征场，许多类别级感知与控制问题都退化为一次查表。2D 基础模型提供了强大的开放词汇语义描述子并被广泛用于对应引导，3D 侧 PartField 等方法学习部件感知嵌入；但这些嵌入并未被显式约束跨实例对齐，同一功能部件在不同物体的特征空间里可能落在相距很远的位置，对非规范位姿尤其脆弱，直接特征匹配迁移并不可靠。

更深的障碍在数据侧：精细 3D 部件标注严重稀缺，而结构不同的实例之间根本不存在精确的逐点真值对应，跨实例对齐目标本质上是病态的。作者的判断是，鲁棒对应的"通用机制"可以完全靠自监督学出来——对无标注形状施加随机 SE(3) 变换，就能生成无限多自带完美空间真值的训练对；但要让自监督不退化成对几何捷径的记忆，架构必须先行设防。

核心 idea：把交叉注意力的访问权限严格限制在语义 token 上，坐标只用于定义物体内部的邻域支撑，逼对应跟随功能语义而非空间模式；再用三阶段训练（主干 SE(3) 微调 → Objaverse 大规模自监督跨位姿 → PartNet-Coseg 有监督跨实例）把稀缺标注用在跨实例对齐的刀刃上。

方法详解¶

整体框架¶

输入是同一语义类别下的两个 3D 几何（源物体与查询物体），输出是跨实例对齐的稠密语义特征场，以及两物体元点之间的软对应图。XSemanticFlow 建立在 PartField 主干之上：三平面特征场支持在任意坐标通过双线性插值查询语义特征。在此之上，网络先采样一组代表性表面元点并做局部语义聚合，再经对象内自注意与对象间交叉注意完成跨物体传播，最后把更新过的元点语义写回稠密顶点，得到对齐的特征空间。几何坐标全程只参与两处脚手架工作——物体内部近邻采样与稠密回写时的近邻查找，从不进入对象间交叉注意。训练侧由三阶段配方供给监督，下游直接服务共分割标签迁移与零样本演示重映射。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    I["同类两个 3D 几何<br/>源 MA 与查询 MB"] --> F["PartField 特征场<br/>任意坐标可查询语义"]
    F --> S["纯语义交叉注意力<br/>元点聚合→自注意→交叉注意"]
    S --> D["稀疏对应与稠密传播<br/>软指派矩阵→残差 MLP 回写顶点"]
    D --> O["跨实例对齐稠密特征场"]
    O --> A["下游：共分割标签迁移"]
    O --> B["下游：零样本演示重映射"]
    T["三阶段训练配方<br/>SE3 微调→自监督→混合微调"] -.->|仅训练监督| S

关键设计¶

1. 纯语义交叉注意力：把几何坐标挡在对应预测之外

痛点是现成 3D 特征匹配对位姿敏感、跨几何不一致——同一功能部件在不同物体的特征空间里占据完全不同的区域。XSemanticFlow 的机制是先在表面采样一组代表性元点，每个元点在其欧氏 K 近邻上做局部注意力聚合，但注意力权重只用语义特征计算——欧氏近邻仅定义物体内部的局部支撑范围；聚合后的元点 token 在同一物体的全部元点间做标准多头自注意，且不加任何位置编码，逼网络只靠语义关系构建物体内部布局；对象间交叉注意则用一侧自注意后的语义 query 匹配另一侧的 key，注意力机制对绝对坐标完全失明。这样设计的收益在训练时才兑现：随机 SE(3) 变换下坐标信息本身就是噪声源，交叉注意接触不到坐标，自监督阶段就不会退化为记忆空间模式，对应只能建立在功能语义上，从而能跨拓扑泛化。

2. 稀疏对应与稠密传播：注意力权重即软指派

对象间交叉注意块在传播语义的同时免费产出元点到元点的软指派矩阵 \(W_{AB}\)（及反向 \(W_{BA}\)），它直接用作训练期空间对应损失的监督对象；\(L_{\mathrm{corr}}\) 要求每个查询点恢复其空间目标，三元组损失保持成对特征距离，两者联合抑制多对一的退化指派。推理侧，跨对象更新过的元点语义要写回稠密网格顶点：为每个稠密点找欧氏 K 近邻元点，以稠密点的语义特征为 query、邻近元点为 key/value 做一步局部纯语义注意力，最后经残差 MLP 把主干特征精炼成对齐的稠密特征空间。对齐后的场共享同一语义空间，全分辨率点对点对应可以退化为最近邻特征匹配。共分割下游即在此基础上完成：先对目标物体特征做带面邻接约束的层次聚类（保证簇不跨网格物理流形），再用匈牙利算法把源物体已标注部件匹配到目标簇，实现零标注的标签迁移。

3. 三阶段训练配方：用无限跨位姿自监督换稀缺标注的杠杆

第一阶段微调 PartField 主干获得基础 SE(3) 不变性，保证进入交叉注意层的语义特征本身对任意刚体变换稳健；第二阶段冻结主干，在 Objaverse-v1 上自监督训练对应模块——每个无标注网格用两个独立随机 SE(3) 变换生成两视图，查询点集在第二视图中的变换结果就是完美空间真值，配合空间对应损失、特征损失与三元组损失训练；第三阶段在 Objaverse 自监督对与 PartNet-Coseg 有监督跨物体对上混合微调。第三阶段的巧处在于损失的可组合性：跨物体对没有逐点几何真值，绝对特征损失被严格掩掉，只剩规范空间里的 \(L_{\mathrm{corr}}\)（把查询点变换到 PartNet 共享规范空间取真值）与分布层面的三元组损失——不强迫绝对特征值相等，也能驱动跨实例语义对齐。

一个完整示例：零样本演示重映射¶

以"把马克杯挂上杯架"为例，走一遍从单条参考演示到新实例执行的五步流程。第一步场景物体重建：在演示与目标场景中分别识别并重建被操作物体（杯子）与静止锚物体（杯架），用开放词汇分割、网格重建加位姿估计完成 6-DoF 网格配准。第二步锚物体对齐：查询 XSemanticFlow 得到两个杯架间的语义对应，解出相对 SE(3) 变换，把整条基础演示轨迹平移旋转到目标场景坐标系。第三步被操作物体旋转对齐：查询源杯子在目标状态与目标杯子之间的对应场，导出语义旋转 \(R_{\mathrm{semantic}}\)，让目标物体的功能部件对齐源物体的目标朝向。第四步接触检测与平移精修：追踪演示中的源物体，找到它以严格距离阈值接近杯架的最早接触帧，把源接触顶点映射到目标网格的语义等价点；先对目标物体施加 \(R_{\mathrm{semantic}}\)，再计算平移偏移 \(t_{\mathrm{delta}}\) 使旋转后目标接触区质心与源接触区在物理场景中精确重合。第五步抓取与轨迹变形：以演示轨迹上离目标物体起始位置最近的点为接触对齐点，把轨迹拆成两段——接近段平滑插值修正 \(R_{\mathrm{semantic}}\) 与 \(t_{\mathrm{delta}}\) 的组合 SE(3) 偏移，回放段沿锚点平移、接触对齐后的演示轨迹完成交互，初始抓取相应重映射到语义等价的目标顶点。整个过程不需要为每个新目标生成演示视频，也不训练任何策略。

损失函数 / 训练策略¶

贯穿自监督与有监督阶段的是三元组相对一致性损失：它不约束绝对特征值，而是要求同一物体在 SE(3) 变换前后，特征传播前后的物体内部特征分布保持一致。对物体上采样的三点元组 \((p_1,p_2,p_3)\)，先在原始特征空间算两两余弦距离得到距离向量 \(d_F\)（特征先做 \(\ell_2\) 归一化，相似度有界于 \([-1,1]\)），再用温度 \(\tau=0.01\) 的 softmax 把距离向量转成分布 \(P_F=\mathrm{softmax}(d_F/\tau)\)；对传播特征 \(\hat F\) 在变换后物体上同样计算 \(P_{\hat F}\)，然后惩罚两个关系分布间的对称 KL 散度，并对随机采样的元组集合取平均：

\[ \mathcal{L}_{\mathrm{triplet}}=\frac{1}{|T|}\sum_{t\in T}\big[\mathrm{KL}(P_F^{t}\,\Vert\,P_{\hat F}^{t})+\mathrm{KL}(P_{\hat F}^{t}\,\Vert\,P_F^{t})\big], \]

（原文公式在缓存中排版损坏，此式按正文"对随机采样三元组集取平均的对称 KL"描述复原，⚠️ 以原文为准。）它保证物体的相对语义距离在变换前后按比例保持。

三个阶段的具体配置：第一阶段微调 PartField 主干 50 epoch 学习 SE(3) 不变性；第二阶段冻结主干，在 Objaverse-v1 上自监督训练 150 epoch，损失为空间对应损失 \(L_{\mathrm{corr}}\)（令查询点恢复其在另一视图中的真值位置；原文公式损坏，不猜补）、特征损失 \(L_{\mathrm{feat}}\)（最小化传播特征 \(\hat F\) 与主干真值特征 \(F\) 的距离，仅适用于两视图几何完全相同的自监督对）与 \(L_{\mathrm{triplet}}\)；第三阶段在 Objaverse-v1 与 PartNet-Coseg 训练集的混合批次上微调 50 epoch，跨物体对严格掩掉 \(L_{\mathrm{feat}}\)。所有模型用 AdamW 优化。作者未在正文给出元点数量、近邻 K 值与各损失权重。

实验关键数据¶

主实验¶

评测构建在 PartNet-Coseg 上：从 PartNet 中采样同一语义类别、且共享匹配部件标签集的实例对，训练集做监督，验证与测试集做评测。两种协议：PartNet-SE3 考察同物体在 SE(3) 增广下的自分割一致性，PartNet-Coseg 考察跨实例标签迁移。两个协议的输入都是带真值部件标签的源点云加目标点云，输出是目标上的部件标签预测；指标为逐点准确率（Acc，正确分类点占比）与 mIoU（所有出现部件类别上预测与真值区域重叠的均值）。由于基线不直接输出稠密跨实例对应，所有方法（含本文）统一采用同一匈牙利协议：对每个方法取其 3D 部件段，段内平均特征，按余弦距离用匈牙利算法跨实例匹配部件后迁移标签；走 XSemanticFlow 自身稠密对应的变体在补充材料中报告。

方法	PartNet-SE3 Acc↑	PartNet-SE3 mIoU↑	PartNet-Coseg Acc↑	PartNet-Coseg mIoU↑
PartField	55.55	43.41	61.23	52.43
SAMesh	46.17	41.55	56.11	45.52
SAMPart3D	50.15	40.80	58.92	48.40
XSemanticFlow（本文）	76.18	62.47	73.75	63.32

自分割端，mIoU 从最强基线 PartField 的 43.41 提到 62.47（+19.06），Acc 从 55.55 提到 76.18（+20.63），说明原始 PartField 嵌入对刚体变换高度敏感，而纯语义匹配加空间锚定学到了变换一致的表示；跨实例端，CoSeg-mIoU 从 52.43 提到 63.32（+10.89），CoSeg-Acc 从 61.23 提到 73.75（+12.52），说明对齐特征场确实在不同几何间对齐。

操作端在三个物理严格度递增的任务上比较两个视频生成式零样本基线 NovaFlow 与 NovaPlan，数值取自正文与图 4：

任务	NovaFlow	NovaPlan	XSemanticFlow（本文）
Mug Hanging	10%	20%	80%
Water Plant	60%	90%	90%
Block Pouring	40%	40%	70%

三个任务的判定口径不同：Mug Hanging 要求杯柄精确穿入挂架，且评测协议比 NovaFlow 原设定更严格——仅提供一条用起始与目标图像生成的参考演示，之后所有新实例评测中任何方法都拿不到目标图像；Water Plant 只要求杯子正确移动到植物上方并倾斜（不用真水），判定宽松；Block Pouring 是它的物理验证变体，杯中装颗粒块，至少一块落到植物上才算成功。宽松指标下三家都不差，一旦接触精度决定成败，视频生成质量就成为两个基线的瓶颈。

消融实验¶

配置	PartNet-SE3 Acc↑	PartNet-SE3 mIoU↑	PartNet-Coseg Acc↑	PartNet-Coseg mIoU↑
完整模型	76.18	62.47	73.75	63.32
去掉旋转不变预训练	72.51	61.62	68.86	58.74
去掉 PartNet-Coseg 微调	72.27	61.03	71.59	61.81
交叉注意力加几何特征	75.10	61.86	71.69	62.21

去掉旋转不变预训练：旋转鲁棒的 PartField 特征对自分割与跨实例对齐都有帮助，跨实例端掉得更多（Coseg Acc −4.89、mIoU −4.58；SE3 端 Acc −3.67、mIoU −0.85）。
去掉 PartNet-Coseg 微调：自监督之外的有监督跨实例对齐贡献集中在跨实例端，CoSeg-mIoU 从 63.32 掉到 61.81；自监督不能完全替代少量标注对。
交叉注意力加几何特征：向注意力块注入位置与几何信号后，两个任务的一致性退化，但幅度温和而非灾难——模型仍收到强语义特征。这直接支持核心论点：几何信号在交叉注意里是过拟合源而非有用信息。

关键发现¶

架构约束与训练数据互相成就。 纯语义交叉注意力让"随机 SE(3) 变换生成无限完美真值对"的自监督方案真正可用；消融中加回几何特征反而全面掉点，是最有说服力的反证。
标注的杠杆作用大于数量。 第三阶段只用 PartNet-Coseg 的标注对做 50 epoch 混合微调，就换来跨实例端约 1.5 个点的 mIoU 收益，且没有牺牲自分割端。
失败集中在标签集不匹配、几何对称与物理约束。 同类实例标签集合不同时强制一对一匹配会错配或簇坍缩；书架横竖板这类对称结构在 SE(3) 变换后不可分；操作端轨迹不做避障优化，论文给出倒水时撞相机立柱（图注称关节限位）的失败案例。

亮点与洞察¶

"坐标盲"是架构约束而不是正则项。 把位置编码与坐标从交叉注意力里彻底剥离，防几何过拟合从"劝退"变成"接触不到"，这是全文最核心的"啊哈"点，也解释了为何自监督跨位姿训练能规模化。
注意力权重即对应。 交叉注意块顺带产出软指派矩阵，无需额外的对应头；训练信号、稀疏对应与稠密传播共用同一机制，结构上没有冗余模块。
对齐"关系"而非"数值"。 三元组相对一致性损失在分布层面做对称 KL，允许绝对特征漂移、只要求相对语义结构在变换前后保持——正好适配跨实例无逐点真值的现实。
可迁移的设计模式。 任何"特征场 + 注意力"的跨域匹配任务（点云配准、跨物体部件迁移、类别级位姿估计）都可以借用这套"坐标只定义邻域支撑、语义做注意力"的拆分。

局限与展望¶

仅支持刚体物体。 管线把稠密对应压缩成单一刚体 SE(3) 变换，非刚体操作是作者明确的未来方向。
无障碍感知。 重映射轨迹不做避障优化，倒水任务中出现撞相机立柱而无法执行完整轨迹的失败；作者留作未来工作。
标签集与对称性失败。 类别内实例标签集合不一致会诱发歧义对应，几何对称物体在变换后不可分，共分割在这两类场景系统性失败。
操作评测规模有限。 三个任务、成功率无试验次数与置信区间披露；共分割的稠密对应传播变体只出现在补充材料，正文协议统一走匈牙利匹配，可能低估本文方法的实际标签迁移上限。
实现细节不完整。 元点数量、近邻 K、损失权重与训练资源均未在正文给出，复现依赖补充材料。

评分¶

新颖性: 4/5。组件多为已有（PartField、注意力、三元组损失），但"坐标盲交叉注意力 + 三阶段配方"的组合清晰且有消融支撑。
实验充分度: 4/5。覆盖 3D 理解与真实机器人两端、三个基线、三组消融与失败分析；但操作端任务少、无统计区间。
写作质量: 4/5。架构与训练流程叙述清楚，部分公式排版损坏、细节依赖补充材料。
价值: 4/5。把对应场当作类别级感知与操作的通用原语，思路对标签迁移、抓取迁移都有直接复用价值；刚体假设限制了适用面。