Bootstrapping Articulated 3D Reconstruction from 2D Image Collections¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/5953
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/14607.pdf
项目: BAT3R
作者: Jakub Zadrozny, Oisin Mac Aodha, Hakan Bilen
领域: 3D 视觉
关键词: 关节重建、弱监督、双点图、网格拟合、合成训练数据

一句话总结¶

BAT3R 用单个规范姿态网格启动三维预测，再从二维图像中拟合关节姿态、重渲染并迭代训练，使 Animodel-Points 马类别的 RMS Chamfer Distance 从 7.88 cm 降到 5.65 cm，但仍未达到使用完整三维监督的 DualPM 的 4.30 cm。

研究背景与动机¶

单张照片只能观察动物的部分表面，弯曲的腿、遮挡的肢体以及相机朝向又会共同改变投影，因此重建既要恢复几何，也要区分姿态与视角。DualPM 用成对的姿态点图和规范点图表示同一表面，能预测可见及遮挡部分，但其训练依赖已有的多姿态三维资产。为马、牛等类别人工制作自然的关节运动远比随机采样相机困难；只有一个静止网格时，简单增加渲染视角并不能补上运动多样性。

另一端，互联网中同类动物的二维照片已经包含大量真实姿态，却没有与之配对的三维标注。直接把弱预测器在照片上输出的点云当成真值，会把肢体混淆、局部噪声和不合理形变继续教给模型。本文利用一个更窄的目标绕过这一问题：不必为每张原照片恢复精确真值，只要从它提取一个有用的姿态，并把这个姿态施加到结构可信的网格上，就可以重新制造图像和几何严格配对的监督。

因此，这不是完全无三维先验的方法：每类仍需一个已绑定骨架、带蒙皮的规范网格，二维图像还需前景掩码和粗略的相机视角先验。核心 idea：让噪声点云只负责提示关节姿态，让模板网格负责保证训练几何的结构，再用重渲染把二者转化成自洽的监督并循环改进预测器。

方法详解¶

整体框架¶

训练输入是同一类别的无序 RGB 图像集合及前景掩码，以及一个可进行骨骼动画的规范网格；照片可以来自不同个体，并不要求多视角配对、相机标注或三维标注。BAT3R 的贡献是训练数据生成流程，单图重建网络沿用 DualPM，而不是另造一种点图架构。

流程先做“规范姿态初始化”，再反复执行“结构约束拟合”和“重渲染自举”。预测器从图像产生双点图；拟合步骤恢复网格关节和全局对齐，重渲染步骤再为下一轮训练提供严格配对的图像与点图。训练结束后，预测器接收单张图像并输出三维点云，拟合模块还可给出结构化网格。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["规范网格与骨架"] --> B["规范姿态初始化"]
    B --> C["当前预测器<br/>输出双点图"]
    I["二维图像与前景掩码"] --> C
    C --> D["结构约束拟合"]
    D --> E["重渲染自举"]
    E -->|训练下一轮预测器| C
    C --> O["单图三维点云"]

关键设计¶

1. 规范姿态初始化：先学会坐标对应，再逐步学习运动

DualPM 对每个前景像素预测沿相机射线与表面的多层交点，而不只是最前面的可见点。每个交点都有两个坐标：姿态点位于相机坐标系，描述照片中的三维位置；规范点位于物体静止姿态的坐标系，标识这是模板上的哪个表面位置。二者对应同一个物理表面，因此，即使预测腿的位置不够准确，规范点仍可能告诉拟合器“这个点应该牵引哪一段腿”，而不是仅按姿态空间最近距离把相邻肢体混在一起。

初始化时只从单个静止网格渲染不同视角，配合纹理与环境光，生成精确的图像—双点图训练对。这一阶段不会凭空得到真实的运动分布，但能提供粗略的形状、视角及规范对应关系，足以为后续拟合提供起点。相机采样不是无关紧要的数据增强：论文消融用重尾 Student’s t 分布替代 Gaussian 采样，让初始化看到更多极端视角；若初始化只熟悉侧视图，后面的闭环也容易被其视角错误限制。

2. 结构约束拟合：从不完美点云提取姿态，而非照抄几何

对当前预测出的每一对点，先把规范点分配给规范网格中最近的顶点，再让配对的姿态点成为该顶点在相机空间的拟合目标。实际个体与唯一模板的体型不同，加上点云本身有噪声，直接使用所有预测点容易过拟合。作者只保留 200 个控制点，并使用考虑表面拓扑的最远点采样：两点即使在三维空间靠得很近，也可能分属不同肢体，不能因为欧氏距离小就只保留其中一侧。

其采样距离是“预测点到模板表面的接入距离 + 模板表面测地距离 + 从表面到另一预测点的离开距离”。按正文式 (2) 及相邻文字整理为：

\[ D(q_n,q_m)=\|q_n-v^c_{j^*(n)}\|_2+d_{\mathrm{geo}}(v^c_{j^*(n)},v^c_{j^*(m)})+\|v^c_{j^*(m)}-q_m\|_2. \]

其中，\(q_n,q_m\) 是预测规范点，\(v^c_{j^*(n)},v^c_{j^*(m)}\) 是它们各自最近的规范网格顶点，\(d_{\mathrm{geo}}\) 是沿网格表面的测地距离。这样控制点更倾向于覆盖整个表面，而不是被空间上挤在一起的肢体误导。

拟合首先用 Kabsch 全局对齐步骤处理尺度、旋转和平移，再联合优化关节相对静止姿态的旋转、每根骨骼的标量尺度以及全局变换。点到对应顶点的距离使用阈值为 0.1 的 Huber 损失，减少异常点的牵引；关节角惩罚、局部体积与边长约束防止随意扭曲或拉伸，骨骼尺度约束要求左右对称并抑制极端比例，自排斥项则惩罚“表面距离很远、变形后空间距离却很近”的顶点塌缩。它们共同把拟合目标从“误差越小越好”改成“在结构合理的范围内追随姿态”。

一个容易忽略的细节是，骨骼尺度只用于吸收真实个体的比例差异。体积、边长、自排斥约束计算在未施加这些骨骼尺度的关节网格上，避免结构正则与合法体型变化相互抵消；拟合结束后还会丢弃骨骼尺度，用未缩放的关节网格生成下一轮监督。合成训练图像没有这类个体差异时，实验直接关闭骨骼尺度优化。

3. 重渲染自举：监督必须与新图像一致，而非与旧照片强行配对

拟合得到的网格未必就是原照片的精确三维解释，但它保留了模板结构并引入从照片中提取的姿态。BAT3R 不把这个近似网格直接冒充原图真值，而是用它和恢复的相机参数重新渲染，得到一张新图像，以及该图像真正对应的姿态点图和规范点图。所谓“精确监督”仅指这些合成训练对内部的几何一致性，不意味着原始照片的姿态估计没有误差。

同时，作者从额外的新视角渲染拟合网格，缓解侧视图容易拟合、正面和背面难以拟合的不均衡。下一轮预测器在这些新合成对上训练，再回到原二维集合提取更好的姿态。这个循环把真实图像提供的姿态多样性和模板提供的结构先验结合起来；网络不会只围绕最初那个静止姿态学习，也不会直接反复拟合同一批未经约束的噪声点云。

一个完整示例¶

考虑一张侧面的抬腿马照片，这里仅作流程说明，并非新增实验。初始化预测器可能给出大体正确的马身和相机方向，却把抬起的腿预测得偏直；规范点仍给出腿部与模板之间的对应关系。

拟合器从双点云中选取 200 个控制点，将规范空间的对应关系带入姿态空间，并通过关节旋转拉近目标点，同时用几何约束阻止局部拉长或肢体穿插。真实马的腿长若与模板不同，辅助骨骼尺度先吸收这种差异；进入重渲染时丢弃这部分尺度，保留提取出的关节动作。

系统再渲染这个抬腿网格及其新视角，新的图像和双点图天然配对。下一轮模型因此见过一个比静止姿态更接近抬腿动作的训练样本，而不必相信原照片上的点云已经是正确真值。

损失函数 / 训练策略¶

点图预测沿用 DualPM 的姿态点与规范点回归目标，两部分相加，并使用预测置信度对监督加权。网格拟合则是独立的梯度优化过程，使用上述鲁棒数据项和几何正则，并非把整条渲染闭环作为一个端到端损失一次训练完。

正文说明，直接沿用原版 DualPM 训练流程时，早期拟合网格中的极端异常姿态会导致不稳定，真实图像训练尤其明显，因此采用了适配噪声目标的优化方案。论文将具体设置放在补充材料；当前本地缓存只有主论文，且部分公式抽取损坏，因此这里不补写学习率、各正则权重或完整置信度损失。正文称通常运行四轮细化，但图 5 的迭代分析延伸到第七轮，不能把所有报告结果都默认视为四轮结果。

实验关键数据¶

主实验¶

Animodel-Points 的马、牛、羊实验沿用 DualPM 的合成图像划分，但 BAT3R 不读取这些图像的真实关节姿态和相机参数。下表摘录原表 1 的中心数值，省略原表的离散项；所有数值单位为 cm，越低越好。RMS CD 是双向 Chamfer Distance 的 RMS 指标，使用 ICP 进行包含旋转的对齐；MV RMS CD 只允许尺度和平移对齐，因此也惩罚相机旋转估计错误。

类别	指标 ↓	Canonical	BAT3R（synt）	DualPM（完整三维监督）
Horse	RMS CD	7.88	5.65	4.30
Cow	RMS CD	6.66	4.17	3.18
Sheep	RMS CD	6.62	4.35	3.30
Horse	MV RMS CD	9.87	7.73	5.49
Cow	MV RMS CD	7.85	5.30	4.03
Sheep	MV RMS CD	7.70	5.04	4.22

Horse-Robust 用 15,000 个测试样本检验模板迁移：训练可用雄马模板，测试使用雌马模板。BAT3R（real）从约 11,000 张 MagicPony 真实马图像中提取姿态，仍需规范网格和合成渲染监督，不等于“完全不用三维数据”。原表 2 给出：

方法	RMS CD（cm）↓	MV RMS CD（cm）↓
Trellis.2	8.92	40.03
SAM-3D	6.42	8.71
DualPM	3.84	5.42
Canonical	7.84	10.83
BAT3R（synt）	5.10	7.92
BAT3R（real）	6.01	8.37

这不是完全等条件的模型排名：BAT3R 是类别特定方法，而两个基础模型按零样本使用；Trellis.2 还依赖尽力而为的后处理旋转对齐，失败会放大误差。真实黑猩猩和大象类别只有定性展示，不能据此声称已获得跨类别的定量优势。

消融实验¶

原表 3 使用 Horse-Mixed：18,000 个同分布测试样本，训练与测试都含雄马和雌马模板，不能与 Horse-Robust 的绝对误差直接混比。以下是逐步添加组件的累积消融，不是每次独立移除一个组件。mCD 为平均 Chamfer Distance；异常比例是样本误差超过 5 cm 的百分比；\(\Delta R\) 是相机旋转角误差，三者均越低越好。

配置	mCD（cm）↓	异常比例（%）↓	\(\Delta R\)（°）↓
Canonical（Gaussian 相机采样）	10.04	92.0	12.23
+ Student’s t 相机采样	7.24	68.4	7.51
+ 细化，无拟合正则	5.59	55.1	6.73
+ 网格拟合正则	4.85	35.0	5.89
+ 新视角增强，完整方法	3.86	11.3	3.49
随机姿态基线	5.22	44.5	5.12
DualPM（真实三维监督）	3.04	4.00	2.21

关键发现¶

Animodel-Points 上，BAT3R 的马类别 RMS CD 比 Canonical 低 2.23 cm，但比 DualPM 高 1.35 cm；结论应是缩小监督差距，而非超过完整监督方法。
累积消融中，加入拟合正则使 mCD 从 5.59 降至 4.85 cm；再加入视角增强降到 3.86 cm，异常比例从 35.0% 降至 11.3%，减少 23.7 个百分点。视角覆盖不仅改善平均误差，也明显减少严重失败。
随机姿态基线达到 5.22 cm，说明姿态多样性本身已有训练价值；完整方法的 3.86 cm 才体现结构约束与图像驱动姿态提取的进一步收益。迭代分析显示收益逐渐趋于饱和，不支持无限迭代会持续大幅改善的推断。

亮点与洞察¶

最重要的区分是“原图估计是否准确”和“新训练对是否自洽”。重渲染不要求前者完美，却能使后者成立，从而避免把预测噪声直接当成图像真值。
双点图的价值不只在输出完整形状，还在提供拟合所需的语义对应。规范空间对应加表面距离采样，使有限控制点更有机会约束到不同肢体。
骨骼尺度被当成拟合时的辅助变量，而非必须保留的目标形状。吸收个体差异后再丢弃它，有助于把“姿态学习”和“模板体型变化”分开。

局限与展望¶

作者承认仍需带骨架和蒙皮的规范网格，也仍存在真实图像训练、合成图像训练与完整三维监督之间的差距。前景掩码、纹理和粗略视角先验同样属于实际输入条件。
模板限定了可表达的结构；几何正则能抑制形变伪影，并不保证所有拟合都恢复了原图真实姿态。丢弃骨骼尺度有利于规范监督，但不是个体精细体型重建的完整解决方案。
当前缓存未包含训练细节补充材料，无法核实完整优化超参和计算代价。黑猩猩、大象证据仍以可视化为主，泛化结论应限定在已展示的范围。

评分¶

新颖性: 4/5。主要贡献是结构约束下的数据自举闭环，而不是新的重建表示。
实验充分度: 4/5。覆盖合成、真实图像训练和累积消融，但新增动物类别缺少定量验证。
写作质量: 4/5。主线清楚，关键实现依赖补充材料，需谨慎区分各测试协议与迭代设置。
价值: 4/5。为三维资产稀缺类别提供可行训练途径，但仍有模板门槛和精度差距。