SiPhy: Single-Image Physical Property Reasoning¶

会议: ECCV 2026
论文: ECCV 2026 Poster
代码: https://github.com/DominoAI-Lab/SiPhy-ECCV-2026
领域: 多模态VLM
关键词: 物理属性推理, 视觉语言模型, 单图理解, 伪体素化, 材质对齐

一句话总结¶

SiPhy 针对单张 RGB 图像无法感知 3D 几何与材质机理的核心痛点，结合深度自适应伪体素采样、VLM 驱动的部件级对比对齐与重量感知厚度细化，首次在无需多视角重建的前提下高精度推断物体的质量、密度和杨氏模量。

研究背景与动机¶

人类仅凭对物体的单瞥便能自然察觉其物理属性：一只金属马克杯和一只泡沫塑料杯即使静止摆放，也能在人脑中激发起完全不同的重量感、刚度与材质密度预期。这种单视角物理常识直觉对于具身智能抓取、工具操控以及交互仿真至关重要。然而在计算机视觉领域，从单张静态 RGB 图像推断物体的潜藏物理量（如总质量、刚度、弹性）极具挑战，因为物理属性并非显式可见的表面色彩，必须综合精细的外观线索、3D 空间体积以及底层材质语义方可求解。

现有研究在此问题上面临两难困境。一方面，基于多视角 3D 重建的方法（如 NeRF2Physics、PUGS、GaussianProperty）依靠神经辐射场或 3D 高斯泼溅构建精细几何，再注入语义特征进行体素化积分；尽管精度可观，但它们高度依赖密集的环视多视角采集与耗时的逐场景优化，在只有单张照片的真实日常场景中完全无法应用。另一方面，早期的单图像方法大多退化为 2D 像素级材质分类（如 MINC），对三维几何结构视而不见，根本无法估计体积与质量等 3D 量；而直接从 RGB 端到端回归质量的纯数据驱动方案（如 Image2Mass）又缺乏对材质机制的物理锚定，一旦面对未见过的物体类别与组合结构便出现严重的泛化崩塌。

这背后的核心矛盾在于：多视角方法具备 3D 结构一致性却牺牲了单视角输入的可行性，而单视角方法缺乏 3D 空间体积感知与可解释的物理常识先验。本文的切入角度是，无需昂贵的多视角重建，仅利用单目度量深度先验与相机几何关系，即可在单张图像上建立等价于 3D 表面体素的无重叠离散网格，再借助 VLM 的世界知识进行部件级语义对齐。核心 idea：提出首个单张图像 3D 感知物理推理框架 SiPhy，通过深度自适应伪体素采样构建空间骨架，结合微调 VLM 与部件自注意力对比学习对齐材质似然分布，并引入重量感知的厚度自适应修正精确积分出整体质量。

方法详解¶

整体框架¶

SiPhy 的目标是给定单张 RGB 图像 \(I \in \mathbb{R}^{H \times W \times 3}\)，同时预测像素级物理属性图（如材质类别、质量密度、杨氏模量）以及全局物体级标量（如总质量）。整个推理流水线包含四个协同阶段：首先由微调的 SiPhy VLM 针对 SAM 分割的各个部件预测候选材质集与物理常识属性；随后通过深度自适应几何投影在物体表面采样无重叠的伪体素 2D 中心；接着利用部件级受限自注意力与监督对比学习将局部 CLIP 视觉嵌入同文本材质嵌入对齐，得到每个采样点的材质后验分布；最后通过期望加权计算物理场，并由重量感知厚度修正模块精调体积积分得到总体质量。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单张 RGB 图像 + 单目深度"] --> B["SiPhy VLM 部件材质候选提议"]
    A --> C["3D 感知伪体素采样<br/>深度自适应间距 s 采样无重叠网格"]
    B --> D["部件对比对齐<br/>SAM 部件内自注意力 + 监督对比对齐"]
    C --> D
    D --> E["像素与体素物理期望计算<br/>密度 / 杨氏模量 / 基础厚度期望"]
    E --> F["重量感知厚度细化<br/>轻/重类别先验修正厚度偏差"]
    F --> G["物理属性输出<br/>像素级密度/刚度图 + 目标总质量"]

关键设计¶

1. 3D 感知伪体素采样：消除单视角投影重叠与冗余 从单视角估算物体总体质量的关键前提是构建合理的离散体积单元。多视角方法依赖重建点云的下采样，而单视角若采用固定的均匀 2D 像素步长采样，会导致远离相机处的单元在三维空间中过密、甚至严重重叠冗余，近处单元稀疏，彻底破坏体积积分的物理比例。为此，SiPhy 预设虚拟 3D 体素立方体边长为 \(d\)，结合单目深度估计网络（如 Depth Anything v2）预测的目标深度 \(z\) 和相机焦距 \(f_x, f_y\)，自适应计算每个局部的 2D 采样像素步长 \(s\)：

\[s = d \cdot \sqrt{\frac{f_x f_y}{z}}\]

在此步长约束下，算法在目标区域采样出 \(N\) 个互不重叠的 2D 伪体素中心，并裁剪尺寸为 \(s\) 的局部补丁送入冻结的 CLIP ViT-B/16 提取局部视觉表征 \(\{f_i\}_{i=1}^N \in \mathbb{R}^D\)。这种自适应投影确保了单视角下的采样点在 3D 物理空间中近似均匀覆盖，为后续的体积与质量累加奠定了空间度量基础。

2. SiPhy VLM 候选提议与部件对比对齐：兼顾部件一致性与材质判别 直接使用通用视觉特征与自由文本进行全局相似度匹配，往往因为局部光影或反光产生大量噪点，且违背“同一物理部件具有材质均一性”的常识。SiPhy 设计了双重约束机制：首先设计轻量级专用 VLM（以冻结 CLIP 为视觉主干，Vicuna-7B-v1.5 为语言模型，配以 LoRA 与线性分类头），输入 SAM 提取的部件掩码、局部裁剪图、全局上下文图像及文本描述，从封闭体系中预测 top-\(K\)（默认 \(K=5\)）种最可能的材质类别及其物理参数参考值。

随后，为了确保同一个 SAM 部件掩码内部各采样点的材质判别平滑一致，模型引入部件受限自注意力机制。对采样点 \(i\)，仅与同一部件内的邻域点 \(\mathcal{N}(i)\) 进行注意力交互：

\[\tilde{\mathbf{f}}_i = \operatorname{softmax}\left(\frac{(\mathbf{f}_i W_Q)(\mathbf{F}_{\mathcal{N}(i)} W_K)^\top}{\sqrt{d_a}}\right) \mathbf{F}_{\mathcal{N}(i)} W_V\]

经过注意力融合后的特征与候选材质文本嵌入拼接后送入 MLP 映射为 \(\mathbf{z}_i\)。为了显式拉近同部件采样的表征并推开异质部件，同时防止表征塌缩抹除局部材质辨识力，模型联合优化部件监督对比损失 \(\mathcal{L}_{\text{CL}}\) 与教师对齐正则项 \(\mathcal{L}_{\text{align}}\)：

\[\mathcal{L}_{\text{CL}} = -\frac{1}{N} \sum_i \frac{1}{|\mathcal{P}(i)|} \sum_{p \in \mathcal{P}(i)} \log \frac{\exp(\operatorname{sim}(\mathbf{z}_i, \mathbf{z}_p)/\tau)}{\sum_a \exp(\operatorname{sim}(\mathbf{z}_i, \mathbf{z}_a)/\tau)}\]

\[\mathcal{L}_{\text{align}} = \frac{1}{NK} D(S_{\text{MLP}}, S_{\text{CLIP}})\]

\[\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{CL}} + \lambda \mathcal{L}_{\text{align}}\]

其中 \(\mathcal{P}(i)\) 表示与点 \(i\) 归属同一部件的采样集合，\(D(\cdot, \cdot)\) 采用 Frobenius 范数约束学习得到的相似度矩阵贴近 CLIP 原始先验。最终经归一化得到材质后验概率矩阵 \(P \in \mathbb{R}^{N \times K}\)。

3. 重量感知厚度细化：纠正致密重型物体的体积欠估计 针对每个伪体素 \(i\) 及候选材质 \(j\)，密度 \(\rho_j\)、杨氏模量 \(E_j\) 及基础厚度 \(h_j\) 等属性通过概率加权求得局部期望：\(\hat{V}_i = \sum_{j=1}^K p_{i,j} V_j\)。未采样的像素点则通过 \(k\) 最近邻插值插值补全。然而，作者在理论与实验中发现一个关键反直觉现象：材质预测精度与总质量误差的相关性极弱。真正主导质量预测瓶颈的是厚度与体积估计——尤其是在致密、厚重的物体上，简单的材料厚度先验会产生严重的压缩误差。

为此，SiPhy 提出了重量感知厚度细化（HAT）模块。系统首先利用初步的质量估计将物体分类为“重型（Heavy）”或“轻型（Light）”，随后基于 GPT-4 生成的重量条件先验修正厚度分布范围，对厚重物体施加物理合理的厚度补偿。最终，整个物体的总体质量由各采样体素的厚度、底面积与密度期望相乘后求和累加获得，有效扭转了传统方法在重物质量上严重低估的缺陷。

损失函数 / 训练策略¶

模型采用解耦的两阶段训练策略。首先针对 SiPhy VLM，在包含约 10k 样本的 PhysX 与 MVImgNet 数据集上训练：第一阶段仅优化投影 MLP 层，冻结 CLIP 与 LLM；第二阶段保持 CLIP 视觉主干冻结，使用 LoRA 微调 Vicuna-7B-v1.5，并将注意掩码均值池化的隐藏状态通过线性分类头进行交叉熵损失优化，限制其在候选材质空间内分类。其次在部件对比对齐阶段，设定注意力维度 \(d_a = 64\)，使用 Adam 优化器以学习率 \(1 \times 10^{-4}\) 优化联合损失 \(\mathcal{L}_{\text{total}}\)，温度参数 \(\tau = 0.1\)，平衡权重 \(\lambda\) 兼顾类内内聚与跨模态先验保留。

实验关键数据¶

主实验¶

在评估基准上，ABO-500 测试集覆盖 100 种日常真实物品的质量评估，MVImgNet-100 用于多视角真实物体测试，PhysXNet-100 提供逐像素密度与杨氏模量真值。评价指标包含绝对差异误差（ADE）、对数差异误差（ALDE）、百分比误差（APE）以及最核心的尺度不变指标最小比例误差（MnRE，越大越好）。

数据集	评估任务 / 指标	输入视角	SiPhy (本文)	次优基准 / 方案	性能提升幅度
ABO-500	质量预测 MnRE (↑)	单视角 (S)	0.58	0.55 (NeRF2Physics, 多视角 M)	相对多视角基准提升 +5.5% (对比单视角 LLaVA 0.31 提升 +87.1%)
ABO-500	质量预测 ADE (↓) (kg)	单视角 (S)	7.78	8.74 (NeRF2Physics, M) / 30.30 (PUGS, M)	绝对误差降低 0.96 kg (对比 PUGS 降低 74.3%)
ABO-500	质量预测 ALDE (↓)	单视角 (S)	0.74	0.78 (NeRF2Physics, M)	对数误差降低 0.04
PhysXNet-100	质量密度 MAE (↓) (\(\text{kg/m}^3\))	单视角 (S)	1315	2044 (NeRF2Physics, M)	密度误差较 NeRF2Physics 下降 35.5% (与 PUGS 1297 相当)
PhysXNet-100	杨氏模量 MAE (↓) (GPa)	单视角 (S)	52	68 (NeRF2Physics / PUGS, M)	刚度预测误差降低 23.5%
PhysXNet-100	材质分割 M-mIoU (↑)	单视角 (S)	0.31	0.21 (GaussianProperty, M)	宏观分割交并比相对提升 +47.6%

消融实验¶

消融实验重点验证了 3D 自适应采样机制与重量感知厚度细化（HAT）模块的不可或缺性。

配置变体	采样 / 聚合策略	HAT 模块	ABO-500 全部 ADE (↓)	ABO-500 全部 MnRE (↑)	Heavy 子集 ADE (↓)	Heavy 子集 MnRE (↑)
均匀 2D 采样	固定像素步长采样	包含	11.94	0.39	-	-
掩码平均池化	仅按 SAM 掩码平均特征	包含	10.23	0.54	-	-
无 HAT 细化	自适应伪体素采样	移除	9.84	0.53	18.86	0.57
SiPhy (完整模型)	自适应伪体素采样	包含	7.78	0.58	15.59	0.65

关键发现¶

厚度比材质密度更决定质量精度：研究发现材质识别正确率与最终整体质量预测的直接相关性偏弱，而厚度误差会直接在线性体积积分中呈倍数级放大。在重型物体集合（ABO-500 Heavy）上，未启用 HAT 时 ADE 高达 18.86，启用 HAT 后显著收敛至 15.59（改善 17.3%），MnRE 从 0.57 跃升至 0.65。
几何自适应采样的防冗余价值：将自适应步长退化为传统的均匀网格采样后，由于远景近景体素密度畸变与重叠，ADE 从 7.78 恶化至 11.94，MnRE 断崖式下跌至 0.39，证明了公式 (1) 伪体素尺度自适应设计的必要性。
真实人机交互与下游听觉泛化：在 HO3D 与 ARCTIC 真实手物遮挡交互数据集中，SiPhy 质量预测 MnRE 分别达 0.67 与 0.57，显著优于通用多模态大模型 LLaVA（0.58 与 0.53）。将其材质先验送入 Make-An-Audio 驱动音效合成时，彻底纠正了纯视觉外观将金属更衣柜误判为木材而产生沉闷钝音的缺陷，生成了清脆真实的金属敲击频域谱图。

亮点与洞察¶

单目几何与物理常识的极简闭环：巧妙地利用相机内参和单目深度先验构造伪体素尺度反比公式，摆脱了动辄几十上百张图像与数小时 NeRF/3DGS 优化的枷锁，实现了真正的单图近实时物理量化。
先验分类引导的厚度非线性校正：没有盲目扩大大模型回归参数，而是引入“轻/重”离散粗分类门控触发物理先验修正，极具启发性地攻克了单视角透视压缩下致密物体厚度严重低估的业界通病。
跨模态物理声学拓展潜力：将材料刚度与密度参数从单纯的数值估计转化为多模态声学合成的真实约束先验，为具身智能交互、视听生成与物理仿真环境构建提供了高质量的数据标注范式。

局限与展望¶

高反射与全透明材质的几何失效：单目深度估计（如 Depth Anything）与 SAM 分割极易受镜面强高光、环境折射和透明折射率的干扰，导致采样步长计算失真以及 CLIP 纹理表征被背景干扰，使系统出现明显的物理属性误判。
离散轻重分类门控的阶段粗糙性：当前 HAT 模块仅依赖离散的“重/轻”二值划分来施加厚度调整，在面对过渡临界质量区间的物体时可能产生阶跃不连续性，未来可探索连续谱或组合式的细粒度体积建模。
单视角不可见空心/夹层结构盲区：单图推理本质上无法获知物体内部是否为空心、注水或包含异质配重骨架（如陶瓷外壳包裹金属块），内部隐式几何结构的常识推理仍需更强大的因果世界模型支撑。

评分¶

新颖性: ⭐⭐⭐⭐☆ 成功将多视角体素化物理推理范式迁移至单张图像，自适应采样与 HAT 设计思路精巧。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖合成基准、真实多视角集、手物交互真实世界场景及跨模态音频下游实验，对比充分。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，理论动机、公式推导与消融对照清晰易读。
价值: ⭐⭐⭐⭐⭐ 为具身智能、仿真机器人交互及视觉物理常识理解提供了轻量且极具实用价值的全新基准方案。