AutoPhyX: Automatic Text-Condition Physics Property Generation¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://hb-pencil-zero.github.io/AutoPhyX
领域: 3D表示与场景理解
关键词: 物理仿真、物理参数预测、跨模态调制、3D体素场、文本引导

一句话总结¶

AutoPhyX 提出了首个文本条件引导的前向 3D 物理属性预测框架，通过神经辐射场体素化与 FiLM 跨模态特征调制，在单次前向推理中为任意 3D 资产回归稠密杨氏模量、泊松比与密度场，有效消除纯视觉反演的物理多义性。

研究背景与动机¶

高保真 4D 物理仿真已成为具身智能策略训练、机器人交互及虚拟现实的核心基石。无论是基于有限元方法（FEM）的软体变形建模，还是基于物质点法（MPM）的断裂与复杂流固交互，真实动力学模拟的前提都依赖于精确的材料物理常数（如杨氏模量 $E$、泊松比 $\nu$ 和密度 $\rho$）。然而长期以来，物理参数的配置严重依赖人工试错与专家经验，当场景中包含具有不同材料特性的复杂多部件物体时，手工配置完全无法扩展。

为了实现物理参数自动化获取，现有工作主要存在两大瓶颈：第一类是基于可微物理引擎的测试时优化方法（如 PhysDreamer、DreamPhysics、OmniPhysGS），它们借助视频扩散先验或多视角轨迹逐步迭代参数场，不仅单场景动辄耗费数小时的繁重计算，而且优化过程高度过拟合于特定场景，泛化能力极其受限；第二类是近期涌现的前向预测模型（如 Pixie、VoMP），虽然摆脱了昂贵的在线优化并实现单次前向秒级推理，但它们纯粹依赖视觉外观输入。纯视觉反演存在内在的物理多义性——外观完全相同的物体在物理属性上可能天差地别，例如刚性饼干盒与超轻薄纸盒、坚韧弯曲的鲜活盆栽枝条与极脆易断的干燥枯木，仅靠图像根本无法分辨其刚度与抗断裂特性。

本文切入的角度是：语言蕴含着最直接的材质语义与物理预期先验，必须将文本描述作为显式解耦条件引入 3D 几何特征中。核心 idea：构建基于 3D 体素场的文本条件前向预测框架 AutoPhyX，利用可微分体渲染提升多视角语义并填充内部实心体素，通过 FiLM 跨模态特征自适应调制机制实现文本语义与三维空间的精准物理对齐，并在仅 2 秒的单次前向传递中输出解耦的稠密物理场。

方法详解¶

整体框架¶

AutoPhyX 的核心流程分为两大阶段：三维特征场提取与体素内部填充、以及文本条件的跨模态物理参数前向回归。给定物体的多视角观测图像和描述其物理特性的文本描述，系统首先通过可微体渲染构建无遮挡污染的 3D OpenCLIP 体素特征场，并采用多射线拓扑相交判定填充不可观测的内部体素以获得实体体积；随后，文本提示经冻结的 OpenCLIP 文本编码器提取特征向量，作为全局条件输入 3D U-Net 的多层 FiLM 调制层，动态缩放和位移中间特征图通道；最后解码器直接预测体素网格内每个占用单元的物理参数元组 $(E, \nu, \rho)$，该体素场可即插即用映射到 3D 高斯泼溅（3DGS）、网格（Mesh）或点云等任意下游仿真求解器中。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：多视角图像 + 文本描述"] --> B["3D 特征提取：可微体渲染<br/>累积透射率过滤遮挡污染"]
    B --> C["分层射线投射填充：内外判定<br/>六向边界 + 奇偶相交拓扑填充"]
    C --> D["跨模态 FiLM 调制：U-Net 特征解耦<br/>文本特征动态预测通道缩放与位移"]
    D --> E["体素物理场输出：回归 E / ν / ρ<br/>无缝转接 MPM / FEM 物理求解器"]

关键设计¶

1. 可微体渲染特征提升与分层奇偶射线内部填充：消除几何污染并构建实心动力学场

以往基于投影平均的方法（如 VoMP）在将 2D 视觉特征提升至 3D 网格时，因完全忽略视角遮挡关系，会产生严重的前后景特征污染（例如前景树叶的特征被错误平均至被遮挡的树干区域）。针对该问题，AutoPhyX 将 2D OpenCLIP 特征视作连续特征辐射场 $\Phi: \mathbb{R}^3 \to \mathbb{R}^D$，借助预训练 RGB NeRF 固定的体密度场 $\sigma$，沿相机光线 $r(t) = o + td$ 进行端到端可微体渲染： $$ \hat{F}(r) = \int_{t_n}^{t_f} T(t) \sigma(r(t)) \Phi(r(t)) dt, \quad \text{其中 } T(t) = \exp\left(-\int_{t_n}^t \sigma(r(s)) ds\right) $$ 由于累积透射率 $T(t)$ 在穿过表面后迅速衰减为 0，自然抑制了遮挡区域的梯度，从而保证只有真实可见的视角才会对三维表面特征施加监督。进一步地，由于连续物理仿真（如 MPM/FEM 的应力传递计算）严格要求物体内部也具备连贯的材料参数，单纯的表面壳层无法进行应力传导。模型引入分层射线投射方案：首先进行六向边界粗检，接着利用图形学奇偶规则（Even-Odd Rule）向无穷远投射多条射线，根据表面相交次数判定内部候选，并在几何凹陷与复杂流形中精确填充不可见的内部体素，最后通过最近邻插值使内部体素继承表面的语义特征，生成物理自洽的三维实实体积。

2. 文本特征驱动的 FiLM 跨模态调制机制：解耦同外观异物理的材质模糊性

视觉表征无法区分外观相同但力学参数迥异的材料。为了引入精确的物理先验，AutoPhyX 将文本描述输入预训练并冻结的 OpenCLIP 文本编码器，提取文本稠密语义嵌入 $e_{\text{text}}$。由于输入的 3D 视觉体素与文本向量源自相同的 OpenCLIP 潜在空间，特征天然对齐，免去了跨模态映射投影的失真。AutoPhyX 将 $e_{\text{text}}$ 送入专属的多层感知机（MLP），在 3D U-Net 的各个层级动态预测通道级的仿射缩放系数 $\gamma_i$ 与偏置位移向量 $\beta_i$： $$ F_i' = \gamma_i(e_{\text{text}}) \cdot F_i + \beta_i(e_{\text{text}}) $$ 通过将该 FiLM 变换逐层嵌入 3D U-Net 的主干中，网络能够依据文本中的力学语义自适应强化或抑制特定的三维通道特征。例如在输入“橡胶弹性”与“易碎脆性”两类不同指令时，模型无需改变三维几何形态即可动态激活不同的刚度预测通道，实现了部件级的高精度语义力学解耦。

3. Text2PhyX 部件可控大规模物理数据集生成管线：权威工程知识与仿真闭环过滤

监督前向物理模型需要包含部件级物理常数与对齐文本的大规模数据集。本文设计了一套全自动的部件可控生成管线：首先渲染物体上半球的 15 个视角并调用视觉语言模型（VLM）生成部件标签列表，基于余弦相似度在 3D OpenCLIP 体素上进行语义部件分割，并通过 5 次候选采样让 VLM 遴选最优分割掩码，避免冷门词汇造成的分割退化。随后，VLM 依据部件生成多样的力学物理描述，并调用真实工程知识库（MatWeb、Wikipedia、The Engineering Toolbox）查询严谨的物理参数范围（例如区分桃花心木与软木在 800~1300 $\text{kg/m}^3$ 内的密度区间），并在合规范围内采样真值。最后，对每个生成的配置执行 100 帧物理仿真动力学校验，剔除存在破裂假影、分割失效或行为与文本不符的样本（最多重试 5 次）。该流程基于 1,000 个 Objaverse 网格及 700 个 SAM 3D 重建的高斯模型，构建出涵盖 13,600 个（三维资产-文本-力学真值）三元组的 Text2PhyX 基准。

损失函数 / 训练策略¶

AutoPhyX 仅对有效占用的实体体素网格 $\mathcal{G}$ 施加均方误差监督。设目标物理属性集合为 $\mathcal{K} = \{E, \nu, \rho\}$，分别对应杨氏模量、泊松比和密度。总物理损失函数定义为： $$ \mathcal{L}{\text{phys}} = \frac{1}{N(p)|^2 $$ 其中 }}} \sum_{p \in \mathcal{G}} \sum_{k \in \mathcal{K}} |\hat{k}(p) - k_{\text{GT}$N_{\text{occ}}$ 表示有效占用体素的总数，$\hat{k}(p)$ 和 $k_{\text{GT}}(p)$ 分别为体素 $p$ 处的预测值与真实物理参数。在训练与指标评测中，针对跨越多个数量级的杨氏模量 $E$ 和密度 $\rho$ 均采用 $\log_{10}$ 对数变换，并将 $\log E$、$\nu$ 和 $\log \rho$ 全部线性归一化到 $[-1, 1]$ 区间，防止极刚硬材质在梯度更新中主导损失，保证软质材料微小力学差别的灵敏度。模型在 2 块 NVIDIA RTX A800 GPU 上采用 Adam 优化器训练 100 轮，初始学习率为 $10^{-4}$，批大小为每卡 4，总训练时长约 2 天。

实验关键数据¶

主实验¶

在 Text2PhyX 测试集（125 个测试物体，1,000 组样本）上，评估包括基于物理渲染的多视角图像质量指标（PSNR、SSIM、LPIPS）以及物理参数预测误差（平均物理误差、$\log E$ 误差、$\nu$ 误差、$\log \rho$ 误差）。所有对比方法均在相同设置下进行。

方法	PSNR ↑	SSIM ↑	LPIPS ↓	Avg. Phys. err ↓	$\log E$ err ↓	$\nu$ err ↓	$\log \rho$ err ↓
DreamPhysics (50 ep)	19.223	0.881	0.178	—	1.362	—	—
OmniPhysGS (5 ep)	17.880	0.884	0.305	—	—	—	—
NeRF2Physics	18.554	0.889	0.245	0.841	0.585	0.455	0.982
Gemini (5次平均)	21.124	0.869	0.205	0.218	0.227	0.235	0.192
Pixie (Clip, 无文本)	23.421	0.908	0.092	0.078	0.062	0.065	0.108
Ours (w/ Clip)	25.105	0.916	0.091	0.069	0.058	0.061	0.089
Ours (w/ OpenClip)	26.012	0.921	0.089	0.059	0.042	0.051	0.083

在真实世界 500 个物体的 ABO-500 质量与密度评测中，各模型无微调直接评估零样本泛化能力（采用默认提示 This is a [object name]）：

方法	ALDE (↓)	ADE (↓)	ARE (↓)	MnRE (↑)
NeRF2Physics	0.732	11.826	0.989	0.573
Pixie	0.782	12.565	0.971	0.568
Ours	0.652	9.433	0.901	0.582

消融实验¶

特征提取模式与骨干表征对特征质量与物理属性预测精度的消融分析如下：

配置	PSNR ↑	SSIM ↑	Avg. Phys. err ↓	说明
Pixie (Occupancy)	17.901	0.868	0.122	仅使用纯几何占用网格，缺乏材质表色与语义线索
Pixie (RGB)	18.695	0.863	0.121	仅使用纯 RGB 体素，受光照与纹理假影干扰严重
Pixie (Clip)	23.421	0.908	0.078	引入预训练视觉语义，但缺乏文本解耦，无法处理多义性
Ours (w/ Clip)	25.105	0.916	0.069	引入 FiLM 跨模态文本调制，物理误差显著降低 11.5%
Ours (w/ OpenClip)	26.012	0.921	0.059	结合 OpenCLIP 丰富表征与体渲染抗遮挡提取，全指标最优

关键发现¶

跨模态调制有效打破外观物理多义性：相比纯视觉输入的前向 SOTA 方法 Pixie，AutoPhyX 在引入文本 FiLM 调制后，PSNR 提升了近 2.6 dB，整体物理平均误差从 0.078 降至 0.059（相对降低 24.4%）。特别是在杨氏模量指标上，$\log E$ 误差从 0.062 骤降至 0.042。
真实分布泛化优异：在分布外的 ABO-500 实测数据集中，AutoPhyX 的平均位移误差（ADE）降至 9.433，相比 Pixie 的 12.565 相对下降了约 24.9%（较次优 baseline 降低超 20%），验证了即使在仅有类别名称的默认文本下，模型学到的也是真实物理力学分布而非浅层过拟合。
推理效率提升数个数量级：AutoPhyX 完成整网格物理预测仅需不到 2 秒推理时间，且完全省去了在线优化数十轮的开销。相比 DreamPhysics 与 OmniPhysGS 需要数小时优化且 PSNR 低于 20 dB 的表现，AutoPhyX 实现了高精度与极致效率的兼备。

亮点与洞察¶

将 VLM 转化为带工具箱的语义推理机而非不可靠的直接数值计算器：作者深刻指出了 VLM 的不对称性——VLM 具备强大的概念分词与前向文本扩展能力，但在逆向猜测绝对物理常数时幻觉严重。通过让 VLM 查询外部权威材料库（MatWeb/Wikipedia）并进行多轮一致性采样，构建了高质量工程级数据管线。
体渲染与分层奇偶填充打通 3D 物理实心场：既利用累积透射率天然剔除 2D 视角提升中的几何遮挡污染，又利用图形学偶奇光线投射填补物体内部实心体素，解决了图形渲染表面向连续力学体积求解器转换的关键阻碍。
统一体素表征的无缝下游通用性：预测结果不绑死于任何单一仿真器，可无缝映射到 3D 高斯泼溅（配合 PhysGaussian 与 MPM 渲染真实飞溅、弯曲与断裂）或网格 Mesh（配合 Isaac Sim 与 FEM 进行机器人抓取与碰撞变形仿真）。

局限与展望¶

物理属性维度的拓展空间：当前模型重点预测固体力学的三个核心经典常数（杨氏模量 $E$、泊松比 $\nu$、密度 $\rho$），尚未覆盖摩擦系数（Friction coefficient）、阻尼损耗（Damping coefficient）以及塑性屈服极限等接触与能量耗散参数。
体素网格分辨率对微小结构的制约：受限于全局 3D 卷积与体素分辨率，对于微小轻薄薄壳结构或高纵横比线缆，体素化可能带来部分几何走样与离散化误差。未来可引入分层稀疏体素八叉树或隐式神经连续场以支持更高精度的物理边界解析。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出文本引导的前向物理参数预测范式，巧妙设计了抗遮挡体渲染提升与跨模态 FiLM 3D 调制机制。
实验充分度: ⭐⭐⭐⭐⭐ 兼具合成集 Text2PhyX、真实数据集 ABO-500、跨求解器（MPM/FEM）及跨表征（3DGS/Mesh）的详尽验证。
写作质量: ⭐⭐⭐⭐⭐ 论文动机清晰，架构图与物理对比实验扎实，技术细节与工程数据库检索设计完备。
价值: ⭐⭐⭐⭐⭐ 彻底解决了 4D 生成与具身智能领域静态三维资产到动力学交互对象的力学参数自动化配置难题。