PhysChoreo: Physics-Controllable Video Generation with Part-Aware Semantic Grounding¶

会议: ECCV2026
论文: ECCV 原文
领域: 视频生成
关键词: 物理可控生成、部件语义定位、物性预测、时序物理编辑、轨迹条件生成

一句话总结¶

PhysChoreo 将单图中的物体重建为可用语言编辑的部件级物性场，再用时序可编辑仿真驱动预训练视频模型，在论文的 10 个视频评测案例中获得更好的物理合理性与时序指令对齐，但并不保证最终画面严格遵守仿真。

研究背景与动机¶

视频模型可以生成逼真的外观，却未必知道一件物体为什么会这样运动。同样受到撞击，金属框架与柔软填充物应有不同响应；仅把物体整体标成“软”或“硬”，就丢失了决定局部形变的结构。PhysGaussian、PhysGen 等路线把动力学交给物理仿真，但仿真器仍需要可信的材料和参数。直接手工指定一个全局材质，或借视频扩散先验反复优化单个物体，都难以同时提供细粒度语义编辑和高效初始化。

另一处障碍在时间维度：初始速度和重力只能规定运动的起点，不能自然表达“先下落、碰撞后变软、稍后再改变受力”这样的连续编排。单纯让视频模型模仿提示词，无法显式检查是哪一项物性或外力导致了变化；直接在仿真器里瞬间改刚度，又可能造成数值不稳定。因此，论文要解决的不只是预测材质，而是把“哪个部件、何时、如何改变”接到可以执行的动力学状态上。

核心 idea：用部件文本与几何点的显式对应关系预测初始物性场，再把时间指令转换为平滑、受稳定性约束的仿真干预，最后让视频模型负责把受控轨迹变成画面。这里的物理合理性是给定材料与外力设定下的合理响应，也允许作者设计反事实材料变化，并非声称这些变化会在真实世界自发发生。

方法详解¶

整体框架¶

输入是一张图像和包含物体属性、局部材质及动作时序的文本，输出是图像到视频结果。系统先用 Grounded-SAM 分出物体、用 InstantMesh 重建网格，再预测每个采样点的材料类别和连续物性；随后补齐体积粒子，在可编辑的仿真器中产生运动轨迹，交给 Wan2.2-Fun-5B-Control 生成视频。

整个流程有三个衔接环节：部件感知物性重建决定“哪里是什么材料”，时序可编辑物理仿真决定“它在每一阶段如何响应”，轨迹条件视频生成决定“这些运动怎样呈现在画面中”。预测器需要训练，视频生成器则使用预训练模型；部件标注与物理正则只用于学习物性，不是推理时额外获得的真值。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["单图与文本指令"] --> Geometry["实例分割与网格重建"]
    Geometry --> Reconstruction["部件感知物性重建"]
    Supervision["部件标注与物理正则"] -.->|仅训练| Reconstruction
    Reconstruction --> Simulation["时序可编辑物理仿真"]
    Input -->|时间索引动作| Simulation
    Simulation --> Generation["轨迹条件视频生成"]
    Generation --> Output["受控视频"]

关键设计¶

1. 部件感知物性重建：把局部文字绑定到点，而不是给整个物体一个标签

从网格表面均匀采样后，每个点同时有几何位置特征和 PartField 提供的部件语义特征。CLIP 则编码全局描述与可选的部件短语。关键是软分配（soft assignment）：把点和部件文本投影到共享空间，对每个点计算其属于各个短语的归一化权重，再按权重混合文本信息注入点特征。这样，“金属支架”和“柔软坐垫”不是两条平等作用于全物体的提示，而是有了可检查的点到短语分布。它在代数形式上相当于单头交叉注意力，论文强调保留简洁结构是为了能直接监督分配关系，而不是把它包装成全新的注意力算子。

软分配之后，层次交叉注意力先让点读取全局文本，再读取部件文本：前者给整体属性提供粗条件，后者细化局部差异，减少不同粒度提示同时竞争。随后 6 层 Transformer 聚合非局部上下文，逐点输出 6 类仿真材料模型以及杨氏模量 \(E\)、泊松比 \(\nu\)、密度 \(\rho\)。这些量分别描述刚度、横向形变关系和质量分布，不能只凭一个“橡胶”标签替代。训练还显式约束部件内的物理连续性、部件间响应差异及文本分配，下文说明其作用；因此这里输出的是可编辑的空间物性场，而非图像级材质分类结果。

2. 时序可编辑物理仿真：控制整段过程，而不只设置初始条件

论文在材料点法（MPM）和刚体求解器中维护各对象或部件的物性、外力和运动状态。GPT-5 将自然语言拆为全局描述、部件提示和求解器指令，后者以预定义、带时间索引的动作序列在仿真运行时执行。例如可以先改变风场，再改变某个部件的材质或刚度，而无需重新初始化场景。物性、重力或风力、速度属于不同控制通道；这使“看起来在动”的像素控制变成了对运动原因的显式干预。

数值稳定性是这种自由度的代价。对于连续物性参数，系统用指数形式确定混合权重，让当前值逐步靠近用户目标，而不是一步跳变；过渡快慢由求解步长与对象的时间常数决定。它还用材料波速限制刚度：当预测的最大波速超出阈值时，以共享系数缩放杨氏模量，保留各对象相对刚度关系并限制极端状态。这个机制能缓和编辑造成的突变，但不意味着任意材质切换都满足真实能量守恒。缓存中的式 (13)–(14) 及部分弹性公式有提取损坏，这里仅转述正文明确说明的平滑与限幅机制，不补写为作者精确公式。

3. 轨迹条件视频生成：让仿真负责运动，让生成模型负责外观

物性预测落在表面点上，而 MPM 需要实体内部的粒子。系统先借 Dust3r 估计场景对象的位置和尺度，再通过表面到内部的传播填充体积；内部粒子用近邻检索找到最近的表面粒子并继承其物性。这样能把一个带语义的表面物性场变成可模拟的体积表示，但其内部材质来自外推，并不是单张图像真的测出了内部结构。这一接口解释了为什么局部材质预测能够进入动力学求解，也解释了后文关于内部状态的局限。

仿真器输出点云运动轨迹，流程将其作为控制条件交给预训练 Wan2.2-Fun-5B-Control。原图和文本保留视觉内容及语义要求，轨迹约束运动，生成器补充纹理、光照和细节。论文没有把这一过程描述为端到端重新训练视频骨干，也不能把仿真器的轨迹稳定性直接等同于最终视频的物理正确性：生成器仍可能在阴影和局部外观上违背几何变化。其失败案例正发生在这最后一段，而不是所有错误都源于物性预测。

一个完整示例¶

以带刚性支架和柔软坐垫的椅子为说明性输入，指令要求“先下落，随后让坐垫进一步变软”。这是依据方法构造的流程示例，不是论文额外报告的测试结果。

重建阶段先从图中分出椅子并得到网格，部件编码帮助区分支架与坐垫；软分配把两个部件短语注入相应点，预测器输出不同的局部物性。若只有一个全局材质，后续仿真就可能让支架和坐垫表现得同样柔软，局部控制从起点就丢失了。

仿真阶段补齐内部粒子，先按初始物性模拟下落，在预定时间对坐垫的参数启动平滑修改，同时进行稳定性限幅。最后视频模型接收这段轨迹，把不同部件的运动变成连续画面。论文展示“碰撞后液化”等效果，但正文明确的是时间索引控制接口；不能据此推断它已经实现通用的碰撞事件自动检测与自然语言触发器。

损失函数 / 训练策略¶

训练数据来自 PartNet 的 9,580 个对象，覆盖 24 个语义类别。作者先整理部件标签，再用 GPT-5 结合渲染与类别生成全局及部件描述、推断物性，随后借人工定义的材料约束与 GLM-4.5 校准；人工核验了 9% 样本，另有 5% 样本带反事实材料标签。数据提供真实材料描述与仿真材料标签的映射，但这里的“真实材料”是标注类别名称，不能误解为所有物性均经过实验测量。

逐点任务损失由归一化连续量的平滑回归和材料分类交叉熵组成。额外的波速连续性损失在三维近邻图中只连接同部件点，惩罚纵波、剪切波传播速度的空间差异；不跨部件做同样平滑，是为了避免把真实材料界面抹平。对比正则再利用由剪切模量、体积模量构成的对数归一化嵌入，以同部件为正样本、异部件为负样本形成三元组约束，使不同部件的弹性响应保持可分。提示分配损失则把点到短语的分布监督到对应部件索引，直接校准语言编辑的作用位置。

完整目标是以上项的加权和。回归、分类、分配、平滑、对比的权重依次为 1、0.3、0.1、0.02、\(5\times10^{-4}\)；由于缓存式 (7)–(12) 存在缺失符号，不复原波速或三元组的精确原式。正文机制足以区分三种监督的职责：部件内连续、部件间可分、文本与部件对齐。

实现使用 96 维 PartField 特征和 96 维位置 MLP 特征，冻结的 CLIP 文本特征为 256 维；软分配温度为 0.07，融合后映射到 512 维，注意力为 8 头。预测器在 2 张 A6000 上以 AdamW、学习率 \(3\times10^{-4}\)、batch size 32 和余弦衰减训练；验证早停耐心值为 10，改善阈值为 \(10^{-4}\)，正文报告第 41 个 epoch 停止。

部署可以使用单张 RTX 5090，物性重建与姿态估计约需 120 秒，仿真约需 30 秒。这个时间没有给出最终视频生成的完整开销，不能写成“150 秒生成整段视频”；复杂指令还经过 GPT-5 多轮优化，因此最终效果也包含提示编排的贡献。

实验关键数据¶

主实验¶

物性比较从未参与训练的测试集中随机选取 100 个样本，统一映射到 6 类仿真材料。Mat.Acc. 是材料类别准确率，越高越好；连续量比较使用 \([\log E,\nu,\log\rho]\) 的误差，越低越好。Pixie 缺少 plastic 类，作者为它采用较宽松的映射，plastic 真值也接受 elastic、metal 或 rigid；因此不是各模型原生类别空间的直接比较。

方法	Mat.Acc. ↑	log E 误差 ↓	泊松比误差 ↓	log rho 误差 ↓
NeRF2Physics	0.628	2.033	0.064	0.521
PUGS	0.283	2.778	0.076	0.627
Pixie	0.349	4.129	0.103	0.848
PhysChoreo	0.789	0.661	0.061	0.249

上表来自原文表 1。相对 NeRF2Physics，材料准确率提高 16.1 个百分点，log E 误差由 2.033 降为 0.661；泊松比误差的优势较小，不能把不同量纲上的变化笼统说成同幅度提升。

视频实验评估 10 个生成案例，用 Gemini-2.5-Pro 对三个维度打 5 分制分数：SA 衡量内容和运动对文本、尤其时间指令的对齐；PC 衡量形变与动力学的物理合理性；VQ 衡量视觉细节质量。下表来自原文表 3，并非客观守恒误差测量。

方法	SA ↑	PC ↑	VQ ↑	AVG ↑
PhysGen3D	2.30	2.10	3.50	2.63
PhysCtrl	3.75	4.25	4.30	4.1
Wan2.2-5B	1.75	1.70	4.20	2.55
CogVideoX-3	2.40	2.55	4.15	3.04
Veo 3.1	4.10	4.20	4.90	4.40
PhysChoreo	4.70	4.55	4.75	4.67

作者还组织 31 位用户给出 642 次有效选择，原文表 2 的 PhysChoreo 总偏好占比为 50.1%。它的 VLM 平均分最高，但 VQ 低于 Veo 3.1；物理控制优势不能改写为所有视觉指标都领先。

消融实验¶

原文表 5 单独去掉物理监督项；Iter. 指早停 epoch，不是求解器步数。Total Err. 按原表保留，所给正文未明确其聚合计算细节；不要把它当成视频误差，也不要将本表准确率与表 1 的 100 样本结果混作同一评测口径。

配置	Mat.Acc. ↑	Total Err. ↓	Iter.
去掉提示分配监督	0.8534	0.3753	50
去掉波速连续性监督	0.8578	0.3579	37
去掉对比正则	0.8310	0.3451	38
完整模型	0.8605	0.3318	41

关键发现¶

去掉提示分配监督后，早停从 41 变为 50 个 epoch，说明显式几何与语言对应也影响学习效率，而不只是可视化解释。
去掉对比正则的准确率降至 0.8310，是表 5 中最大的分类退化；其作用更接近维护材料响应的可分性。
原文表 4 中，双阶段注意力配置加入软分配后，Total Err. 从 0.5801 降至 0.5046，早停从 36 降至 26；再加部件先验后误差降至 0.3318，但早停增至 41，不能简单归纳成所有模块都加速训练。

亮点与洞察¶

可解释的控制接口比单纯增加文本注意力更关键。点到部件短语的软分配能被直接监督，使“改哪个部件”在生成之前就有几何含义。
物理监督区分连续区域和材料界面。部件内波速平滑与部件间弹性对比承担不同职责，避免把整个对象过度平滑为同质材料。
时间控制作用在状态演化上。平滑更新与刚度限幅使语言编辑能进入持续运行的求解器，这一思路可迁移到交互式动画的参数调度。

局限与展望¶

作者承认：方法以独立物体为主，大场景仍不足；仅靠表面采样与内部填充不能精确预测物体内部状态。
作者展示：视频渲染阶段可能产生错误光照、阴影及细节伪影，稳定的仿真轨迹没有自动转化为严格正确的像素。
本笔记判断：物性标签主要经模型推断与规则校准，人工核验比例为 9%，所以误差体现对该标注体系的拟合，不等同于真实材料测量精度。
本笔记判断：10 个视频案例、VLM 评分和偏好投票支持初步效果，但缺少更大规模及守恒量层面的验证；多轮指令优化也使一次性自然语言控制的能力难以单独判断。
可改进方向：对不可见内部结构输出不确定性，并评估生成视频相对仿真轨迹的偏差，将“物性估计错”和“视频渲染偏离”分别计量。

评分¶

新颖性: 4/5。部件语义物性场与时序可编辑仿真结合有针对性，基础注意力与仿真算子并非全新。
实验充分度: 3/5。预测、视频及模块消融互相补充，但视频案例少，真实物性和物理守恒验证仍有限。
写作质量: 4/5。模块动机和接口明确，但正文对聚合误差及若干评测口径的说明不够完整。
价值: 4/5。为可控视频提供可解释的物理编排方案，适合交互动画探索，不宜直接当成高精度物理数字孪生。