CompAdapt: Adaptable Composite Motion Modeling for Physics-Consistent Text-to-Video Generation¶

会议: NeurIPS 2026
arXiv: 2609.21455
论文: https://makapic.github.io/CompAdapt/
领域: 视频生成
关键词: 物理一致性、文本生成视频、复合运动建模、神经常微分方程、单样本物理规律自适应

一句话总结¶

针对文生视频在复杂物理动力学下失效的问题，CompAdapt 提出语言到物理再到视频的解耦框架，通过双分支 LLM 结构化解析物理语义、运动类型复合与多物体碰撞动力学预测连续状态轨迹，并结合空间仿射扭曲扩散引导与先验匹配单样本自适应，显著提升复合运动与未知物理环境下的物理一致性与视觉保真度。

研究背景与动机¶

基于扩散机制的文本生成视频（Text-to-Video, T2V）模型近年来在生成高度逼真且时间连贯的视频方面取得了突破性进展，广泛应用于数字内容创作与具身模拟。然而，视觉真实感并不等同于物理正确性。主流文生视频模型主要依赖从海量视频数据中学习到的表观运动关联，而非底层的力学规律。这种机制导致生成的视频在宏观表象下极易违反基础物理守恒律，例如缺乏重力加速特征、惯性滑移缺失、碰撞响应反常以及不同运动阶段之间出现非物理的突变或断裂。

为缓解这一物理失真问题，近期涌现出以 NewtonGen 为代表的物理约束视频生成方法，通过引入神经牛顿动力学（Neural Newtonian Dynamics, NND）与神经常微分方程（Neural ODEs）为生成过程提供显式动力学先验。然而，现有物理引导方案在复杂现实场景下面临三重严峻瓶颈：其一，现有动力学模块仅支持单一基本运动类型，无法处理多运动分量并行发生、多阶段序列展开或离散碰撞触发的复合物理动力学；其二，物理参数依赖人工硬编码设定，难以支持开放语义文本的端到端直接驱动；其三，当面临分布外物理环境（如月球弱引力、超低摩擦冰面或高黏度流体）时，现有方法因缺乏泛化与自适应机制，往往必须重新在大规模物理合成仿真数据上重训核心动力学模块，代价高昂且缺乏通用性。

本文的切入视角在于构建物理状态建模与视频扩散渲染解耦的架构，将自然语言提示词解析为结构化动力学语义，利用齐次与特解叠加原理实现复合运动轨迹的解析合成，并通过动力学驱动的先验匹配完成极低成本环境迁移。核心 idea：构建语言到物理动力学再到视频渲染的三阶段解耦管线，通过扩充质量维度的 10 维连续物理状态与双 LLM 解析器驱动复合运动叠加与碰撞解算，并利用动力学先验匹配实现仅需单条观测轨迹的未知物理法则快速单样本自适应。

方法详解¶

整体框架¶

CompAdapt 整体由语言解析层、物理状态动力学建模层、物理感知视频渲染层以及未知环境自适应层构成。给定包含物理动作描述的自然语言提示词 \(P\)，双分支大语言模型解析器首先提取离散动作时序序列与连续初始物理参数；接着，具有显式质量维度的 10 维物理状态表征输入神经常微分方程模块，由运动类型复合模块（MTC）解算并行与多阶段连续轨迹，并由多物体交互模块（MOT）在几何接触时刻触发碰撞映射；最后，生成的物理状态序列通过空间局部扭曲与自适应混合模块注入 Wan-Move 视频扩散模型生成高质量视频。当遇到未知物理环境时，系统通过跟踪观测轨迹执行动力学先验匹配与正则化微调。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入文本提示词 P"] --> B["10维状态与双分支解析器<br/>时序动作抽取与参数解析"]
    B --> C["复合运动建模与碰撞交互<br/>MTC自由场特解叠加与MOT冲量解算"]
    C --> D["空间仿射扭曲与自适应混合<br/>局部补丁变换与通道门控插值"]
    D --> E["输出物理一致性视频"]
    F["单条未知环境观测轨迹"] --> G["动力学感知先验匹配自适应<br/>轨迹MSE匹配与正则化微调"]
    G -.->|更新适配动力学模块| C

关键设计¶

1. 10维状态与双分支解析器：解耦文本意图到物理数值的映射

在经典连续动力学中，运动通常仅通过运动学与几何参数进行刻画。NewtonGen 采用 9 维状态向量包含质心坐标 \((x,y)\)、线速度 \((v_x, v_y)\)、旋转角与角速度 \((\theta, \omega)\)，以及外接矩形短边、长边和投影面积 \((s,l,a)\)。然而，多物体碰撞中的动量传递不仅依赖几何与速度，更决定于物体的质量。CompAdapt 显式扩充质量坐标 \(\mu\)，形成 10 维状态空间 \(\mathbf{Z} = [x, y, v_x, v_y, \theta, \omega, s, l, a, \mu]\)。每个状态分量在神经牛顿动力学中遵循带有二阶线性物理主导项与残差 MLP 的动力学演化方程：

\[a_z \ddot{z} + b_z \dot{z} + c_z z + d_z + \mathrm{MLP}(\mathbf{Z}) = 0\]

为解决自由文本向高精度初始状态 \(\mathbf{Z}_0\) 转换的难题，框架设计了基于 Qwen2.5-7B-Instruct 微调的双分支架构：时序分支 \(\text{LLM}_{\text{seq}}\) 专职提取 \(N\) 个物体的离散时序动作集 \(\mathcal{S}\)，将行为准确归类到 12 种预定义动作元原语；参数分支 \(\text{LLM}_{\text{param}}\) 则结合原始文本与结构化动作序列，识别数值量化、定性形容词映射或缺省默认值，通过两阶段后处理程序确定初始时刻状态集 \(\mathcal{Z}_0\)。

2. 复合运动建模与碰撞交互：无额外误差的轨迹叠加与碰撞解算

真实世界运动往往由多个分量并发（例如抛体平移伴随自转）与时序阶段转换（例如下落碰撞后反弹）构成。针对并发运动，若简单将各动作模块的积分位移直接相加，会导致零外力自由运动（如初速度位移 \(v_0 t\)）被重复计入多次。MTC 模块利用齐次自由场与特解叠加原理，定义保持匀速平动与固定形状的自由场流动 \(\mathbf{Z}_{\mathrm{free}}(t) = \Phi_t^{F_{\mathrm{free}}}(\mathbf{Z}_{\mathrm{init}})\)，在各动力学元模块预测的偏离量上实施可交换的加性叠加：

\[\mathbf{Z}^{\mathrm{syn}}(t) = \mathbf{Z}_{\mathrm{free}}(t) + \sum_{j=1}^{o_i} \mathbf{r} \odot \left(\mathbf{Z}_{i,j}^{(n)}(t) - \mathbf{Z}_{\mathrm{free}}(t)\right)\]

其中掩码向量 \(\mathbf{r} = [1, 1, 1, 1, 1, 1, 1, 1, 1, 0]\) 保证质量坐标在叠加时严格恒定。在连续时间分段上，前一时段的终态 \(\mathbf{Z}^{\mathrm{syn}}(t_{i-1})\) 精确充当下一时段的初态 \(\mathbf{Z}_{\mathrm{init}}\)，保证轨迹的 \(C^0\) 连续性。当两个凸多边形物体最小间距低于碰撞阈值 \(\epsilon\) 时，离散接触触发专门的碰撞模块 \(\mathcal{D}_{\mathrm{col}}\)。基于经典冲量-动量定理，法向冲量 \(J = (1+e) u^{-} / W\) 通过显式质量 \(\mu_A, \mu_B\)、转动惯量与接触几何距离解算，将碰撞前离散状态瞬时映射为满足动量守恒与动能耗散约束的碰撞后状态，彻底解决了连续 ODE 无法处理瞬态接触断裂的本质困难。

3. 空间仿射扭曲与自适应混合：消除大尺度位移与旋转畸变

在将离散物理状态渲染为高保真画面的过程中，直接沿轨迹对第一帧潜空间特征执行硬复制（Hard Copying）会导致旋转、尺度缩放及外力变形下的严重纹理撕裂与模糊。CompAdapt 改进了 Wan-Move 扩散渲染分支，构建空间扭曲模块。对解码器各层的局部潜特征补丁 \(\mathbf{H}_0\)，依据物理状态中提取的旋转角变化 \(\Delta \theta_f = \theta_f - \theta_0\) 与尺度伸缩比例计算 2D 仿射变换矩阵：

\[\mathbf{M}_f = \mathbf{R}(\theta_f - \theta_0) \cdot \mathrm{diag}\left(\frac{s_f}{s_0}, \frac{l_f}{l_0}\right)\]

为了抵消潜空间非线性缩放带来的伪影以及视场外出入平面的外观非刚性突变，自适应混合模块通过轻量级 MLP 输入相对几何变化向量 \(\boldsymbol{\rho}_f = \left(\frac{s_f}{s_0}, \frac{l_f}{l_0}, \frac{a_f}{a_0}\right)\)，自适应预测通道门控权重 \(\mathbf{G} \in [0,1]\)，将显式空间扭曲特征与扩散网络本底去噪特征 \(\tilde{\mathbf{h}}_f\) 进行平滑插值：

\[\mathbf{h}_f = \mathbf{G} \odot \mathbf{M}_f(\mathbf{H}_0) + (\mathbf{1} - \mathbf{G}) \odot \tilde{\mathbf{h}}_f\]

这一设计使生成模型在严密贴合物理运动轨迹的同时，完全保留了丰富自然的高频纹理演变。

4. 动力学感知先验匹配自适应：分布外物理环境的极简迁移

面对重力加速度剧变、极低摩擦或高阻尼等未见物理环境，CompAdapt 规避了传统方法必须耗费数万步重训基础动力学模型的弊端。针对来自单条观测视频提取的状态序列 \(\{\hat{\mathbf{Z}}_f\}_{f=0}^F\)，先验匹配模块首先驱动预训练的 12 个基础单物体动力学模块执行前向轨迹模拟，计算轨迹均方误差选择最兼容的模块索引 \(k^*\)：

\[k^* = \arg\min_k \frac{1}{F} \sum_{f=0}^F \|\tilde{\mathbf{Z}}_f^{(k)} - \hat{\mathbf{Z}}_f\|_2^2\]

实验表明该基于动力学拟合的选择机制远优于语义字面匹配（例如月球重力抛体与 3D 运动先验拟合度最高）。随后，在保留通用动力学先验的同时引入带权值参数正则项的目标函数，在单一轨迹上完成极轻量参数微调：

\[\mathcal{L}_{\mathrm{adapt}} = \frac{1}{F} \sum_{f=0}^F \|\mathcal{D}_{k^*}(\hat{\mathbf{Z}}_0, f; \phi) - \hat{\mathbf{Z}}_f\|_2^2 + \lambda \|\phi - \phi_{k^*}^0\|_2^2\]

正则项有效防止了动力学网络发生灾难性先验漂移，使得模型仅需 100 步更新即可精准迁移至新物理法则。

损失函数 / 训练策略¶

CompAdapt 采用高度解耦的训练范式： 1. 语义解析器：在 Text2Phys 包含 10,000 条结构化标注样本的数据集上，使用 LoRA（秩为 8、批次大小为 8、学习率 \(2 \times 10^{-5}\)）微调 Qwen2.5-7B-Instruct，训练 3 个 epoch。 2. 碰撞动力学模块 \(\mathcal{D}_{\mathrm{col}}\)：在 CollidePhys（800 训练样本）上使用 AdamW 优化器和余弦退火学习率调度，初始学习率 \(1 \times 10^{-4}\)，批次大小 32，训练 15,000 步。 3. 物理感知视频生成器：在 CollidePhys 与 CompoPhys 混合数据上，以 \(5 \times 10^{-6}\) 学习率微调空间扭曲与门控混合权重。 4. 单样本自适应微调：采用 AdamW 优化器，学习率 \(5 \times 10^{-3}\)，正则化系数 \(\lambda\) 约束权重偏移，微调 100 轮（84 帧时间步 \(\mathrm{d}t=0.01\,\text{s}\)）。

实验关键数据¶

主实验¶

物理一致性评估遵循 NewtonGen 标准协议，计算 9 种典型运动场景（7 类复合运动、2 类完全弹性碰撞）下的物理不变量得分（Physical Invariance Score, PIS \(\uparrow\)），取值范围归一化至 \([0, 1]\)。基线涵盖通用主流大模型（Sora、Veo3、CogVideoX-5B、Wan2.2、Wan-Move）及物理约束专用模型（PhysT2V、重训版 NewtonGen*）。

运动类型与受测物理不变量	参考真值 (GT)	Sora	Veo3	CogVideoX-5B	Wan2.2	PhysT2V	NewtonGen*	CompAdapt (本文)
抛体运动 + 同步旋转 (\(v_x\))	0.9988	0.6548	0.7621	0.5392	0.6395	0.3474	0.8914	0.9803
抛体运动 + 同步旋转 (\(a_y\))	0.9487	0.5723	0.6187	0.4230	0.5571	0.3567	0.7802	0.8189
抛体运动 + 同步旋转 (\(\omega\))	0.9829	0.4267	0.5285	0.3380	0.3425	0.4119	0.8905	0.9289
匀加速直线 + 同步缩放 (\(a_x\))	0.8489	0.3437	0.5033	0.4010	0.3077	0.5012	0.6012	0.6568
圆周运动 → 碰撞后直线 (\(\omega\))	0.9933	0.6391	0.7726	0.5392	0.4677	0.6012	0.8807	0.9788
圆周运动 → 碰撞后直线 (\(v\))	0.9972	0.5349	0.6395	0.4774	0.5285	0.4310	0.9784	0.9830
双物体对心正碰 (\(v_{x1}\))	0.9891	0.4812	0.4675	0.4563	0.4704	0.5217	—	0.9315
双物体对心正碰 (\(v_{y1}\))	0.9876	0.4784	0.4591	0.4485	0.4672	0.5182	—	0.9287
双物体斜向完全弹性碰撞 (\(v_{x1}\))	0.9857	0.4773	0.4602	0.4531	0.4665	0.5154	—	0.9182
双物体斜向完全弹性碰撞 (\(v_{y1}\))	0.9842	0.4715	0.4564	0.4493	0.4627	0.5108	—	0.9157

注：NewtonGen 无法原生支持碰撞多物体动力学，因此碰撞场景指标缺省（—）。*

消融实验¶

表 2 与表 3 展示了在 CompoPhys 基准上复合运动模块消融及不同视频渲染扩散器架构的画质与轨迹误差对比：

模块配置变体	平均 PIS ↑	FID ↓	FVD ↓	PSNR ↑	SSIM ↑	变体设计说明
w/o MTC (无并发复合)	0.615	18.7	102.3	15.1	0.55	将所有动作分量粗暴串行执行，物理状态叠加失效
w/o Temporal (无时序链接)	0.589	19.2	105.7	14.8	0.54	将所有动作强制在初始步并行触发，丢失阶段演化
w/o Dual LLM (单LLM基线)	0.724	16.8	96.2	16.3	0.58	单一模型联合完成时序切分与参数预测，解析误差大
Go-with-the-Flow 视频生成器	0.812	17.5	96.7	14.9	0.56	采用实时噪声扭曲机制，复杂大转角下易伪影失真
Wan-Move (原始未调优版)	0.840	16.3	93.5	16.5	0.58	仅采用硬复制，忽略尺度缩放与平面旋转补偿
CompAdapt 完整模型	0.862	15.0	91.4	17.2	0.61	全套复合建模 + 空间扭曲与自适应门控混合

此外，在 OODPhys 34 种未知物理环境下的单样本自适应测试中，近域参数漂移平均 Var-PIS 达到 0.888（标准差仅 0.013）；中域局部结构漂移达 0.854；真实世界视频验证中，NASA 月球自由落体、冰壶低阻滑移与实验室阻尼摆的 Var-PIS 分别高达 0.938、0.921 与 0.907。

关键发现¶

复合动力学解耦是物理真实性的核心支柱：消融结果显示，去掉 MTC 并发叠加机制会导致 PIS 暴跌 0.247，证明简单串行或原生模型无法处理多自由度耦合动作。
解耦双 LLM 解析极大压低语义瓶颈：在 Text2Phys 2000 个复杂测试样本中，双分支 LLM 动作时序解析准确率达 99.1%，相比单微调模型提升 20.7 个百分点；数值参数预测准确率达 99.3%。
动力学先验匹配突破语意匹配假象：在分布外测试中，MSE 驱动的先验选择显示，月球弱重力物理最适配的底层先验为 3D 运动模块而非语义相近的常规抛体，证明动力学流形亲和力才是决定单样本微调收敛的关键。

亮点与洞察¶

将物理法则的解构与渲染完全解耦：将连续常微分方程（ODE）与瞬态离散冲量碰撞结合，通过自由场特解相消的数学机制，严格从理论上证明了叠加过程零附加误差和物理守恒律保持。
以几何参数引导潜空间补丁变换的视频生成：巧妙规避了传统硬性潜向量拷贝引起的视觉拉伸模糊，通过将 2D 旋转与尺度矩阵映射到局部 patch，结合通道级门控自适应混合，兼得物理控制轨迹与微观纹理动态。
极低成本的未知物理规律单样本极速迁移：利用已有先验模块库的动力学匹配，仅需单条观测视频和 100 步正则化更新，无需从头重训即可驾驭月球重力、非均匀引力场与极端摩擦环境。

局限与展望¶

受限于平面二维物理动力学假定：当前动力学状态表征 \(\mathbf{Z}\) 仅建模了 2D 质心、平面旋转与外接矩形变形，无法直接表达 3D 空间中六自由度的非刚性形变、三维接触力学与复杂多关节机械链铰接。
极度结构化外推环境的承载上限：面对远域非线性耦合系统（如四自由度混沌双摆与强刚度非线性弹簧），当前 10 维 ODE 容量受限，自适应后的 PIS 指标回落至 0.51 左右，未来需将状态向量扩展至高维图神经网络或哈密顿系统。
高频碰撞响应的采样截断：当多个微小物体发生高频级联碰撞时，ODE 积分步长与视频帧率的离散时间粒度可能引入穿模误判，需要结合可微分事件驱动仿真器（Event-based Simulator）进一步提升时序保真度。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (创新性地提出复合运动叠加理论、碰撞动力学映射与先验匹配单样本物理环境迁移架构)
实验充分度: ⭐⭐⭐⭐⭐ (构建涵盖 34 个 OOD 场景与真实物理视频的详尽评测基准，主实验、消融与理论证明完备)
写作质量: ⭐⭐⭐⭐⭐ (数学推导严密、架构图表条理清晰、实验数据对比翔实)
价值: ⭐⭐⭐⭐⭐ (为物理世界模拟器与可控文生视频迈向复杂真实力学环境提供了极具说服力的解题范式)