Physics-Informed Video Generation via Mixture-of-Experts Latent Alignment¶

会议: NeurIPS 2026
arXiv: 2606.04737
OpenReview: https://openreview.net/forum?id=7LkTMagsSg
代码: https://github.com/cve-group/PILA
领域: 视频生成
关键词: 视频生成, 物理对齐, 流匹配, 混合专家, 潜空间场代理

一句话总结¶

针对主流大规模视频生成模型缺乏物理规律表征而导致动态失真与违背常识的问题，PILA 提出在冻结的流匹配骨干潜空间中构建物理属性槽位与类别残差 MoE 适配器，通过锚定场估计与流场残差校正实现免显式物理模拟的高保真物理对齐视频生成。

研究背景与动机¶

近年来，基于大规模扩散与流匹配架构的文生视频模型在视觉真实感、外观细节和语义对齐层面取得了巨大飞跃。然而，单纯依赖海量视频数据在像素/潜变量层面的统计拟合，难以使网络自发掌握支配现实世界运动和交互的物理规律。在实际生成中，现有模型频繁暴露出动量传递违反守恒律的异常碰撞、违背重力的悬浮轨迹、时序不连贯的非弹性形变，以及因果倒错的流体与环境交互。这类物理不合理性极大地限制了视频生成模型在具身智能训练、物理过程模拟与可交互仿真等严苛场景中的下游落地。

引入显式物理仿真器（如 MPM、PBD）是保障物理真实性的直观手段，但这类方法必须依赖精准的物体级 3D 几何与严苛的初始物理状态输入，在开放域开放语义提示下极易失效，且难以与高表现力的图像生成管线实现自然的前背景融合。另一方面，现有的纯数据驱动物理增强方案要么依赖外部大语言模型规划或偏好对齐奖励，要么采用粗粒度的全局物理先验。这些方法仅将物理线索视作条件提示或损失惩罚，未能为生成模型提供一个可操作的“物理接口”，因而无法在潜变量动力学内部系统地构造物理场代理并将其显式反传给速度向量场。

要破除这一瓶颈，关键在于将物理感知生成视作一种在冻结流匹配动力学内部的潜空间代理对齐任务，既不苛求还原精准的仿真状态，也不引入繁重的全网微调。核心 idea：在冻结的流匹配骨干中构建由可观测运动锚定的多槽位物理属性库，利用标签先验路由的物理类别混合专家（MoE）施加微分残差约束，并将精炼后的物理表征解码为轻量流场残差叠加回骨干向量场。

方法详解¶

整体框架¶

PILA 包含三阶段的核心信息流：首先，共享物理编码器提取冻结流匹配骨干单步去噪潜变量的物理特征，利用锚定场估计（AFE）构建由固定场代理槽位构成的操作型物理属性库，并通过标签先验掩码专家路由（LPMER）选出与文本匹配的物理类别算子；其次，被激活的专家算子基于配方掩码对共享属性库实施残差更新，并由类别特定残差约束（CSRC）引入偏微分方程形式的操作残差正则化；最后，精炼后的物理属性库连同条件向量及基座流场输入轻量属性-流解码器，合成潜向量场修正量以修正生成轨迹。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["冻结流匹配骨干潜状态<br/>z_t 与基座速度 v_θ0"] --> B["1. 锚定场估计与物理属性库<br/>可观测运动锚定 + 32通道槽位"]
    T["文本提示词 prompt"] --> R["2. 标签先验掩码专家路由<br/>LLM物理标签 + Top-k稀疏路由"]
    B --> M["3. 类别物理算子残差建模<br/>配方掩码更新 + CSRC方程正则"]
    R --> M
    M --> C["4. 属性到潜向量场校正解码<br/>轻量解码器 D_ψ 输出 Δv_ψ"]
    A --> D["物理对齐速度场叠加<br/>v_total = v_θ0 + Δv_ψ"]
    C --> D
    D --> O["物理合理视频生成"]

关键设计¶

1. 锚定场估计与物理属性库：以可观测运动锚定隐式物理特征 视频表征在像素与潜变量层面上对不同物理量的可观测度高度不对称：位移与速度等运动信息高度可显式追踪，而压力、密度、应力及温度等内部状态则缺乏直观直接映射。AFE 确立了“运动优先（observable-first）”的构建范式：首先从流匹配潜变量单步估计 $\mathbf{\hat{x}}_0 = z_t - \sigma v_{\theta_0}(z_t, t)$ 中经由物理编码器提取特征 $\mathbf{f}_{\mathrm{phys}}$，并由轻量预测头输出 2 通道速度场代理 $\hat{u} = (\hat{u}_x, \hat{u}_y)$ 作为基础运动学锚（kinematic anchor）。随后，通过空间有限差分构建散度 $\nabla \cdot \hat{u}$、旋度 $\nabla \times \hat{u}$ 与应变率张量 $\hat{\varepsilon}$，作为下游派生场的引导上下文： $$(\tilde{p}, \tilde{\rho}) = C_{p\rho}\big([\mathbf{f}_{\mathrm{phys}}, \hat{u}, \|\hat{u}\|, \nabla \cdot \hat{u}, \nabla \times \hat{u}]\big)$$ 位移场 $\hat{d}$ 则通过以中点帧为锚的时序中点积分递推生成，应力场 $\hat{\sigma}$ 依据线弹性本构简化关系从压力与应变率中合成闭环代理。整个属性库包含位移、速度、压力、密度、温度、相变/支撑、应变、应力、冲量及波动等 10 类物理量，固定打包为 32 通道的统一张量 $\mathbf{a} \in \mathbb{R}^{32 \times T \times H \times W}$，弱可观测变量采用分阶段逐步激活策略，杜绝了无约束伪特征的自由漂移。

2. 标签先验掩码专家路由：结合语义先验与内容自适应的稀疏激活 真实物理场景涵盖多类物质形态（如刚体、弹性体、流体、可压缩流体）与动态现象（如碰撞、相变、热传导、光学）。若采用单一参数网络处理，极易在相冲突的动力学假设间发生模式坍塌；而纯无约束的数据驱动路由在去噪初期高噪声条件下容易误判物理机制。LPMER 首先利用离线/推理期的大模型对提示词进行物理归一化改写，并解析出多标签激活集合 $\mathcal{Y} \subseteq \mathcal{P}$，映射为常数偏置向量 $\mathbf{b}_{\mathrm{label}}$。路由网络将文本条件编码向量 $\mathbf{c}$ 的预测打分与标签先验线性融合： $$\boldsymbol{\ell} = R_\psi(\mathbf{c}) + \mathbf{b}_{\mathrm{label}}, \quad \mathcal{K} = \mathrm{TopK}(\boldsymbol{\ell}), \quad w_k = \frac{\exp(\ell_k / \tau)}{\sum_{m \in \mathcal{K}} \exp(\ell_m / \tau)}$$ 默认配置取 $k=4$，既能保持 MoE 分支的计算稀疏性，又能从容覆盖现实中复杂耦合的物理现象（例如“水沸腾”同时激活相变、流体与热传导；“弹跳”同时激活刚体与碰撞）。

3. 类别物理算子残差建模：基于偏微分方程与物理关系的代理正则 每个被路由选中的专家 $O_k$ 接收当前属性库 $\mathbf{a}$ 和条件 $\mathbf{c}$，使用专属于该类别关注属性槽位的配方掩码 $\mathbf{M}_k$ 进行残差预测 $\Delta \mathbf{a}_k = \mathbf{M}_k \odot O_k([\mathbf{c}, \mathbf{a}])$。通过对应的读取头提取类别专属表征 $\boldsymbol{\phi}_k = P_k(\mathbf{a} + \Delta \mathbf{a}_k)$ 后，CSRC 引入基于物理控制方程抽象出的四大家族操作残差： - PDE 风格物理锚点：在流体与可压缩流体中施加质量守恒 $\partial_t \rho_k + \nabla \cdot (\rho_k u_k)$ 与 Navier-Stokes 动量平衡；在弹性体中施加波动方程 $\partial_t^2 d_k - c_d^2 \Delta d_k$。 - 运动学一致性项：在刚体与碰撞类别中强制位移与速度的微分对应 $\partial_t d_k - u_k$。 - 闭环本构代理：在线弹性形变与压力变化中约束应力-应变 $\sigma_k - \gamma_\sigma \varepsilon_k$ 与状态方程 $p_k - \gamma_p \rho_k$。 - 稳定性先验：使用对称速度梯度 $\mathrm{sym} \nabla u_k$ 抑制刚体非刚性变形，引入 $\nabla \rho_k + \mathrm{ReLU}(\rho_0 - \rho_k)$ 保证流体密度平滑与正定性。

4. 属性到潜向量场校正解码：流匹配动力学非侵入式残差注入 为了在赋予物理引导的同时完全保留预训练大模型强大的通用生成画质与外观先验，PILA 冻结流匹配骨干模型参数 $\theta_0$。轻量属性-流解码器 $D_\psi$ 将汇聚后的精炼物理属性库 $\tilde{\mathbf{a}} = \mathbf{a} + \sum_{k \in \mathcal{K}} w_k \Delta \mathbf{a}_k$ 与广播的条件向量 $\mathbf{c}$ 及骨干原始预测 $v_{\theta_0}(z_t, t)$ 拼接，映射出与骨干输出尺寸完全一致的向量场校正项： $$\Delta v_\psi = D_\psi([\mathbf{c}, \tilde{\mathbf{a}}, v_{\theta_0}(z_t, t)])$$ 最终去噪向量场为二者的残差相加：$v_{\theta_0, \psi}(z_t, t) = v_{\theta_0}(z_t, t) + \Delta v_\psi$。该机制不尝试将物理代理粗暴解码到像素空间，而是直接以微调流场演化斜率的形式作用于潜变量扩散轨迹，实现了最小侵入式的高效物理对齐。

损失函数 / 训练策略¶

PILA 采用分阶段优化流程，以保证潜空间物理代理稳定收敛并不破坏基座表征： - 阶段 A（可观测属性库预训练）：冻结骨干，针对大噪声区间 $[0.90, 1.00]$ 至逐步放宽至 $[0.50, 1.00]$，在光流和形变代理监督下训练物理编码器及运动相关槽位预测头。 - 阶段 B（编码器补全与未观测场恢复）：依照 $\texttt{core} \rightarrow \alpha \rightarrow T \rightarrow j \rightarrow \psi$ 的顺序逐步激活隐式弱可观测槽位，利用物理一致性损失稳定各属性构造头。 - 阶段 C（端到端物理-流匹配耦合）：初始化完整适配器并在全时间区间 $[0.00, 1.00]$ 联合微调，总目标函数包含流匹配损失与路由残差损失： $$\mathcal{L}_{\mathrm{total}} = \mathcal{L}_{\mathrm{FM}} + \lambda_{\mathrm{phys}} \mathcal{L}_{\mathrm{phys}}, \quad \mathcal{L}_{\mathrm{phys}} = \mathbb{E}_b \left[ \frac{1}{Z_b} \sum_{k \in \mathcal{K}_b \cap \mathcal{Y}_b} w_{b,k} \sum_i s_{k,i} \|\mathcal{C}_{k,i}(\boldsymbol{\phi}_{b,k})\|^2 \right]$$ 其中物理损失权重设为 $\lambda_{\mathrm{phys}} = 0.30$。所有残差算子均在 VAE 潜变量分辨率下利用固定有限差分核计算，兼顾高效性与数值稳定性。训练好的 Wan 2.1-1.3B 适配器可直接作为插件 zero-shot 迁移至 Wan 2.2-14B，无需在超大模型上重新训练。

实验关键数据¶

主实验¶

在物理常识基准 VideoPhy-2 与综合能力评测基准 VBench-2.0、VBench 上进行定量对比，结果表明 PILA 在物理真实感与运动合理性上均取得显著增益，同时保持了顶尖的成像质量。

数据集 / 评测套件	指标	Wan 2.1-1.3B 基线	本文 (Ours-1.3B)	Wan 2.2-14B 基线	本文迁移 (Ours-14B†)	WISA-14B
VideoPhy-2	Joint Score ↑	0.643	0.740 (+15.1%)	0.690	0.743 (+7.7%)	0.681
VideoPhy-2	Physical Rules ↑	0.852	0.965 (+13.3%)	0.926	0.953 (+2.9%)	0.897
VBench-2.0	Dynamic Spatial ↑	0.729	0.933 (+28.0%)	0.823	0.953 (+15.8%)	0.794
VBench-2.0	Mechanics ↑	0.518	0.542 (+4.6%)	0.563	0.608 (+8.0%)	0.519
VBench-2.0	Material ↑	0.755	0.873 (+15.6%)	0.842	0.907 (+7.7%)	0.820
VBench-2.0	Motion Rationality ↑	0.436	0.576 (+32.1%)	0.552	0.651 (+17.9%)	0.517
VBench	Imaging Quality ↑	0.589	0.600 (+1.9%)	0.653	0.658 (+0.8%)	0.626

注：† 表示直接复用 Wan 2.1-1.3B 训练所得适配器，无 14B 参数微调。

消融实验¶

基于 Wan 2.1-1.3B 在 PhyGenBench 及 VBench 评测上的消融分析，各变体保持相同骨干与训练预算：

配置	Mechanics ↑	Optics ↑	Thermal ↑	Material ↑	Average ↑	Motion ↑	说明
Full Model (Ours-1.3B)	0.575	0.713	0.578	0.558	0.615	0.356	完整模型
+ Plain Adapter	0.471	0.653	0.502	0.521	0.546	0.315	同参数量普通残差适配器 (-11.2%)
w/o Flow correction	0.455	0.563	0.541	0.463	0.507	0.300	移除流场校正解码 (-17.6%)
w/o AFE	0.536	0.693	0.486	0.395	0.540	0.325	移除锚定场估计 (-12.2%)
w/o MoE operator	0.550	0.637	0.572	0.536	0.578	0.334	替换为密集单算子 (-6.0%)
w/o Residual Constraints	0.548	0.685	0.531	0.523	0.582	0.344	移除 CSRC 物理方程损失 (-5.4%)
w/o Prompt Refine	0.562	0.668	0.555	0.549	0.591	0.352	移除提示词物理细化改写 (-3.9%)
w/o Expert Routing	0.570	0.681	0.571	0.538	0.597	0.347	随机或均等路由专家 (-2.9%)
Baseline (Wan 2.1-1.3B)	0.483	0.640	0.322	0.342	0.467	0.250	原始冻结骨干

关键发现¶

向量场残差注入是核心效能载体：去掉流场校正解码（w/o Flow correction）导致平均物理分数从 0.615 暴跌至 0.507，说明物理属性库只有显式调制流匹配的演化导数，才能切实纠偏潜变量采样轨迹。
可观测运动锚定保障隐式物理量收敛：移除 AFE（w/o AFE）后，Material 维度降幅最大（从 0.558 降至 0.395），证实缺少可观测速度锚作为上下文时，压力、应变与应力等弱可观测代理难以自发形成稳定的结构化物理表征。
MoE 解耦有效缓解多类别动力学冲突：MoE 架构（相比密集算子 w/o MoE operator）使平均分提高近 0.04，且激活专家数量 $k=4$ 在质量与显存时延之间达到最佳平衡点；继续增至 $k=8$ 仅带来 0.008 的微弱提升却增加 2.81 秒时延。

亮点与洞察¶

流匹配潜空间的物理代理对齐接口：避开了传统视频-物理仿真器严苛的 3D 网格重建与初始条件配准瓶颈，创新性地在流匹配潜空间中定义了一套结构化、弱监督的 32 通道连续物理场代理，巧妙桥接了纯统计生成与确定性物理规律。
可观测优先的自举式场估计（AFE）：先从视频容易感知的运动中提炼速度锚与微分算子，再利用经典物理方程的本构关系自举推导应力、压力、相变等隐式状态，设计极具物理直觉且对噪声具备高鲁棒性。
高度轻量的跨尺度即插即用泛化：整个框架以冻结骨干的轻量适配器形式训练，仅在 1.3B 模型上消耗单机 8 卡 A100 训练 40 小时，所得物理校正先验即可直接零样本迁移至 14B 参数模型并取得全方位显著提升，具备极高的工业复用价值。

局限与展望¶

作者承认的局限：目前的物理代理主要由有限差分算子驱动，属于定性与弱定量的半经验归纳，并未求解带严格边界条件与材质测量常数的完整正向方程，对高速碰撞反弹、多相湍流等极限工况仍可能出现逼真度偏差。
自身观察与评估：依赖大模型对提示词进行物理标签前置解析（LPMER），对于未在提示词中显式提及但场景内自然发生的复合隐式物理反应（如摩擦起热、隐性脆性断裂）存在路由漏检的可能。
未来改进思路：可探索将测试时潜在搜索（TTC / Test-Time Compute）或轻量神经物理求解器内嵌到去噪步内，使得流匹配向量场校正能够动态响应更复杂的刚柔混合与接触边界约束。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出在流匹配潜空间通过构建运动锚定物理属性库与 MoE 偏微分方程残差修正生成轨迹，框架立意极富创新。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 VideoPhy-2、VBench-2.0、PhyGenBench 等多维度权威物理榜单，包含深入的算子消融、场估计自举验证与 14B 零样本迁移测试。
写作质量: ⭐⭐⭐⭐⭐ 逻辑条理清晰严密，物理方程在潜空间的降维映射与工程设计细节阐述详尽透彻。
价值: ⭐⭐⭐⭐⭐ 为解决通用文生视频“空有精美画质、缺乏物理常识”的核心顽疾提供了极具工业可行性与可扩展性的轻量解法。