Geometry-Centered 3D Latent World Models for Growing Surfaces¶

会议: NeurIPS 2026
arXiv: 2506.03173
论文: arXiv
领域: 3D 重建
关键词: 几何隐式世界模型, 增生表面生长, 生长自适应状态分配, 结构化动力学, 虚实解耦物理引导

一句话总结¶

针对薄壳与植物等支撑拓扑随时间增生膨胀的物理系统，提出了以几何为中心的隐式世界模型 FOLIAGE，在固定状态预算下通过生长自适应机制将容量动态集中于未来高活性生长前沿，并结合特权物理引导与材质动作解耦实现高精度反事实未来几何推演。

研究背景与动机¶

许多动态物理系统的形变本质不仅是刚体位移或有限弹性形变，而是伴随着材料持续沉积与几何拓扑扩张的“生长”（accretive growth），如植物叶片卷曲展叶、活体组织折叠以及 4D 打印可编程材料吸水形变。在这类系统中，底层物理支撑随时间膨胀，新材料的生成引入了此前并不存在的几何自由度，且局部的材料力学响应往往自下而上地决定了宏观的全局三维形态演化。然而，现有的视频世界模型或潜在动力学模型大多以固定像素阵列或静态支撑结构为假设，缺乏对不断扩展的物理载体、隐藏材料应力以及动态新增顶点的几何建模机制。

现有物理仿真与三维动力学模型在此类问题上面临双重困境：传统微分物理模拟器（如 DiffCloth、DiffPD）高度依赖于完全已知的物理网格离散化、材料常数与初始应力状态，但在现实物理感知中，物体表面往往处于局部遮挡、传感器异构稀疏且未来新生材料拓扑完全未知的状态；而基于静态隐式场或固定点集的神经网络虽然能捕捉几何特征，却无法在长时间跨度下表征受外加材质控制调控的生长分叉。若简单地随着表面网格的加密无限扩大网络隐状态维度，计算开销将迅速失控，且极易在长时间外推中发生误差级联与形状坍缩。

为了在固定计算预算内对拓扑与自由度不断增加的生长表面建模，本文的核心切入点在于区分“物理几何的膨胀”与“隐式状态的表征容量”：物理表面的几何区域并不同等活跃，成熟区域主要维持宏观拓扑与刚性边界，而剧烈的形态变化与新自由度高度集中于局部的生长前沿。本文的核心 idea 是构建几何为中心的隐式世界模型 FOLIAGE，在固定隐状态预算下通过生长自适应状态分配（GSA）将容量集中于未来生长前沿与过渡边界，解耦观测感知、材质动作与训练期特权物理能量，实现无求解器依赖的反事实几何演化预测。

方法详解¶

整体框架¶

FOLIAGE 的整体架构围绕四个核心环节构建：异构多模态几何感知融合、生长自适应状态分配（GSA）、材质动作条件化结构动力学推演，以及基于可变基数读出头的三维几何生成。系统在当前时刻 $t$ 接收异构且可能不完整的多模态输入 $x_t \subseteq \{I_t, P_t, M_t\}$（RGB 图像、激光雷达点云与表面三角网格），通过稀疏对应图将其投影至统一几何 Token 空间；随后，模型预测各 Token 的局部生长活性，将固定的隐式状态预算划分为全局摘要、成熟骨架、活跃生长前沿以及界面连接 Token；接着，动力学模型在材质控制动作 $a_t \in \mathbb{R}^3$ 与时间跨度 $\Delta t$ 驱动下，对不同角色 Token 执行结构化残差演化；最终通过可变基数几何读出头预测未来表面 $M_{t+\Delta t}$ 的坐标位移与新顶点。在训练阶段，模拟器提供的薄壳应变/弯曲能量以特权信号形式指导目标编码器与活性打分，但在推理部署阶段完全脱离物理求解器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["异构输入 (RGB / 点云 / 网格)"] --> B["对应图几何特征融合<br/>DiffusionNet + GRAND++ + 跨模态注意力"]
    B --> C["生长自适应状态分配 (GSA)<br/>划分骨架、前沿、界面与全局状态"]
    C --> D["动作条件化结构动力学<br/>前沿自注意力 + 界面跨注意力 + 骨架残差"]
    D --> E["可变基数几何读出<br/>更新已有顶点 + 预测新生生长顶点"]

关键设计¶

1. 对应图几何特征融合与时间印记传递：建立统一几何物理表征 针对真实场景中传感器异构、局部遮挡与网格不完整等挑战，FOLIAGE 首先将 RGB 图像、降采样点云和表面网格锚点投影到统一隐空间 $\mathbb{R}^d$（$d=768$）。为了反映增生过程中的材料老化与成熟度，模型为每个网格顶点注入生成时间戳 $\tau(v)$，定义归一化几何年龄特征 $\alpha_t(v) = \mathrm{clip}((t-\tau(v))/\Delta_{\mathrm{age}}, 0, 1)$ 与近期性指数衰减特征 $r_t(v) = \exp(-\alpha_t(v)/\tau_{\mathrm{rec}})$。针对网格几何采用 DiffusionNet 捕获内蕴局部曲率并使用 GRAND++ 图常微分方程处理动态演化的网格拓扑连通性。接着构建异构稀疏对应图 $\mathcal{G}_t$，包含可见像素到网格的投影边、点云到最近网格顶点的度量边以及网格自身的一阶邻接边，使用类型感知稀疏注意力聚合异构信息。缺少网格锚点关联的非网格 Token 则利用保守极小值规则通过对应边继承最近几何年龄。训练时引入跨模态成对掩码（paired masking）与模态随机丢弃（dropout 0.3），切断简单的单模态记忆，确保即使输入退化为单模态也能构建一致的物理几何状态。

2. 生长自适应状态分配（GSA）：在固定预算下动态重组表征容量 由于生长表面的几何自由度随时间递增，如果网络状态容量随顶点数量线性膨胀将不可持续，而全局平均池化又会抹杀局部微小的卷曲生长。FOLIAGE 创新性地维持恒定的 Token 预算（默认 mature 骨架 $K_m=128$、active 前沿 $K_f=256$、interface 界面 $K_b=64$），并通过轻量 MLP 从几何、年龄与对应图置信度预测各 Token 的未来生长活性得分： $$g_i = \sigma\big(f_\psi([u_i, r_i, c_i, \rho_i, m_i])\big)$$ 成熟低活性区域通过加权最远点采样（FPS，权重 $w_i^{\mathrm{mat}}=(1-g_i)(1-r_i)$）粗粒化为骨架集合 $S_t^{\mathrm{mat}}$，锁定全局拓扑、长程刚度与边界条件；高活性区域按 $g_i$ 选取 Top-$K_f$ 个 Token 作为生长前沿 $S_t^{\mathrm{front}}$（强制保留至少 25% 网格锚点，避免图像伪影主导）；位于前沿与成熟区两跳网格图跳数以内的过渡区域则被选为界面集合 $S_t^{\mathrm{bdry}}$，以保持局部生长与全局骨架的平滑附着。结合全图注意力池化得到的全局摘要 $s_t^{\mathrm{global}}$，共同构成结构化紧凑状态 $S_t = \{s_t^{\mathrm{global}}, S_t^{\mathrm{mat}}, S_t^{\mathrm{front}}, S_t^{\mathrm{bdry}}\}$。

3. 结构化反事实动作动力学：角色自适应前向推演 为了实现“同一当前观测推演不同材质控制”的反事实能力，FOLIAGE 将感知状态编码与动作驱动显式解耦。材质控制动作定义为薄壳力学弹性系数 $a_t = [k_{\mathrm{stretch}}, k_{\mathrm{shear}}, k_{\mathrm{bend}}] \in \mathbb{R}^3$，在对数尺度归一化后过双层 MLP 映射为动作 Token $e_a \in \mathbb{R}^d$；时间步跨度 $\Delta t$ 通过多尺度傅里叶特征编码为时间 Token $e_\Delta$。动力学模型依结构层次依次演化：首先，高容量 Transformer 块密集更新活跃生长前沿 $\hat{S}_{t+\Delta t}^{\mathrm{front}}$，使其充分吸收动作、时间及全局环境信息；随后，界面 Token $\hat{S}_{t+\Delta t}^{\mathrm{bdry}}$ 通过交叉注意力感知前沿更新并参考周围骨架；成熟骨架则仅接收轻量残差图更新 $\hat{S}_{t+\Delta t}^{\mathrm{mat}} = S_t^{\mathrm{mat}} + \lambda_{\mathrm{mat}} M_\theta(\cdot)$（$\lambda_{\mathrm{mat}}=0.25$）。此设计使得计算资源紧跟剧烈变化的前沿，同时依托骨架避免全局漂移。

4. 训练期特权物理能量引导：非侵入式内在应力注入 生长表面的形态演化由不可见的面内拉伸应变能 $\mathcal{E}_{\mathrm{membrane}}$ 与弯曲能 $\mathcal{E}_{\mathrm{flexural}}$ 决定，但在部署测试期此类内部应力无法由常规传感器直接读取。FOLIAGE 设立双编码器架构：可部署的上下文编码器 $E_{\mathrm{ctx}}$ 仅处理可观测传感器输入；训练期专属的目标编码器 $E_{\mathrm{tar}}$（以 EMA 方式更新，衰减率 0.998）额外注入有限元模拟器导出的每顶点能量 $e_j = [e_j^{\mathrm{mem}}, e_j^{\mathrm{bend}}]$，利用有界门控 $m_{ij}^+ = (1 + \gamma \tanh(W_e e_j)) m_{ij}$ 增强高应变网格消息传递。同时，物理能量与未来位移联合监督活性打分目标 $\tilde{g}_i = \mathrm{Norm}(0.5\delta_i + 0.5\bar{e}_i)$，辅助能量头在上下文编码器上网格 Token 处预测能量以正则化隐表征，促使纯几何特征内化物理应力关联，而在推理阶段完全舍弃该特权头。

损失函数 / 训练策略¶

FOLIAGE 采用端到端多任务目标联合优化： $$\mathcal{L} = \mathcal{L}_{\mathrm{pred}} + \lambda_{\mathrm{act}}\mathcal{L}_{\mathrm{act}} + \lambda_{\mathrm{energy}}\mathcal{L}_{\mathrm{energy}} + \lambda_{\mathrm{vc}}\mathcal{L}_{\mathrm{vc}}$$ 其中预测损失 $\mathcal{L}_{\mathrm{pred}}$ 包含全局状态欧氏距离及骨架、前沿、界面的集合对称倒角距离： $$\mathcal{L}_{\mathrm{pred}} = \|\hat{s}_{t+\Delta t}^{\mathrm{global}} - s_{t+\Delta t}^{+,\mathrm{global}}\|_2^2 + \lambda_m D(\hat{S}_{t+\Delta t}^{\mathrm{mat}}, S_{t+\Delta t}^{+,\mathrm{mat}}) + \lambda_f D(\hat{S}_{t+\Delta t}^{\mathrm{front}}, S_{t+\Delta t}^{+,\mathrm{front}}) + \lambda_b D(\hat{S}_{t+\Delta t}^{\mathrm{bdry}}, S_{t+\Delta t}^{+,\mathrm{bdry}})$$ 超参数设为 $\lambda_m=0.5, \lambda_f=1.0, \lambda_b=0.75$。活性监督损失 $\mathcal{L}_{\mathrm{act}}$ 采用二值交叉熵（BCE，$\lambda_{\mathrm{act}}=0.05$）；能量回归采用 Huber 损失（$\lambda_{\mathrm{energy}}=0.02$）；$\mathcal{L}_{\mathrm{vc}}$ 为针对全局及池化 Token 的方差-协方差正则项（$\lambda_{\mathrm{vc}}=0.04$），防止隐空间坍缩。模型使用 AdamW 优化器，学习率 $1.0\times 10^{-3}$，权重衰减 $1.0\times 10^{-2}$。时间跨度 $\Delta t$ 均匀采样自 $\{1, \dots, 20\}$；训练过程中对动作 Token 施加 10% 随机丢弃，以保证模型同时具备零动作被动演化预测能力。

实验关键数据¶

主实验¶

评估基于包含 7,200 条反事实生长序列的 SURF-GARDEN 平台与基准 SURF-BENCH 进行，涵盖 6 类拓扑流形（圆盘、圆环、打孔环面、莫比乌斯环、裤形曲面、三孔圆盘）。下表汇总了拓扑分类、稠密对应、隐式材质回归、生长阶段识别与 5 步直接网格预测的关键指标。

评估任务与指标	最强对比基线	基线数值	本文方法 (FOLIAGE)	性能改善幅度
拓扑分类 Accuracy (%) ↑	ETNN / Nishikawa et al.	94.0	98.0	+4.0% 准确率提升
稠密对应测地误差 (Geodesic Err.) ↓	Cao et al. (2024a)	3.2	2.6	测地误差降低 18.8%
跨模态检索 mAP@100 (%) (有监督/零样本I→P/零样本P→I) ↑	PointCLIPv2	48 / 22 / 23	64 / 39 / 37	有监督提升 +16 mAP 点
反向材质回归 MAE ($\times 10^3$) ↓	DiffCloth (Li et al.)	53.0	32.0	参数估计误差降低 39.6%
生长阶段识别 Balanced Acc. (%) ↑	VideoMamba	71.0	82.0	平衡准确率提升 +11.0%
网格预测 (5步) Chamfer ($\times 10^3$) / 顶点漂移 ↓	Motion2VecSets	38.0 / 1721	26.0 / 915	倒角误差降低 31.6%，漂移减半

在真实植物多时相点云扫描（Pheno4D 玉米/番茄 2 天预测、Crops3D 甘蓝 2 周预测）上，FOLIAGE 在零动作被动外推下亦分别取得 19.6、24.2、31.3 的倒角误差（$\times 10^3$），显著超越均匀自回归模型（Uniform AR: 23.1、28.6、37.2）。

消融实验¶

在保持 448 个非全局状态 Token 预算及约 43M 模型参数完全对齐的严苛设置下，系统分离评估了生长自适应分配机制、结构化动力学及特权物理监督各组件的独立贡献。

配置变体	拓扑分类 Acc ↑	材质回归 MAE ($\times 10^3$) ↓	5步Chamfer C5 ($\times 10^3$) ↓	40步递归Chamfer C40 ($\times 10^3$) ↓	检索 mAP (%) ↑
FOLIAGE (完整模型)	97.7	32.0	25.7	41.2	64.2
去除 GSA (w/o GSA, 平铺池化)	95.8	35.0	28.0	52.7	63.0
随机生长前沿 (random front)	95.6	36.0	28.7	56.4	62.4
仅前沿无骨架 (front-only)	94.9	34.0	29.4	60.1	60.4
去除界面边界 (w/o interface)	96.4	33.0	26.6	48.5	63.6
去除跨模态对应 (w/o corr.)	96.1	39.0	31.8	54.2	50.2
去除年龄特征 (w/o age feat.)	95.2	40.0	34.4	57.0	62.1
去除特权物理能量 (w/o energies)	96.3	50.0	28.8	47.6	63.3
等预算对照: 均匀最远点采样 (Uniform FPS)	95.4	35.2	28.2	62.7	62.1
等预算对照: 可学习查询 (Learned queries)	95.5	36.1	27.8	59.8	61.8
等预算对照: 通用自适应剪枝 (Generic pruning)	96.0	34.8	27.1	53.6	62.9
等预算对照: GSA + 平铺动力学 (flat dyn.)	97.2	32.5	26.4	47.9	63.9

关键发现¶

长时间外推中复合误差抑制：在直接 5 步预测上，GSA 使倒角误差从 28.2 降至 25.7（相对收益约 9%）；而在 40 步长程自回归推演（C40）中，完整结构化模型达到 41.2，相比均匀采样（62.7）与无 GSA 变体（52.7）误差分别降低了 34.3% 与 21.8%，说明结构化骨架-前沿分配能有效阻断自回归过程中的局部累积形变向全局发散。
反事实分支选择与动作解耦验证：在同一观测前缀下施加不同材质控制的孪生分支测试中，FOLIAGE 的反事实分支检索准确率达 90.4%，分支分离度比值达 0.95（理想值为 1.0）；若将动作输入前置移入状态编码器，检索率骤降至 78.2%，分离度跌至 0.84，证实“当前状态纯观测编码、转移网络注入动作”的设计对于保持反事实可解释性至关重要。
GSA 的有效适用边界：生长自适应分配在局部集中形变场景下收益最高（10% 局部变化时 C40 为 41.2 vs 均匀采样 62.7）；当形变趋向全表面均匀发生（100% 全局变化）时，前沿活性召回率降至 0.512，FOLIAGE 的 C40 误差升至 103.6，与均匀基线（107.8）差距收窄。

亮点与洞察¶

空间计算预算的自适应转移：将物理网格的自由度增长与隐状态张量维度的膨胀解耦，用固定维度的状态角色划分承载无限扩展的物理实体，抓住了增生生长“变化高度局域化、成熟区维持刚性基底”的物理本质。
特权物理非侵入式蒸馏：利用 EMA 目标编码器与能量门控在训练期注入求解器级应变能量，但在部署期严格实现“求解器剥离”，既享有微观内应变指导表征的物理一致性，又保持了端到端纯传感器推理的实用性。
反事实世界模型接口范式：清晰界定了感知状态（仅编码当前时刻可见静态形态）与转移动力学（动作作为分支扰动）的边界，避免了以往动力学模型中动作与观测纠缠导致的“假性幻觉”现象。

局限与展望¶

受限于增生薄壳流形假设：当前方法主要面向具有光滑边界的 2-流形薄表面扩展，尚未考虑体三维材料增生、流体混合、或者生长过程中的撕裂破裂与拓扑自合并（如叶片粘连穿孔）。
真实环境闭环控制验证缺失：由于真实物理世界中极难获取相同初始状态在不同可控材质弹性常数下的成对反事实轨迹，反事实材质分支评估主要在仿真器中完成，真实植物实验仅限于被动零动作外推。
前沿误判风险：若活性预测模块遗漏了局部高形变区域，由于缺乏自适应修正通道，该处的形变误差会在自回归展开中迅速放大。未来可探索在线隐状态刷新与更通用的三维体素/神经场扩展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出面向增生生长表面的几何隐式世界模型与生长自适应状态分配框架。
实验充分度: ⭐⭐⭐⭐⭐ 包含 7,200 条反事实序列的合成基准、严苛的等参数消融控制、传感器鲁棒性应力测试以及真实植物扫描外推。
写作质量: ⭐⭐⭐⭐⭐ 问题形式化清晰，系统接口解耦严密，图文指代精准一致。
价值: ⭐⭐⭐⭐⭐ 为植物表型预测、生物形态发育建模、4D 智能材料逆向设计及机器人柔性物体交互提供了重要的方法学范式。