GrowFields: Compositional 4D Neural Fields for Topology-Changing Plant Growth¶

会议: ECCV 2026
论文: ECCV 原文
项目主页: https://joaquin-gajardo.github.io/growfields
领域: 3D 视觉
关键词: 4D神经场、植物生长建模、拓扑变化、组合式神经场、器官级跟踪

一句话总结¶

GrowFields 将植物点云时序解构为解耦的局部规范化器官坐标系，结合经器官隐码条件化的共享连续 4D SIREN 速度场与欧拉积分，首次在稀疏时序下实现了应对拓扑变化与非刚性生长的器官级高精度 4D 动态重建与叶尖跟踪。

研究背景与动机¶

从纵向稀疏三维观测中定量解析植物生长动态，是现代高通量表型分析、精准农业与植物生物学研究的核心基础。植物生长在时空维度上具有高度复杂的动力学特性：不同器官（如茎秆、各层位叶片）不仅经历高度非线性的各向异性非刚性膨胀与弯曲，还会随发育出现新器官萌生或老器官枯萎的频繁拓扑突变。更为棘手的是，真实农田或温室场景中的三维扫描通常在时间上高度稀疏（如每日仅采集一次点云），新生成的生物组织在历史扫描中完全缺乏时序对应点，直接破坏了传统动态三维重建中连续点流或拓扑守恒的基本假设。

现有通用 4D 重建方法（如基于时序符号距离场 TSDF、全局神经变形场或点基流模型）普遍依赖全局平滑运动与恒定拓扑的强假设，在面对植物萌芽时只能强行拉伸既有几何，极易产生伪影或退化解；最近的植物生长模型（如 GrowFlow）虽然采用反向时间变形缓解几何新生问题，但仍基于全株全局场建模，忽视了器官身份的独立性与异步生长规律。另一方面，植物表型领域的骨架提取与几何配准管线则高度依赖启发式匹配规则与多阶段工程流水线，泛化能力脆弱，且无法建立连续平滑的时间动力学轨迹。

因此，解决植物时空建模的核心切入点在于利用植物天然的结构模块化属性：将整株植物分解为独立的结构单元，分离刚体全局位姿变化与局部内生生长形变，同时利用统一的网络挖掘器官间的共享发育先验。核心 idea：将植物动态解构为局部规范化参考系下的器官集合，采用由可学习器官隐码调控的共享连续神经速度场驱动几何前向演化，在免于预测未知萌芽的前提下通过欧拉积分与逆变换重组实现兼具拓扑自适应与器官可解释性的 4D 生长建模。

方法详解¶

整体框架¶

GrowFields 以带器官实例标签的时序点云序列 $\mathcal{X} = \{\mathbf{X}^{(t)}\}_{t=0}^T$ 为输入。整体管线主要分为三个核心阶段：器官解构与主成分规范化对齐、共享隐码条件化速度场积分演化、以及多步 Chamfer 轨迹监督与全局逆重组。系统首先利用各器官实例的几何特征将其刚体变换至以器官基底为原点、主轴对齐于 $Z$ 轴的局部规范化坐标系；随后，在规范化空间内，采用单一共享的周期激活函数网络（SIREN）构建连续速度场，并以每个器官专有的自解码隐码 $z_i$ 注入个体生长特征，通过神经常微分方程（Neural ODE）的显式欧拉积分推进点集运动；最后将预测几何逆变换回世界坐标系拼装为全株 4D 轨迹。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["纵向时序分割点云<br/>X(t) 含器官语义实例标签"] --> B["器官级规范化对齐<br/>PCA 局部坐标系与刚体解耦"]
    B --> C["共享隐码条件化速度场<br/>SIREN 连续场 + 自解码隐码 zi"]
    C --> D["多步 Chamfer 轨迹监督与全局逆重组<br/>跨时间积分 + 局部到世界坐标映射"]
    D --> E["全株连续 4D 重建与表型轨迹<br/>时空插值/外推与叶尖跟踪"]

关键设计¶

1. 器官级规范化对齐：解耦全局刚体姿态与器官局部内生形变

植物生长过程中，叶片伸展和茎秆倾斜会引入巨大的全局刚体位姿偏移，若直接在全局世界坐标系下拟合变形场，网络必须同时学习大尺度的空间旋转/位移与细微的组织膨胀，导致优化极易陷入局部极小。GrowFields 基于植物生理学坐标理论，对每个时间步 $t$ 的各器官点云 $\mathbf{X}_i^{(t)}$ 独立执行主成分分析（PCA）规范化：将器官基底部平移至原点，将叶片伸展主方向旋转对齐到全局 $Z$ 轴，从而获取每帧的局部刚体变换对 $\{\mathbf{R}_i^{(t)}, \mathbf{t}_i^{(t)}\}$。这一设计将外在姿态变动与内在形态膨胀彻底解耦，使后续神经网络能够专注于学习纯粹的无姿态干扰内生生长模式。对于未观测的连续插值时刻，则通过球面四元数线性插值（SLERP）平滑旋转、线性插值平移向量完成时间维度的刚体姿态重构。

2. 共享隐码条件化速度场：在统一动力学先验下刻画异步器官个性

不同器官具有差异化的萌发时间、扩张速率与终态形态，直接训练独立网络参数量庞大且丧失了同种植物的发育规律，而单一大一统网络又无法表达异步发育。GrowFields 采用自解码（auto-decoder）范式，构建一个参数全局共享的正弦周期激活网络（SIREN）$f_\theta$。对于第 $i$ 个器官，分配一个可学习的低维特征向量 $\mathbf{z}_i \in \mathbb{R}^d$（初始化自零均值高斯分布 $\mathcal{N}(\mathbf{0}, \sigma_z^2\mathbf{I})$），将规范化三维坐标 $\mathbf{x}$、器官归一化时间 $t \in [0, 1]$ 与隐码 $\mathbf{z}_i$ 拼接为输入 $[\mathbf{x}; t; \mathbf{z}_i] \in \mathbb{R}^{4+d}$，直接预测局部瞬时速度： $$ \frac{d\mathbf{x}}{dt} = f_\theta(\mathbf{x}(t), t, \mathbf{z}_i) $$ 通过在时间维度累积离散欧拉步长 $\Delta t$，实现器官形态的跨时间积分外推 $\hat{\mathbf{X}}_i^{(t+\Delta t)} = \hat{\mathbf{X}}_i^{(t)} + f_\theta(\hat{\mathbf{X}}_i^{(t)}, t, \mathbf{z}_i)\Delta t$。共享网络 $f_\theta$ 有效凝练了物种级别的普适组织流动与形态扩展先验，而隐向量 $\mathbf{z}_i$ 则精简刻画了各器官特异的发育速率与几何标识。

3. 多步 Chamfer 轨迹监督与全局逆重组：无配对条件下的长程几何保真

由于细胞分裂与新组织扩展，前后两帧点云之间不存在点对点（point-to-point）的显式对应关系，传统的流场或对应损失完全失效。GrowFields 采用双向 Chamfer 距离（CD）进行弱监督。在训练时，每次随机采样器官子集 $\mathcal{B}$ 与时间对 $(s, k)$ ($k > s$)，从初始帧 $\mathbf{X}_i^{(s)}$ 采样点集并前向积分多步至时刻 $k$，并与真实点云计算对称 Chamfer 距离 $\mathcal{L}_{\mathrm{CD}}^{(i)}(\hat{\mathbf{X}}_i^{(k)}, \mathbf{X}_i^{(k)})$。多步（multi-step）穿透训练迫使网络捕获长程时间连贯性，防止单步累积误差发散。最终重建时，对新生器官在其首次出现的观测时间 $t_{\text{first}}$ 引入初始点集，将其规范化后纳入动力学积分方程，再利用逆刚体变换映射回全局空间： $$ \hat{\mathbf{X}}_{i,\text{global}}^{(t)} = \hat{\mathbf{X}}_i^{(t)} \mathbf{R}_i^{(t)\top} + \mathbf{t}_i^{(t)} $$ 全株点云由所有存活器官的全局预测并集构成 $\hat{\mathbf{X}}_{\text{global}}^{(t)} = \bigcup_i \hat{\mathbf{X}}_{i,\text{global}}^{(t)}$，巧妙回避了直接预测新生器官拓扑几何的病态生成难题。

损失函数 / 训练策略¶

GrowFields 联合优化共享网络参数 $\theta$ 与所有器官的潜码集合 $\{\mathbf{z}_i\}_{i=1}^N$。总训练损失由批次采样的器官多步双向 Chamfer 距离与防止隐空间发散的 $L_2$ 正则项共同构成： $$ \mathcal{L}{\text{total}} = \frac{1}{|\mathcal{B}|} \sum}} \mathcal{L{\mathrm{CD}}^{(i)} + \lambda}} \mathcal{L{\text{code}}, \quad \mathcal{L}}} = \frac{1}{N} \sum_{i=1}^N |\mathbf{zi|_2^2 $$ 其中双向 Chamfer 距离定义为： $$ \mathcal{L}|}}(\hat{\mathbf{X}}, \mathbf{X}) = \frac{1}{|\hat{\mathbf{X}}|} \sum_{\mathbf{x} \in \hat{\mathbf{X}}} \min_{\mathbf{y} \in \mathbf{X}} |\mathbf{x} - \mathbf{y2^2 + \frac{1}{|\mathbf{X}|} \sum|_2^2 $$ 训练中每个器官点云按 50% 训练集与 50% 测试集随机划分，且手动标注的 234 个叶尖点始终严格保留在测试集内；推理时从器官初始观测帧 } \in \mathbf{X}} \min_{\mathbf{x} \in \hat{\mathbf{X}}} |\mathbf{x} - \mathbf{y$t_0$ 展开多步端到端积分轨迹。

实验关键数据¶

主实验¶

评估在 TrackPlant3D 数据集涵盖的 4 个物种（玉米 Maize、高粱 Sorghum、烟草 Tobacco、番茄 Tomato）的 8 个具有代表性的生长序列上开展，采用几何拟合误差 Chamfer Distance ($\text{CD}, \text{mm}^2$) 与叶尖关键点跟踪端点误差 End-Point Error ($\text{EPE}, \text{mm}$) 作为量化指标。全株重建对比涵盖全株无分割基线（NDF、NVFi、DSR、CanFields、DPF）与基于分割的组合式方法（COAP、Ours 分器官独立 MLP、Ours 完整模型）。

方法分类	方法	MaC2 (CD/EPE)	MaC3 (CD/EPE)	SoC2 (CD/EPE)	SoH2 (CD/EPE)	TbC1 (CD/EPE)	TbS3 (CD/EPE)	Tm1H3 (CD/EPE)	Tm1S1 (CD/EPE)	平均 Mean (CD/EPE)
全株基线	NDF [65]	14496.5 / 73.6	1227.9 / 95.8	1313.4 / 54.9	303.0 / 54.3	290.2 / 14.0	135.6 / 17.9	14.1 / 10.4	52.7 / 22.0	2229.2 / 42.9
全株基线	NVFi [32]	2178.9 / 72.2	1495.3 / 97.4	873.0 / 56.3	161.8 / 56.0	103.0 / 15.1	86.0 / 18.2	32.6 / 9.4	137.3 / 21.9	633.5 / 43.3
全株基线	DSR [64]	481.3 / —	194.9 / —	186.4 / —	61.1 / —	29.9 / —	25.0 / —	13.1 / —	84.0 / —	134.5 / —
全株基线	CanFields [67]	2025.7 / 77.6	1774.8 / 98.9	611.4 / 56.4	267.6 / 59.5	102.1 / 16.6	67.3 / 21.1	23.0 / 10.4	53.5 / 14.4	615.7 / 44.4
全株基线	DPF [52]	8.17 / 23.18	5.00 / 5.30	1.21 / 5.78	0.92 / 57.22	0.36 / 7.58	0.46 / 16.21	0.17 / 1.93	3.47 / 3.97	2.47 / 15.15
器官感知	COAP [42]	4.84 / 7.57	2.48 / 3.87	1.31 / 7.76	1.02 / 5.61	1.03 / 3.22	0.65 / 2.55	0.38 / 1.40	1.82 / 1.88	1.69 / 4.23
器官感知	本文 (独立MLP)	2.41 / 3.68	1.52 / 2.07	0.87 / 1.47	1.01 / 3.44	0.70 / 3.28	0.48 / 2.67	0.13 / 0.74	0.33 / 1.59	0.93 / 2.37
器官感知	本文 (完整模型)	2.51 / 2.38	1.43 / 2.01	0.69 / 1.34	0.74 / 0.97	0.59 / 1.66	0.45 / 1.30	0.12 / 0.80	0.32 / 1.34	0.86 / 1.47

消融实验¶

消融实验深入验证了局部规范化坐标系、器官隐码注入机制、多步 Chamfer 损失与隐码正则化对全株性能的具体贡献，同时评估了采用全自动器官分割（PSegNet + TrackPlant3D）输入时的系统鲁棒性。

实验配置	CD ($\text{mm}^2$) ↓	EPE (mm) ↓	相对完整模型性能变化与机制分析
完整模型 (Ours full)	0.86	1.47	完整模型：规范化坐标 + 共享 SIREN + 拼接隐码 $z_i$ + 多步 CD 损失
去除规范化对齐 (w/o canonicalisation)	0.96	4.23	叶尖跟踪误差显著激增（+188%），证实局部刚体姿态解耦对稳定追踪的决定性作用
去除器官隐码 (w/o latent code)	1.05	3.44	几何重建与跟踪双重恶化（CD +22%，EPE +134%），证明统一场无法拟合器官异质发育
去除多步 CD 损失 (w/o multi-step CD loss)	0.91	1.89	累积时间漂移增大，多步积分监督能有效约束长程动力学平滑一致性
去除隐码正则项 (w/o $\mathcal{L}_{\text{code}}$)	0.88	1.74	隐空间无界扩散略微降低泛化稳定性
替换为 FiLM 特征调制 [51]	0.96	2.47	直接输入拼接比特征层仿射调制具备更强归纳偏置，显著优于 FiLM
自动模型分割输入 (w/ model segmentation)*	0.86	1.42	采用自动预测的噪声标签依然取得接近 GT 的表现，验证了实际表型落地可行性

关键发现¶

局部规范化与隐码机制相辅相成：去除规范化导致 EPE 从 1.47 mm 飙升至 4.23 mm，去除隐码则使 CD 恶化至 1.05。实验表明，解耦姿态是保障跟踪精度的前提，而器官特异性隐码是刻画各器官异步膨胀速率的核心。
共享场超越独立器官拟合：对比为每个器官独立训练专属 MLP 的变体（Mean CD 0.93 / EPE 2.37），采用隐码条件化的共享网络（0.86 / 1.47）展现了更强的抗过拟合能力，证明器官之间确实存在可迁移的形态演化几何先验。
长程外推表现稳健：在留出最后 3 帧的长程外推实验（Table 4）中，GrowFields 在全部序列上大幅击败 COAP（平均 CD 149.63 vs 451.09，EPE 18.99 vs 31.39 mm），展现了动力学 ODE 建模优异的时序外推趋势。

亮点与洞察¶

姿态与形变的分层解耦范式：将植物非刚性生长巧妙解构为“PCA 刚体姿态序列 + 规范化空间连续神经速度场”，极大地简化了网络优化曲面，使原本极为棘手的拓扑突变转化为清晰的局部演化。
自解码隐码充当器官“基因指纹”：无需设计复杂的器官编码器，仅通过在共享 SIREN 速度场中拼接可学习潜码 $\mathbf{z}_i$，即可实现异步异质器官的联合建模，以极小参数开销平衡了共性规律与个体特性。
切实落地的植物表型评测基准：构建了首个包含 234 个高精度人工标注叶尖轨迹的真实多物种 4D 动态评测协议，克服了传统方法仅评估整体倒角距离而掩盖局部跟踪严重漂移的缺陷。

局限与展望¶

恒定点云拓扑导致的快速生长稀疏化：当前方法通过沿速度场前向平移首帧点云，在器官急剧扩张时，单位表面积的点密度会变稀疏；未来需引入类似 3D/4D Gaussian Splatting 的自适应分裂增密机制。
无法前瞻性预测新生器官萌发：模型依赖新器官在观测点云中的首次出现，无法在未观测到器官前基于生物学生长机理（如 L-system 或形态发生生成先验）主动推测芽的萌发时间与初始形态。
超短时序下的动力学欠定问题：对于总观测次数较少（$\le 5$ 帧）的极短序列，由于缺乏足够的时间采样约束，长程外推容易受到初始速度估计偏差的累积影响。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用器官规范化与共享隐码连续场解决植物拓扑突变与异步生长建模难题。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 物种 8 大序列、叶尖跟踪标注、全株/分器官拟合、插值/外推与全自动分割鲁棒性评测。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，数学建模清晰，动静解耦思路自然直观。
价值: ⭐⭐⭐⭐⭐ 为植物 4D 动态数字孪生与高通量表型分析奠定了坚实的神经场动力学基础。