Estimating Individual Tree Height and Species from UAV Imagery¶
会议: ECCV 2026
论文: ECCV 原文
代码: https://RolnickLab.github.io/DINOvTree
领域: 遥感
关键词: 树木高度估计, 树种识别, 无人机遥感, 森林监测, 视觉基础模型
一句话总结¶
本文提出了首个基于单目无人机单木居中 RGB 图像的双任务基准 BIRCH-Trees，并设计了统一多任务网络 DINOvTree，以参数量减半的代价在树高回归与树种细粒度分类上同时达到最前沿性能。
研究背景与动机¶
森林覆盖了全球约 32% 的陆地面积，是维持陆地生物多样性与减缓气候变化的巨型碳汇。对成熟林及再造林项目进行精确的碳储量量化和生态监测，极其依赖单株树木的生物量估算，其中树种分类与胸高断面积直径（DBH）是计算生物量最为关键的两项参数。然而，依赖林业人员地面人工测量的传统盘查方式成本高昂且无法向广袤森林扩展；卫星遥感虽具备广域覆盖能力，但空间分辨率不足以解析单木尺度的形态特征；机载激光雷达（LiDAR）虽可精准测量作为 DBH 优良代理变量的树高，但昂贵的采集成本严重制约了其在资源匮乏但森林生态至关重要的热带地区规模化部署。低成本无人机（UAV）搭载单目消费级 RGB 相机为高精度、可扩展的森林监测提供了崭新契机。
然而，从高分辨率单目无人机航拍影像中联合解算单木属性面临双重核心矛盾。一方面，无人机俯拍仅能观测林冠表面而完全缺失林下地面可视信息，使得单目高度估计成为物理上的严重病态逆问题，传统林业依赖的异速生长方程（Allometric Equations）因冠幅与树高非线性映射的局部异质性而误差极大；另一方面，不同树种间存在显著的冠层形态高类间相似度与高类内变异性，且自然林区存在严重的物种长尾分布难题。此前研究大多侧重于卫星尺度的粗糙冠层高度模型（CHM）生成，或在无人机端仅针对单一树种进行高度离散分箱分类，缺乏统一评估不同森林生物群系下连续高度回归与树种识别的公开基准与高效架构。
本文的切入角度是解耦全林分复杂多木分割与单木属性建模，构建首个跨越温带混交林、热带雨林和寒带人工林的单木级多任务基准。核心 idea：构建基准 BIRCH-Trees 并提出统一多任务架构 DINOvTree，利用微调自监督视觉基础模型提取通用表征，通过解耦的交叉注意力任务头引导可学习查询向量分别聚合空间拓扑与细粒度语义，配合动态权重平均平衡高度平滑 L1 回归与物种交叉熵分类，以显著更低的参数量超越独立专用模型。
方法详解¶
整体框架¶
DINOvTree 输入单张以单株树冠质心为中心的无人机裁剪图像 \(I \in \mathbb{R}^{H \times W \times 3}\)，目标是在单一网络前向推理中同步输出该树木的连续树高估计 \(\hat{h} \in \mathbb{R}_{\ge 0}\) 与树种分类预测 \(\hat{p} \in [0, 1]^C\)。系统架构由三个核心部分协同构成：一个共享权重的视觉基础模型（VFM）特征骨干、一个高度估计解耦头以及一个树种分类解耦头。
骨干网络采用在大规模自然图像上自监督预训练的 DINOv3 ViT，将图像离散为 Patch Tokens 并附带全局分类 Token（[CLS]）。为了兼顾森林航拍影像与网络自然图像的域偏移，骨干网络参数在多任务目标下端到端全量微调。提取出的局部 Patch 表征分别送入两个独立分支的交叉注意力任务头，各分支设计了定制的可学习查询向量（Query Token）来捕获任务特定的判别特征，最后通过动态多任务损失策略联合优化。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["单木居中 RGB 航拍图像"] --> B["共享视觉基础模型骨干<br/>DINOv3 端到端微调"]
B --> C["Patch Tokens 特征投射与位置编码<br/>两层 MLP + 2D 正弦位置编码"]
B --> D["全局上下文 Token<br/>[CLS] 提取"]
C --> E["高度估计交叉注意力头<br/>可学习 Height Query 聚合空间特征"]
C --> F["树种分类交叉注意力头<br/>可学习 Class Query 聚合局部纹理"]
D --> G["多尺度语义融合<br/>局部分类 Token 与 [CLS] 拼接"]
F --> G
E --> H["线性回归与非负截断<br/>Linear + ReLU 预测连续树高 ĥ"]
G --> I["线性分类投射<br/>Linear + Softmax 预测树种概率 p̂"]
H --> J["动态权重多任务学习<br/>平滑 L1 损失 + 交叉熵损失 + DWA"]
I --> J关键设计¶
1. 共享基础模型表征与空间位置感知投影：解决单目高度估计的病态空间建模难题 单木俯拍高度回归需要精细辨识树冠隆起程度、枝叶透视渐变与微弱阴影线索，单纯使用全局池化或标准分类向量容易丢失局部微细几何结构。DINOvTree 采用两层多层感知机（MLP，带 GELU 激活）将 VFM 提取的 Patch Tokens 映射至任务专用特征空间，并在高度回归分支中引入了二维正弦绝对位置编码（2D Sine Positional Encodings）。此设计的关键机制在于：树木在切片图像中严格居中分布，冠顶与边缘枝条具备强烈的径向空间先验，显式融入二维网格坐标使得后续注意力机制能够感知从树顶到林冠外缘的空间相对位移，克服了俯拍缺乏地面基准导致的几何尺度失真。
2. 解耦交叉注意力查询与多尺度分类融合：实现双任务无干扰的特异性特征聚合 硬共享头部网络在多任务学习中极易引发特征梯度的任务间负迁移（Negative Transfer），破坏细粒度树种特征判别。DINOvTree 为两任务分别配置独立的注意力头：在高度估计分支，一个可学习的高度查询向量（Height Query）通过交叉注意力对空间位置编码后的 Patch Tokens 进行加权聚合，经全连接层后由 ReLU 激活函数输出保证非负的连续标量 \(\hat{h}\)，相比缩放的 Sigmoid 函数消除了在极端高度区间的强行极值压制；在树种分类分支，可学习的分类查询向量（Classification Query）从 Patch Tokens 中捕获冠层叶形纹理与分枝微结构，随后将其与骨干网络原生的全局上下文 [CLS] Token 拼接，经线性分类层得到类别 Logits。局部微观纹理与全局林冠构型的融合，大幅增强了细粒度近缘树种的辨识能力。
3. 动态权重自适应多任务平衡：化解回归与分类异质目标的梯度尺度失衡 树高连续回归采用平滑 L1 损失（Smooth L1 Loss），对可能存在的 LiDAR 离群噪点保持鲁棒；分类任务则使用标准多分类交叉熵损失。由于两个损失项的量纲尺度与收敛速度截然不同，手动调节固定超参数极易陷入某个任务的欠优化。DINOvTree 引入动态权重平均（Dynamic Weight Average, DWA），在前两个 epoch 将权重固定为 1，之后利用过去两轮相对损失变化比率自适应调整权重 \(\lambda_H(t)\) 与 \(\lambda_S(t)\)：
温度参数设定为 \(T=2\)。该策略赋予下降速率更慢、学习更困难的任务更高的惩罚权重，保证回归与分类分支在单一共享骨干下平稳协同演进。
损失函数 / 训练策略¶
总损失函数为两任务损失在当前 epoch 的动态加权和：
其中高度回归采用 Smooth L1 损失函数：
分类损失 \(\mathcal{L}_S\) 为标准多类交叉熵损失。优化器选用 AdamW，配合带有 Warmup 的余弦退火学习率调度策略，对骨干网络采用较低学习率微调，对任务专用头采用相对较高学习率，以保障预训练通识知识的稳定泛化与下游适配。
实验关键数据¶
主实验¶
论文在构建的 BIRCH-Trees 基准三大生态数据集上对常用 CNN、ViT、Mamba 变体、遥感专用模型 AnySat 及通用视觉大模型进行了 5 次随机种子评测。各数据集测试集主对比结果如下表所示：
| 数据集 | 模型 | 参数量 (M) | 树高 \(\delta_{1.25}\) (%) ↑ | 树高 MAE (m) ↓ | 物种 F1 (%) ↑ | 物种 Acc (%) ↑ |
|---|---|---|---|---|---|---|
| Quebec Trees (温带林) | 异速方程 (Tallo) | 0 | 48.74 | 2.98 | – | – |
| Quebec Trees (温带林) | Mask R-CNN | 88 | \(74.34 \pm 0.32\) | \(1.73 \pm 0.02\) | \(65.49 \pm 0.45\) | \(65.86 \pm 0.60\) |
| Quebec Trees (温带林) | ResNet50 | 47 | \(68.16 \pm 0.13\) | \(1.96 \pm 0.01\) | \(76.67 \pm 0.38\) | \(74.01 \pm 0.50\) |
| Quebec Trees (温带林) | ConvNeXt-B | 175 | \(84.82 \pm 0.39\) | \(1.32 \pm 0.02\) | \(84.87 \pm 0.42\) | \(82.91 \pm 0.40\) |
| Quebec Trees (温带林) | PECore-B | 187 | \(84.85 \pm 1.03\) | \(1.29 \pm 0.04\) | \(86.82 \pm 0.33\) | \(84.57 \pm 0.53\) |
| Quebec Trees (温带林) | DINOv3-B (独立双模型) | 171 | \(86.35 \pm 0.26\) | \(1.25 \pm 0.01\) | \(\mathbf{87.46 \pm 0.53}\) | \(85.10 \pm 0.80\) |
| Quebec Trees (温带林) | DINOvTree-B (本文) | 100 | \(\mathbf{88.29 \pm 0.32}\) | \(\mathbf{1.17 \pm 0.02}\) | \(86.89 \pm 0.31\) | \(\mathbf{85.03 \pm 0.45}\) |
| Quebec Trees (温带林) | DINOv3-L (独立双模型) | 606 | \(88.03 \pm 0.38\) | \(1.17 \pm 0.01\) | \(\mathbf{88.85 \pm 0.37}\) | \(86.92 \pm 0.57\) |
| Quebec Trees (温带林) | DINOvTree-L (本文) | 328 | \(\mathbf{89.28 \pm 0.28}\) | \(\mathbf{1.12 \pm 0.02}\) | \(88.38 \pm 0.38\) | \(\mathbf{87.25 \pm 0.36}\) |
| BCI (热带雨林) | ConvNeXt-B | 175 | \(85.91 \pm 0.96\) | \(3.68 \pm 0.09\) | \(45.99 \pm 0.55\) | \(48.16 \pm 0.63\) |
| BCI (热带雨林) | DINOv3-B (独立双模型) | 171 | \(85.74 \pm 0.69\) | \(3.61 \pm 0.07\) | \(46.44 \pm 1.32\) | \(46.44 \pm 1.32\) |
| BCI (热带雨林) | DINOvTree-B (本文) | 100 | \(\mathbf{91.25 \pm 0.40}\) | \(\mathbf{3.11 \pm 0.08}\) | \(\mathbf{48.96 \pm 0.85}\) | \(\mathbf{50.22 \pm 1.00}\) |
| BCI (热带雨林) | DINOvTree-L (本文) | 328 | \(\mathbf{94.14 \pm 0.23}\) | \(\mathbf{2.75 \pm 0.01}\) | \(\mathbf{54.39 \pm 0.67}\) | \(\mathbf{55.58 \pm 0.63}\) |
| Quebec Plantations (寒带林) | DINOv3-B (独立双模型) | 171 | \(\mathbf{86.71 \pm 0.39}\) | \(\mathbf{0.37 \pm 0.00}\) | \(82.56 \pm 1.86\) | \(84.00 \pm 1.76\) |
| Quebec Plantations (寒带林) | DINOvTree-B (本文) | 100 | \(85.13 \pm 0.40\) | \(0.38 \pm 0.00\) | \(81.88 \pm 1.20\) | \(83.97 \pm 0.45\) |
| Quebec Plantations (寒带林) | DINOvTree-L (本文) | 328 | \(85.09 \pm 0.26\) | \(0.37 \pm 0.00\) | \(\mathbf{87.80 \pm 1.19}\) | \(\mathbf{87.63 \pm 1.33}\) |
消融实验¶
在 Quebec Trees 数据集上针对 DINOvTree-B 架构组件与多任务损失加权机制进行消融分析：
| 模块变体 / 实验配置 | 树高 \(\delta_{1.25}\) (%) ↑ | 树高 MSLE (\(10^{-2}\)) ↓ | 分类 F1 (%) ↑ | 说明与发现 |
|---|---|---|---|---|
| DINOvTree-B (完整模型) | \(\mathbf{88.29 \pm 0.32}\) | \(\mathbf{1.85 \pm 0.05}\) | \(\mathbf{86.89 \pm 0.31}\) | 完整设计，各指标最优 |
| 去掉特征映射 MLP (- w/o mlp) | \(87.80 \pm 0.30\) | - | \(85.00 \pm 0.32\) | 分类 F1 显著下跌 1.89%，任务特征空间转换受损 |
| 去掉位置编码 (- w/o pos. encoding) | \(87.83 \pm 0.30\) | - | \(86.33 \pm 0.29\) | 空间先验缺失导致双任务均有回落 |
| 分类去掉交叉注意力 Token (- w/o task token) | \(88.04 \pm 0.37\) | - | \(85.92 \pm 0.29\) | 仅依赖 [CLS]，微观局部纹理捕获不足，F1 降 0.97% |
| 分类去掉全局 [CLS] (- w/o [CLS]) | \(88.49 \pm 0.26\) | - | \(85.76 \pm 0.18\) | 缺失整木宏观形态信息，F1 降 1.13% |
| 高度预测拼接 [CLS] (+ w/ [CLS]) | \(87.72 \pm 0.26\) | - | \(86.32 \pm 0.71\) | 全局语义混入高度回归带来轻微冗余干扰 |
| 高度头改用 Sigmoid 激活 | \(87.75 \pm 0.34\) | - | \(86.03 \pm 0.24\) | 缩放 Sigmoid 迫使极端树高预测产生系统偏差 |
| 仅在线性层微调 DINOv3 原生 [CLS] | \(85.26 \pm 0.11\) | - | \(83.88 \pm 0.57\) | 无专用注意力头，双任务性能均严重退化 |
| 损失等权重加权 (Equal Weighting) | \(87.53 \pm 0.47\) | \(2.00 \pm 0.10\) | \(85.95 \pm 0.56\) | 未考虑梯度尺度差异，综合指标较差 |
| 不确定性自适应加权 (Uncertainty Weighting) | \(87.45 \pm 0.86\) | \(1.97 \pm 0.10\) | \(86.42 \pm 0.39\) | 学习动态不平稳，高度误差偏大 |
| DWA + PCGrad (梯度投影) | \(88.09 \pm 0.14\) | \(1.91 \pm 0.02\) | \(86.59 \pm 0.53\) | 额外梯度手术未带来收益，增加计算开销 |
关键发现¶
- 基础模型微调的决定性作用：冻结 VFM 骨干直接线性探测表现极差（冻结 DINOv3-L 树高 \(\delta_{1.25}\) 仅 58.28%，分类 F1 仅 28.76%）；此外，在自然网络图像上预训练的模型优于在卫星遥感数据上预训练的模型（DINOv3-L-Sat 仅 53.07%），表明极高分辨率单木航拍更依赖通用物体细粒度边缘与几何特征，而非粗分辨率卫星光谱先验。
- 参数效率与性能兼得：相较于为树高和树种分别维护两套庞大模型的常规范式，DINOvTree 仅用 54%～58% 的参数量，不仅在热带林 BCI 上使树高 \(\delta_{1.25}\) 大幅提升 5.5%～7.3%，在物种 F1 上亦高出 2.5%～0.9%，展示了多任务特征共享的正则化互补效益。
- 树高预测的系统性偏差与生态学规律：通过平均带符号差异（MSD = \(\hat{h} - h\)）分析发现，DINOvTree 在温带林轻微高估（+0.40 m），热带林低估（-0.91 m），寒带人工林偏差极小（+0.06 m），该偏差高度受训练集与测试集分布漂移影响；此外不同树种的预测 \(R^2\) 呈现分化，顶层优势种 Populus 和 Acer rubrum 预测精确（\(R^2 \ge 0.88\)），而林下耐阴小乔木 Acer pensylvanicum 误差相对偏大（\(R^2 = 0.60\)）。
亮点与洞察¶
- 构建了跨三个大洲林区的单木航拍标准化基准：通过对正射影像施加冠层边界向内缓冲（0.1 倍特征长度截断）与第 99 百分位数高度滤波，有效消除了多木重叠边缘的高度假象，建立了可靠的数据集事实标准。
- 局部特征查询与全局 [CLS] 的解耦融合机制：分类分支通过拼接局部细粒度 Query Token 与全局 [CLS] Token，以极简的方式融合了树冠微观枝叶纹理与整木轮廓宏观特征。
- 动态权重平衡多任务学习的高效适配：无需调优超参数的 DWA 策略使得跨尺度的回归损失与分类损失平稳协同，避免了昂贵的梯度冲突投影计算。
局限与展望¶
- 稀缺物种的长尾样本代表性不足：由于自然雨林中高度多样性及罕见树种样本极其有限，模型在罕见类别上的评估方差较大，亟待结合少样本学习或无监督预训练拓展长尾物种泛化能力。
- 航拍光照与传感器异质性的泛化验证未竟：当前评估主要基于同一勘测批次内的空间切分，缺乏在不同飞行高度、不同季节物候相以及不同相机型号间的强迁移泛化测试。
- 未结合地表高程点云或深度大模型特征：目前模型仅利用纯单目 RGB 航拍图像，未来探索将轻量 DSM 局部高程先验或单目深度基础模型表征引入特征提取网络，有望进一步压低极高树冠的高度估计误差。
相关工作与启发¶
- vs 卫星级冠层高度模型 (Lang et al. / Tolan et al. / DINOv3 Sat)：卫星方法侧重于百米或米级分辨率的全球密集格网 CHM 预测，缺乏单木实例辨识能力且单木绝对误差较大；本文聚焦分米级/厘米级无人机单木居中图像，实现厘米至分米级单木连续树高解算。
- vs 基于 Mask R-CNN 的两阶段树高估计 (Fu et al. / Hao et al.)：传统方法先实例分割再将树高离散分箱分类，参数冗余且人为丢弃了高度连续空间的度量拓扑；DINOvTree 采用端到端连续回归，利用基础模型强大的视觉表征将误差降低近半。
- vs 传统林业异速生长方程 (Tallo Allometry)：异速方程即便在输入真实树种与精准冠幅的理想神谕假设下，高度阈值准确度 \(\delta_{1.25}\) 也仅在 48%～58% 徘徊；DINOvTree 证明了端到端纯视觉学习在捕获冠层复杂 3D 几何态势上大幅超越经典手工经验公式。
评分¶
- 新颖性: ⭐⭐⭐⭐ [首次将无人机单木树高回归与树种识别形式化为统一 VFM 多任务基准，架构设计针对性强]
- 实验充分度: ⭐⭐⭐⭐⭐ [跨越温带、热带、寒带三大生物群系，对比涵盖 CNN、ViT、Mamba、遥感大模型并完成严格多随机种子与消融检验]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑推导严谨，基准构建细节详实，深入分析了高度预测偏差背后的生态学机制]
- 价值: ⭐⭐⭐⭐⭐ [大幅降低了森林碳汇核算与生物量盘查对高昂机载激光雷达的依赖，对无人机生态遥感落地极具推动力]