PhenoLeaf-TS: A Time-Series Benchmark for Leaf Instance Segmentation, Tracking, and Growth Stage Classification¶
会议: ECCV 2026
论文: ECCV 2026
代码: https://pisyntor.github.io/PhenoLeaf-TS
领域: 语义分割
关键词: 植物表型组学、叶片实例分割、多目标跟踪、生长阶段分类、时序基准
一句话总结¶
PhenoLeaf-TS 构建了首个包含 21 种拟南芥基因型、318 株重复样本与 17,082 张俯视图像的时序叶片基准，通过固定 31 色调色板保持跨帧叶片 ID 一致性，系统评测了 21 种主流分割、跟踪与分类模型并验证了显著的跨数据集迁移收益。
研究背景与动机¶
基于图像的高通量植物表型分析中，无创测量单叶投影面积、生长速率、叶长、叶宽与形态演化是解析植物生理机能的核心手段。然而，这类测量高度依赖细粒度的叶片级实例理解——不仅需要在单帧内精确分离相互遮挡和紧密重叠的叶片，更需要跨越数周的时间跨度追踪同一叶片的连续生长，并将其与全株的发育阶段建立映射。长期以来，计算机视觉驱动的植物表型分析一直受限于时序深度不足与标注连贯性缺失，无法在一个统一框架下联合评测分割、跟踪与生长分类。
以往的主流植物表型数据集在时序属性与任务覆盖上存在明显断层。广为人知的 CVPPP 叶片分割挑战赛（如 Ara2012、Ara2013、Ara2014）虽然提供了高质量的单叶实例掩码，但全部样本均是离散快照，缺乏时间先后顺序与帧间对应；田间大田场景的 PhenoBench 专注于作物-杂草全景分割，未对时序单叶实例进行跟踪编号；具备时序追踪标注的 Komatsuna 数据集规模极小（仅 15 条序列、900 张图）且仅包含单一物种；多模态数据集 MSU-PID 则缺失完整的叶片实例级标注。因而，学术界此前没有一个基准能够同时满足同一植物的时序图像序列、时序一致的叶片实例身份以及足够支撑联合评估的大规模多样性样本。
为了打破这一空白，本文利用高精度龙门相机架系统在受控生长室内构建了全生命周期跟踪的表型数据集 PhenoLeaf-TS。核心 idea：构建首个包含 17,082 张时序图像与 21 种拟南芥基因型的大规模连续表型基准，采用确定性递增的 31 色固定调色板赋予每个叶片贯穿生长周期的绝对物理身份，无须后验二分匹配即可联合评测叶片实例分割、多目标生长跟踪与发育阶段分类。
方法详解¶
整体框架¶
PhenoLeaf-TS 构建了一套从自动成像、时序确定性色彩标注到三项标准化基准任务评测的完整闭环流程。在数据采集端，21 种拟南芥基因型的 318 株植株在环境受控的生长箱内培养，架设于可调高度托台上方的高分辨率龙门 RGB 相机以每日 2 至 4 帧的频次记录从播种后约 14 天萌发至成熟莲座叶丛的全过程，获得 17,082 张以植株为中心（约 \(530 \times 525\) 分辨率）的序列切片。在标注端，引入由 31 种高可分色彩组成的固定调色板，按叶片初生时间顺序分配颜色编码，确保物理叶片在整个生命周期内颜色与 ID 恒定。在此基础上，基准定义了单帧实例分割、时序叶片跟踪与生长阶段分类三大下游任务，覆盖了 21 种具有代表性的视觉模型。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["高通量龙门时序成像<br/>21种基因型 / 318株 / 17,082张RGB"] --> B["确定性色彩映射时序标注<br/>固定31色调色板 / 萌生顺序赋值 / ID跨帧持久"]
B --> C["三项联合基准任务构建<br/>70/15/15序列内划分 / 标准化评测协议"]
C --> D["单帧叶片实例分割<br/>Mask R-CNN / YOLO / Mask2Former / SAM2/3"]
C --> E["时序叶片关联跟踪<br/>ByteTrack / BoTSORT / DeepSORT等检测后跟踪"]
C --> F["全株生长阶段分类<br/>Early(4-6) / Interm.(7-10) / Mature(11+)"]关键设计¶
1. 确定性调色板叶片时序一致性标注：告别匈牙利匹配的直接评测机制
传统多目标跟踪或时序分割标注通常需要对跨帧预测框或掩码运行匈牙利二分匹配（Hungarian Matching）来建立对应关系，不仅计算冗余，而且在植物叶片边缘微小形变时容易引发匹配歧义。PhenoLeaf-TS 针对植物叶片从中心生长点向外有序萌生的生物学特性，设计了一套基于固定 31 种离散辨识度色彩的确定性顺序标注协议。植株萌发出的第 1 片叶恒定赋予 1 号颜色（红色），第 2 片叶赋予 2 号颜色（蓝色），后续新生叶片按出现先后顺次分配调色板的下一个颜色。同一片物理叶片一旦获得专属颜色标签，无论经历生长扩展、叶柄伸长还是被周围叶片轻微遮挡，该色彩在全生长周期的所有出现帧中始终保持不变。该机制由 12 名专业标注员利用 CVAT 遵循叶片轮廓保守标注、并由 4 名资深审核员对叶片萌生、遮挡与 ID 互换进行跨帧自举复核，使得评测时地面真值与模型预测可以直接按色彩 ID 精确比对。
2. 层次化多任务评测体系：覆盖分割、时序关联与表型宏观分类
为系统考察现代计算机视觉方法对植物生长动态的解析能力，基准划分出覆盖局部结构到宏观发育的三个互补任务。任务一为单帧叶片实例分割，输入单张 RGB 图像预测叶片二值掩码，遵循 COCO 标准输出 mAP（mAP50、mAP75）及植物界通用的对称最佳 Dice 指标（SBD）；任务二为叶片多目标跟踪，基于任务一检测出的叶片实例序列维持轨迹一致性，采用 CLEAR MOT（MOTA、MOTP）、HOTA、IDF1 和身份跳变（IDSW）综合度量；任务三为全株发育阶段分类，依据真实叶片数量划分为 Early（4–6 片叶，占比 22.6%）、Intermediate（7–10 片叶，占比 39.8%）和 Mature（11 片叶以上，占比 37.6%），评测宏观发育阶段的 Accuracy、Macro-F1 与马修斯相关系数（MCC）。所有评测统一采用植株重复内部按时间序列的 70% 训练集、15% 验证集与 15% 测试集随机划分，确保时序推理评估在真实时间轴上严格按顺时针演进。
3. 植物生长特异性跟踪机制适配：双阈值挽救微弱新生叶
行人和车辆等传统多目标跟踪基准的核心挑战在于物体的频繁进出视野与大幅度刚体位移，而植物叶片跟踪则呈现出完全相反的动力学机制：已有叶片几乎不会凭空消失，核心难度在于幼叶由中心萌发时的微小尺寸、叶肉持续塑性变形生长以及叶柄位移带来的空间渐进漂移。基于这一发现，本文揭示了经典跟踪器在植物场景下的内在机理差异：单阈值硬截断的跟踪算法（如 DeepSORT）在叶片刚萌生的 2–3 帧内因检测器响应微弱而直接丢弃候选框，导致跟踪召回率严重受限（Recall 仅 70.9%）；而引入双阈值关联机制的 ByteTrack 则通过将低置信度检测框保留至二次匹配池，有效捕获并锁定了初生叶片微弱响应，实现了高达 84.1% 的 MOTA 与 91.0% 的 IDF1。
实验关键数据¶
主实验¶
基准在统一的划分协议下对 9 种实例分割模型、6 种多目标跟踪器以及 6 种分类模型进行了详尽评估。以下汇集了实例分割模型（表 1）与多目标跟踪模型（表 2，均以 IS-1 YOLOv11-seg 为前端检测器）的主实验指标。
| 任务类型 | 架构 / 模型 | 主干网络 | mAP / MOTA (↑) | mAP50 / MOTP (↓) | mAP75 / IDF1 (↑) | IDSW (↓) / Precision (↑) | Recall (↑) |
|---|---|---|---|---|---|---|---|
| 分割 (单阶段) | IS-1: YOLOv11-seg | CSPDarknet-X | 68.2 | 84.7 | – | – | – |
| 分割 (单阶段) | IS-2: YOLO26-seg | CSPDarknet-L | 67.3 | 84.3 | – | – | – |
| 分割 (两阶段) | IS-3: Mask R-CNN | R50-FPN | 73.2 | 94.3 | 82.9 | – | – |
| 分割 (两阶段) | IS-4: Mask R-CNN | R101-FPN | 72.4 | 93.4 | 81.6 | – | – |
| 分割 (两阶段) | IS-5: Mask R-CNN | X101-FPN | 71.3 | 91.4 | 80.4 | – | – |
| 分割 (两阶段) | IS-6: Cascade Mask R-CNN | R50-FPN | 71.9 | 91.5 | 81.8 | – | – |
| 分割 (Transformer) | IS-8: Mask2Former | Swin-L | 71.9 | 94.6 | 82.7 | – | – |
| 分割 (基础大模型) | IS-7: SAM2 (AMG) | Hiera-L | 55.0 | 66.7 | 63.2 | – | – |
| 分割 (基础大模型) | IS-9: SAM3 (文本提示) | Hiera-L | 71.1 | 87.9 | 81.2 | – | – |
| 跟踪 (MOT) | TR-5: ByteTrack | YOLOv11 检测 | 84.1% | 29.8 | 91.0% | 590 | 99.5% |
| 跟踪 (MOT) | TR-1: BoTSORT | YOLOv11 检测 | 83.1% | 27.1 | 90.3% | 692 | 99.5% |
| 跟踪 (MOT) | TR-2: DeepSORT | YOLOv11 检测 | 68.4% | 33.7 | 81.7% | 43 | 96.7% |
| 跟踪 (MOT) | TR-3: Deep-OC-SORT | YOLOv11 检测 | 66.1% | 23.4 | 79.5% | 417 | 99.6% |
| 跟踪 (MOT) | TR-6: StrongSORT | YOLOv11 检测 | 64.2% | 24.2 | 78.0% | 345 | 99.8% |
| 跟踪 (MOT) | TR-4: Norfair | YOLOv11 检测 | 57.8% | – | 73.4% | 71 | 99.3% |
在生长阶段分类任务中，Swin-T（CL-6）以 91.7% 准确率、91.7% Macro-F1 与 0.873 MCC 位居榜首；EfficientNetV2-S（CL-3）紧随其后达到 91.4% 准确率与 0.869 MCC；全量冻结主干仅微调线性分类头的自监督模型 DINOv2-B（CL-5）亦取得了 87.1% 准确率与 0.803 MCC。
消融与迁移实验¶
为探究 PhenoLeaf-TS 作为预训练源的域外泛化与迁移潜能，论文设置了在同物种跨基准（Ara2012、Ara2013）及跨物种基准（小松菜 Komatsuna）上的 Zero-shot 零样本迁移与微调（Fine-Tuned, FT）对比实验。
| 目标数据集 | 任务类型 | 评测模型 | Zero-shot 结果 | 微调 (FT) 结果 | 增益 (\(\Delta\)) | 实验说明 |
|---|---|---|---|---|---|---|
| Ara2012 (拟南芥) | 分割 (mAP) | Mask R-CNN (IS-3) | 55.3 | 73.9 | +18.6 | 同物种迁移，微调后显著收敛至高精度 |
| Ara2012 (拟南芥) | 分割 (mAP) | Mask2Former (IS-8) | 59.9 | 71.1 | +11.2 | 注意力解码器提供更强的无微调边界泛化 |
| Ara2012 (拟南芥) | 分类 (Acc%) | EfficientNetV2 (CL-3) | 100.0 | 100.0 | 0.0 | 数据集全为成熟株，分类退化为单类别校验 |
| Ara2013 (拟南芥) | 分割 (mAP) | Mask R-CNN (IS-3) | 53.5 | 75.2 | +21.7 | 微调使小样本数据集性能提升超 20 点 |
| Ara2013 (拟南芥) | 分割 (mAP) | Mask2Former (IS-8) | 51.3 | 66.3 | +15.0 | 跨离散快照数据集迁移增益明显 |
| Ara2013 (拟南芥) | 分类 (Acc%) | EfficientNetV2 (CL-3) | 21.0 | 67.0 | +46.0 | 包含多阶段，微调使分类能力大幅跃升 |
| Ara2013 (拟南芥) | 分类 (Acc%) | Swin-T (CL-6) | 21.0 | 78.0 | +57.0 | Transformer 架构在生长表征迁移中表现最优 |
| Komatsuna (小松菜) | 分割 (mAP) | Mask R-CNN (IS-3) | 34.7 | 86.1 | +51.4 | 跨物种形态差异极大，微调实现性能翻倍突破 |
| Komatsuna (小松菜) | 分割 (mAP) | Mask2Former (IS-8) | 47.1 | 76.7 | +29.6 | Zero-shot 下 Transformer 结构抗物种差异更强 |
关键发现¶
- 主干容量逆向缩放现象（Backbone Inverted Scaling）：在单帧实例分割中，Mask R-CNN 的精度呈现出反直觉的递减趋势：ResNet-50（73.2 mAP）> ResNet-101（72.4 mAP）> ResNeXt-101（71.3 mAP）。这一现象表明在包含 17,082 张单一室内背景图像的基准上，决定性能的瓶颈在于形态与基因型多样性而非参数规模；过大的网络主干极易出现对特定环境纹理的轻度过拟合。
- 视觉基础大模型的领域鸿沟：纯无监督零样本的 SAM2（IS-7）仅获得 55.0 mAP，在土壤颗粒和花盆边缘处产生了大量虚警碎片；而结合 Grounding DINO 文本提示引导的 SAM3（IS-9）性能大幅提升至 71.1 mAP，说明通识大模型进入专业农业表型域必须依赖精准的语义引导，但其距离领域深度监督的 Mask R-CNN 仍有 2.1 mAP 的差距。
- 外观重识别与时序关联的权衡：DeepSORT 凭借提取的深度表观特征，获得了全场最低的 43 次身份跳变（IDSW），证明其表观描述符能稳定对抗叶片生长变形；然而其严苛的匹配阈值导致微小叶片大面积漏检，Recall 仅有 70.9%。相比之下，放弃显式外观重识别但实施全候选挽救的 ByteTrack 取得了 85.9% 的最佳 Recall 与最高的 84.1% MOTA。
- 跨物种表型特征强迁移能力：在完全不同的蔬菜物种 Komatsuna 上，以 PhenoLeaf-TS 权重微调使得 Mask R-CNN 获得了高达 +51.4 mAP 的跨物种巨幅飞跃（从 34.7 提升至 86.1 mAP），证实了本数据集沉淀的叶片几何与边缘拓扑先验具备极高的通用泛化价值。
亮点与洞察¶
- 31 色递增调色板消解了后验匹配依赖：将生物学上向心发端的幼叶生长顺序显式注入为绝对颜色标签，使得任意时序预测的准确率校验能够直接退化为像素级色彩对齐，极大简化了时序表型评测的技术流水线。
- 揭示了生长动力学对多目标跟踪范式的颠覆：传统 MOT 重度依赖的进出场管理和刚体运动位移假定在植物领域完全失效；实验证实“不放弃低分检测候选”比“强行训练复杂的非刚性外观重识别”对植物生长连续追踪更关键。
- 边缘设备与边端部署的轻量化红利：验证了小型卷积主干（如 ResNet-50）和紧凑型轻量分类器（EfficientNetV2-S、Swin-T）在室内农业表型中足以打平甚至超越重型 Transformer，为嵌入式农业巡检机器人提供了扎实的选型依据。
局限与展望¶
- 受控环境与大田非结构化场景存在差距：作者明确指出该基准全部采自人工气候箱俯视角度，光照恒定、背景单一且无杂草干扰；而真实的温室或大田环境中存在复杂的光影变幻、泥浆遮挡与杂草丛生，泛化性有待进一步检验。
- 离散阶段划分存在边界模糊性：生长阶段仅凭叶片数离散切分（6片与10片处断开），在临界样本（如第6片叶刚露头）处即使人类专家也存在语义分歧；未来应向连续生长天数回归与生物量曲面拟合演进。
- MOT 评价指标的生物学偏离：现行 CLEAR MOT / HOTA 等指标专为行人车辆设计，无法显式衡量生物学关心的“叶片萌发检测时延”与“单叶投影面积生长单调性”；构建专属植物形态动力学评测指标是未来的重要方向。
相关工作与启发¶
- vs CVPPP / LCC 挑战赛：CVPPP 是经典的单叶分割标杆，但其样本均为孤立快照，无法观察单株生长过程。PhenoLeaf-TS 在数量级（1.7万张 vs 百张级）和时序连续性上实现了质的跨越，并补充了跟踪与生长分类维度。
- vs Komatsuna 数据集：Komatsuna 包含时序跟踪标注，但规模极小（仅 15 条序列、900 张图像）且为单一物种。PhenoLeaf-TS 覆盖 21 种拟南芥基因型与 318 株全周期生长序列，支撑了从单模型评估到跨域迁移预训练的全面升级。
- vs SAM2 / 基础大模型在农业的应用：直接套用零样本 SAM2 会在土壤背景上遭遇严重的过分割，提示后续研究在探索农业大模型时应着重结合轻量级文本/形态 Prompt 引导，或以 PhenoLeaf-TS 为基础构建专用下游适配套件。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次构建大规模、多基因型且时序完全一致标注的植物单叶多任务表型基准，设计巧妙。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 21 种模型（9分割+6跟踪+6分类）、多维度主客观指标以及跨物种迁移验证，极其完备。
- 写作质量: ⭐⭐⭐⭐⭐ 论文任务定义严谨清晰，图表规整，实验分析透彻洞察深刻。
- 价值: ⭐⭐⭐⭐⭐ 彻底填补了植物时序单叶解析与生长度量的公共数据空白，具备极高学术与工业落地指导价值。