Dual-Margin Embedding for Fine-Grained Long-Tailed Plant Taxonomy¶

会议: ECCV 2026
论文: ECCV 官方页面
领域: 细粒度视觉识别 / 长尾学习 / 植物分类学
关键词: 植物分类学, 细粒度图像识别, 长尾学习, 双边界嵌入, 原型对齐

一句话总结¶

针对真实生态监测中细粒度差异、长尾类别分布与开放世界域偏移并存的挑战，本文提出 TaxoNet，通过双边界惩罚损失抑制头部类别对尾部原型的排斥梯度，结合范数引导的样本选择策略，显著提升了植物层级分类在罕见类别与跨域场景下的泛化能力。

研究背景与动机¶

生物多样性监测对于生态系统平衡和物种保护至关重要，借助计算机视觉进行自动化植物分类已成为关键技术手段。然而，在真实生态场景的实际部署中，模型面临着极其复杂的复合挑战。生态观测数据普遍呈现极端长尾分布，少量常见物种（头部类别）占据了海量观测，而关键的濒危、特有或外来入侵物种（尾部类别）样本却极为匮乏；同时，植物分类属于典型的细粒度识别任务，同属物种之间形态极为接近（如红枫与糖枫），类间差异细微而类内因季节、物候及器官局部视角产生的方差巨大。

现有的长尾学习方法（如重采样、类别平衡损失 CBL、对数调整 LA 或边界损失 LDAM）大多在封闭集和通用分类假设下研发，虽然通过调整 logit 或损失权重缓解了样本不平衡，但缺乏对嵌入空间类内紧致性与类间分离度的几何约束，容易导致特征漂移。更为棘手的是，传统 Softmax 及加性边界分类器（AM-Softmax）在长尾梯度更新中存在严重的“原型失调（Prototype Misalignment）”：主导训练批次的头部样本会持续对尾部类别原型施加累积排斥力，将稀有类别的原型推离其样本特征均值中心，摧毁尾部类的特征几何结构。此外，实际部署还伴随跨地域、季节的时空域偏移以及未见物种的开放集识别需求。

本文的切入角度是：从嵌入特征几何与梯度动力学入手，显式重塑决策边界以抵消头部样本对尾部原型的排斥力，并利用特征范数与分类置信度的内在几何关联筛选高信息量样本。核心 idea：提出兼顾目标类吸引力增强与非目标类排斥力抑制的双边界损失（Dual-Margin Loss），配合基于嵌入范数的自适应长尾多样性样本选择，在约束特征几何的同时稳定稀有物种原型对齐。

方法详解¶

整体框架¶

TaxoNet 采用 ResNet-101 作为基础图像编码骨干网络 $\phi(\cdot)$，将输入的植物图像映射为 $d$ 维归一化嵌入向量 $\hat{\mathbf{x}}$，并在超球面上与可学习的类别原型权重向量 $\hat{\mathbf{w}}_j$ 计算余弦相似度 logit。整个流程由两个相互协同的核心机制构成：在数据端，执行结合 AugMix 数据增强与嵌入范数引导的自适应样本筛选，优先引入尾部稀有类以及类内方差大的低范数困难样本；在目标函数端，通过类别先验动态调节目标类加性边界与非目标类惩罚边界，从梯度层面保护尾部原型不受优势头部类别梯度的累积漂移影响。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入植物图像批次"] --> B["范数引导样本选择<br/>AugMix长尾扩增+低范数筛选"]
    B --> C["骨干网络特征提取<br/>ResNet-101映射至超球面"]
    C --> D["双边界惩罚损失<br/>目标边界增强+非目标排斥抑制"]
    D --> E["类别相对边界自适应正则<br/>类别先验平滑约束"]
    E --> F["细粒度长尾分类与开集未知物种拒识"]

关键设计¶

1. 双边界惩罚损失：对称重塑目标与非目标决策空间 针对传统分类损失中头部类样本对尾部类原型施加单向累积排斥的痛点，TaxoNet 设计了双边界机制，同时对正负类别施加与类别频率相关的边界修正： $$ \mathcal{L}{\mathrm{ours}} = -\log \frac{e^{s(z_y - m_y)}}{e^{s(z_y - m_y)} + \sum $$ 其中 } e^{s(z_j - m_j)}$z_j = \hat{\mathbf{w}}_j^\top \hat{\mathbf{x}}$ 为余弦相似度，$s$ 为缩放因子（固定设为 32.0 以避免梯度极端不平衡）。对于真实标签 $y$，目标边界设定为 $m_y = m_0 - \Delta_y$；对于任意非目标类别 $j \neq y$，非目标边界设定为 $m_j = \Delta_j$。这里的 $m_0$ 为预配置的基础边界，而 $\Delta_c$ 为根据类别先验计算的相对调整量：当稀有尾部类别作为正样本时，较小的 $\Delta_y$ 或增强的边界促使其嵌入紧贴原型；更关键的是，当头部样本作为正样本且尾部类频繁充当负样本时，尾部类拥有更大的非目标边界 $m_j = \Delta_j$，该项直接减少了分母中属于尾部类的有效 logit $z_j - m_j$。理论分析证明，此时头部样本对尾部原型产生的排斥梯度范数满足 $\|\frac{\partial \mathcal{L}_i}{\partial \hat{\mathbf{w}}_c}\| \leq \exp(m_{y_i} - m_c)$，指数级衰减了头部类更新对尾部原型位置的破坏性偏移，从根本上保证了原型的均值对齐。

2. 类别相对边界自适应正则：平滑与先验对齐的可学习调制 为了避免硬编码边界导致训练不稳定，类相对边界 $\Delta_c$ 并非固定超参数，而是通过平滑单调映射与类别先验共同确定： $$ \Delta_c = m_0 \cdot \left( \frac{\rho_c}{m_0} \right)^{\zeta(\gamma)} $$ 式中 $\rho_c \propto -\log \frac{N_c}{N}$ 为预先统计的对数归一化类别分布先验（满足 $\sum_c \rho_c = m_0$），$N_c$ 为第 $c$ 类的样本量，$N$ 为总体样本量。参数 $\gamma$ 是可学习标量，采用 Softplus 形式 $\zeta(\gamma) = \log(1 + e^\gamma)$ 进行平滑转换。为了约束参数搜索范围，模型引入幂律正则化项： $$ \mathcal{L}{\mathrm{reg}} = \sum (\Delta_c - \rho_c)^2 $$ 总训练损失结合为 }$\mathcal{L} = \mathcal{L}_{\mathrm{ours}} + \lambda \mathcal{L}_{\mathrm{reg}}$。该机制使得模型仅需配置一个基础边界 $m_0$（实验中设为 0.15），各类的相对边界即可依据数据分布自适应演化并保持平稳。

3. 范数引导的样本选择：挖掘长尾与物候表型多样性 针对直接过采样尾部图像容易引发模型死记硬背、过拟合单一样本形态的问题，TaxoNet 结合了特征范数与分类置信度之间的几何关联。在角度裕度度量学习中，未归一化特征的范数大小直接反映了模型对该图像分类的置信度与对齐程度。TaxoNet 在每个包含 $B$ 个图像的训练批次中，首先利用 AugMix 以伯努利概率 $p=0.1$ 随机扩增采样额外的 $b=8$ 个尾部样本，然后在由 $B+b$ 个候选样本组成的池中，计算其特征范数并挑选范数最小的前 $B$ 个样本参与本轮梯度更新。低范数样本主要来源于两类场景：一是数据极端稀缺的尾部物种；二是受光照、季节物候、落叶枯枝或仅有花朵局部等影响而具有高度类内形态变异的样本。随着训练进行，被充分学习的样本特征范数逐渐增大，动态退出优先队列，从而平滑兼顾了长尾稀有物种强化与高方差难例泛化。

损失函数 / 训练策略¶

模型端到端优化的总损失函数为： $$ \mathcal{L} = -\log \frac{e^{s(\hat{\mathbf{w}}_y^\top \hat{\mathbf{x}} - (m_0 - \Delta_y))}}{e^{s(\hat{\mathbf{w}}y^\top \hat{\mathbf{x}} - (m_0 - \Delta_y))} + \sum} e^{s(\hat{\mathbf{w}j^\top \hat{\mathbf{x}} - \Delta_j)}} + \lambda \sum (\Delta_c - \rho_c)^2 $$ 训练超参数设置：骨干网络为 ImageNet 预训练的 ResNet-101，输入分辨率统一调整为 }$512 \times 512 \times 3$。超参数基础边界 $m_0 = 0.15$，余弦缩放系数 $s = 32.0$。批大小 $B = 32$，尾部候补采样数 $b = 8$。

实验关键数据¶

主实验¶

论文在三个涵盖城市行道树、全球自然生态与标本馆藏的大规模植物基准上进行了全面评估：Google Auto-Arborist（涵盖 AA-Central、AA-West、AA-East 三个地理区域）、iNat-Plantae（iNaturalist-2019 植物界子集）以及 NAFlora-Mini（北美标本植物集）。评估指标包括整体性能指标 Rank-1 准确率（R@1）以及平衡反映各类别的宏平均召回率（Macro-averaged Recall, %）。

数据集	指标	TaxoNet (本文)	LDAM (前最优)	增益 / 差异
Google AA-Central	R@1 (%)	91.92	92.31	-0.39
Google AA-Central	Recall (%)	72.90	67.85	+5.05
Google AA-West	R@1 (%)	85.94	85.96	-0.02
Google AA-West	Recall (%)	67.67	62.82	+4.85
Google AA-East	R@1 (%)	84.32	85.32	-1.00
Google AA-East	Recall (%)	64.96	62.21	+2.75
iNat-Plantae	R@1 = Recall (%)	83.21	81.57	+1.64
NAFlora-Mini	R@1 (%)	91.52	91.26	+0.26
NAFlora-Mini	Recall (%)	90.40	89.96	+0.44

消融实验¶

在相同主干与训练设置下，针对各组件在 AA-Central、AA-West 及 iNat-Plantae 上的消融对比：

配置	AA-Central Recall	AA-West Recall	iNat-Plantae Recall	说明
TaxoNet w/ A, C	63.91	60.81	78.91	仅基础边界 $m_0$，无重采样
TaxoNet w/ B, C	67.59	63.15	80.01	双边界机制，无重采样
TaxoNet w/ B, D	67.56	63.12	81.08	双边界 + 随机重采样
TaxoNet w/ B, E	69.48	65.49	81.87	双边界 + 范数引导重采样
TaxoNet w/ B, E, F (Full)	72.90	67.67	83.21	双边界 + 范数引导采样 + 边界正则化

注：A 为仅基础边界；B 为双边界机制；C 为无重采样；D 为随机选择过采样；E 为范数引导选择过采样；F 为平滑边界正则化。

此外，在开放集未知物种拒识（Open-Set Recognition，在 95% TPR 条件下引入 88 个全新物种、8,845 个样本）评估中，TaxoNet 在 AA-Central 取得 91.28% TNR 和 92.26% 总体准确率，在 AA-West 取得 89.84% TNR 和 90.38% 总体准确率，大幅领先 LDAM（AA-Central TNR 为 88.59%，AA-West TNR 为 87.09%）和 CBL（AA-Central TNR 为 86.34%）。

关键发现¶

双边界惩罚机制是尾部类别召回率提升的核心支柱。相比仅使用基础单边界（63.91% Recall），引入双边界机制后 AA-Central Recall 跃升至 67.59%，验证了抑制非目标类排斥梯度对稀有类表示稳定性的理论推导。
范数引导采样明显优于无差别随机过采样。在已具备双边界的前提下，随机过采样带来极小改善甚至略微波动（从 67.59% 到 67.56%），而范数引导筛选将召回率进一步提升至 69.48%，证明聚焦于低范数高方差困难样本能有效避免模型对尾部样本产生记忆过拟合。
引入幂律边界正则化 $\mathcal{L}_{\mathrm{reg}}$ 提供了关键的稳定性，使全配置模型在 AA-Central 的召回率一举突破至 72.90%。
对比多模态大模型（MLLM 如 GPT-4o、Gemini-2.5-Flash）与专用多模态模型（BioCLIP），通用大模型即便配合植物学专家设定与思维链（CoT）推理，在物种级的宏平均召回率仅达到 30%~41%，而 TaxoNet 在同等评测子集下达到 83.21% 的物种级召回率（较 GPT-4o 高出一倍以上），证明在严苛细粒度长尾分类中，精细调整的度量特征空间仍具备显著优势。

亮点与洞察¶

严格数学推导支持的双边界设计：将原本用于人脸识别的加性角度边界推广至生态长尾分类，不仅在正类增加间距，还创新性地在负类引入自适应边界，严格证明了该机制将头部样本对尾部原型的排斥梯度范数限制在指数衰减界内，有效解决了原型失调问题。
范数作为置信度与物候异质性探针的自适应采样：巧妙利用超球面度量学习中特征范数与分类置信度的正相关特性，将特征范数作为物理表型方差与样本稀缺度的天然判决指标，实现了无需人工硬编码规则的动态难例采样。
开放集拒识与跨区域泛化能力兼备：由于双边界约束增强了超球面上的类内紧致度和类间外延分离度，模型在 AA-Central 训练后零样本迁移至 AA-East 与 AA-West 时，宏平均召回率全面领先基线，且对未见植物新物种表现出卓越的拒识能力（TNR 超 91%）。

局限与展望¶

作者承认的局限：极端缺乏上下文时的视觉歧义仍会导致识别失败。例如，部分样本仅包含局部枯叶或单朵花瓣，缺乏树冠、树皮或生长习性等宏观表型特征（如将 Opuntia polyacantha 误判为同属的 Opuntia cespitosa，或将仅有叶片的 Cornus amomum 误识别为 Persicaria chinensis）。
潜在改进方向：当前的范数引导采样超参数（批次补齐数量 $b$ 与概率 $p$）仍需人工预设，未来可探索根据训练阶段动态衰减的自适应采样策略；此外，可结合视觉-语言大模型（VLM）引入多视角图像输入与文本形态描述，进一步解决极度相似近缘种的细粒度混淆问题。

评分¶

新颖性: ⭐⭐⭐⭐☆ 理论证明完整的双边界惩罚公式与基于特征范数的生态多样性采样设计巧妙结合。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖三大跨区域、多形态植物数据集，对比了包括传统长尾方法与最新 MLLM 在内的丰富基准。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰规范，动机构思层层递进，实验分析与可视化极为详实。
价值: ⭐⭐⭐⭐⭐ 为解决真实开放世界生态多样性自动观测中的长尾与细粒度难题提供了坚实高效的算法方案。