Breaking the Model Forgetting Cycle in Long-Incremental 3D Object Detection¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/5691
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/12290.pdf
代码: https://github.com/qianpeisheng/LDMR
项目: https://qianpeisheng.github.io/LDMR-project-page/
领域: 模型压缩
关键词: 持续学习、记忆回放、学习动态、灾难性遗忘、三维目标检测

一句话总结¶

LDMR 将历史场景的召回率变化转化为“哪些样本现在要多复习、哪些样本值得留到下一阶段”的决策，在 SUN RGB-D、TR3D 十阶段增量检测中达到 19.38 [email protected]，比同预算的 SDCoT++ 随机记忆基线高 3.84 点。

研究背景与动机¶

室内三维检测的类别并不一定一次性给齐：系统先学常见家具，后续更新才接触更少见的物体。每阶段训练场景只提供当前新类别的标注，旧类别物体即使还出现在点云里，也可能没有标签。直接微调因此不仅改变了数据分布，还可能把旧物体当成背景；SDCoT、SDCoT++ 等方法用教师模型补旧类别伪标签，能够缓解短序列遗忘，但教师自己也来自此前已发生遗忘的模型。

当增量更新延长，问题变成一个反馈循环：新类别监督让旧类别检测能力下降，下降后的模型生成更差的旧类别伪标签，下一轮再从这些不可靠标签中学习。论文用旧类别训练损失和伪标签质量轨迹分析这一现象，并给出与分布距离、梯度大小等因素相关的遗忘上界；这些分析支持问题诊断，但不是证明 LDMR 可以完全消除遗忘。单纯加入随机历史样本已经很有帮助，因此真正需要回答的是：在固定存储预算下，如何比随机回放更有效地使用可信旧标注？

本文观察的不是一个场景静态地“难不难”，而是它在训练过程中“有没有学会过、后来忘了多少、再学是否有效”。核心 idea：把可测量的学习动态同时用于短时间尺度的自适应复习和长时间尺度的记忆筛选，让稀缺历史标注优先服务于可恢复但尚未稳定保留的知识。

方法详解¶

整体框架¶

LDMR（Learning-Dynamics-driven Memory and Review）接收当前阶段的新类别标注场景、上一阶段检测器，以及固定大小的历史记忆库，输出能够检测所有已见类别的新检测器和下一阶段记忆库。它先进行阶段内复习，在多个训练检查点监控旧类别召回率，并提高刚刚发生遗忘的历史场景的采样概率；阶段结束后，再计算可学习性评分，通过多样性记忆更新决定保留哪些场景。

这里的记忆项是真实场景及其当时可用的历史类别标注，不是仅存特征或教师预测。方法主要改变训练数据如何抽样、历史样本如何保留，而不是提出新的三维检测骨干；论文在 TR3D 和 VoteNet 上检验这一训练框架。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["新阶段数据<br/>旧模型与记忆库"] --> B["阶段内复习"]
    B -->|检查点召回率反馈| B
    B --> C["可学习性评分"]
    C --> D["多样性记忆更新"]
    B --> E["新检测器"]
    D --> F["下一阶段记忆库"]

关键设计¶

1. 阶段内复习：给刚发生遗忘的场景增加训练机会

历史记忆库仅保存固定预算的已标注场景，初始为空；进入后续阶段时，它与新阶段数据共同构成采样池。论文将每个阶段拆成若干子阶段，在检查点上记录“场景—类别”的召回率。这里的学习动态不是训练损失，也不是模型置信度，而是有真实历史标注可对照的检测召回率；实验计算它时使用 IoU 0.5，不能与最终报告的 [email protected] 混淆。一个类别从高召回率降到低召回率，才构成这一轮需要复习的直接证据。

对每个旧场景，将相邻检查点之间各旧类别的正向召回率降幅相加，并用该类别真实物体数量的对数加权。其机制可按原文式（4）及相邻定义整理为：

\[ F_s^{i\to i+1}=\sum_{c\in\mathcal{C}_{<t}}\log(1+n_{s,c})\max\left(0,R_t^i(s,c)-R_t^{i+1}(s,c)\right). \]

其中 \(R_t^i(s,c)\) 是第 \(i\) 个检查点上场景 \(s\) 中类别 \(c\) 的召回率，\(n_{s,c}\) 是对应真实实例数，\(\mathcal{C}_{<t}\) 是旧类别集合。只累计下降而不累计上升，避免另一类别的进步抵消被遗忘的类别；对数权重又避免物体特别密集的房间垄断复习机会。新场景采样权重保持为 1，旧场景则使用 \(1+\eta F_s^{i\to i+1}\)，最后在混合池内归一化。所有场景仍有基础权重，方法不是只训练最难样本，也不是把新类别训练停掉。

这一轮检测到的降幅用于下一子阶段，而不是预先知道未来会忘什么。随着每轮训练结束重新评估，采样重心可以从一种旧场景移向另一种，形成“训练—检查—复习”的闭环。可信历史标注在这里提供独立于旧模型伪标签的监督来源，但预算只覆盖部分历史数据，不能据此声称所有缺失旧标注都被补齐。

2. 可学习性评分：保存学得动却还没记牢的知识

阶段内复习只解决“下一小段训练抽谁”，跨阶段保存则要考虑更长期的价值。阶段结束后，论文把召回率轨迹的统计范围扩展到新数据与旧记忆的并集，同时覆盖新旧类别。对每个类别，先跨场景平均得到各检查点召回率，再记录该阶段峰值和最终值。最终召回率低意味着还没学好，峰值到最终值的落差意味着曾经学会又遗忘，而峰值本身很低则意味着当前训练尚未显示出可学习的证据。类别欠学习权重 \(\omega_t(c)\) 综合前两种需求，并用峰值召回率调节，避免仅因“始终很难”就不断占用记忆预算。

场景层面的可学习证据来自相邻检查点召回率的所有正向增量之和，记为 \(G_t(s,c)\)。它不是最终值减初始值：一个类别可能先提高后下降，最终净变化不大，但提高过程仍说明重复接触该场景有机会产生收益。场景评分将类别需求、物体数量和这种实际学习增益结合起来：

\[ \mathrm{lrn}_t(s)=\sum_c\omega_t(c)\log(1+n_{s,c})G_t(s,c). \]

因此，评分高并不等于当前错误最多。一个召回率一直低、从未改善的场景，可能不如一个曾帮助模型提高、后来又被忘记的场景有回放价值；反过来，已经稳定掌握的类别也不应长期霸占有限记忆。这里保留的是可解释的分数构成，而不补写本地文本抽取中运算符受损的欠学习权重完整公式。

3. 多样性记忆更新：避免把预算花在相同学习模式上

只按可学习性排序，仍可能反复挑中行为相近的场景。LDMR 为每个场景构造二维表示：一维汇总类别欠学习权重加权的正向学习增益，另一维汇总同样加权的“场景—类别峰值召回率减最终召回率”。将向量作 L2 归一化后，比较候选与已选场景的学习动态模式，而不是比较点云几何或视觉特征。这样引入的多样性指向“模型如何学习这些样本”的差异，不能直接等同于房间类型或物体类别的覆盖率。

论文描述的更新过程是在可学习性与多样性之间用 \(\lambda\) 调节，选择当前数据中最有价值的候选加入，并用它替换旧记忆中价值较低的场景，保持全局预算不变；检查候选后形成下一阶段记忆库。需要特别保留一个复现边界：本地缓存的式（13）显示为非负内积的平均，却又称数值越大越多样，这与相似度的通常方向不一致；式（14）的组合运算符也有抽取缺损。因而这里不擅自补成距离公式或确定的加权和，精确评分方向和替换条件应核对 PDF 或代码。可确定的是两类信号共同参与选择，以及“补入当前场景、淘汰旧场景”的固定预算机制。

一个完整示例¶

以 TR3D 的 SUN RGB-D 十阶段协议为例，每阶段引入 4 类，增量阶段训练 15 个 epoch，并划分为 5 个子阶段。设一个记忆场景里有早期已学类别，当前新场景提供本阶段新类别的标注：训练开始后，两者都能进入混合池。若一次检查发现记忆场景中旧类别召回率下降，下一子阶段就提高该场景被抽到的概率；若后来恢复，后续检查不再把此前的同一降幅永久保留为高权重。

到整个阶段结束时，不是直接把这次抽样频率最高的场景全部留下。算法重新考察新旧候选在多个检查点上的可学习性，再结合学习动态的多样性筛选：阶段内“急需补课”的场景，与跨阶段“长期值得保存”的场景可以不同。最终保留的真实场景及标注将与检测器一起交给下一阶段；该示例说明执行顺序，不是论文单个场景的实测轨迹。

损失函数 / 训练策略¶

论文的检测训练目标仍由分类损失与边界框回归损失组成，并在自适应采样分布下优化；方法描述没有引入一个额外的学习动态预测网络。TR3D 基础阶段训练 90 个 epoch，后续每阶段 15 个 epoch；VoteNet 训练设置遵循 SDCoT，不能把 TR3D 的轮数直接套到它上面。优化器和数据增强采用相应骨干默认设置。

记忆库的固定全局预算为完整训练集场景数的 10%，子阶段数 \(I=5\)，复习强度 \(\eta=3.0\)，记忆选择权衡 \(\lambda=0.5\)。这不是每个类别各存 10%，也不是无限累加每阶段数据。对于隐私或存储限制导致完全不能保存历史场景的场景，本方法的前提并不成立。

实验关键数据¶

主实验¶

SUN RGB-D 使用 40 类，三阶段按 20+10+10 划分，五阶段每阶段 8 类，十阶段每阶段 4 类；ScanNetV2 使用 35 类，对应 15+10+10、每阶段 7 类、每阶段 3–4 类。类别按出现频率递减排列，后续引入更稀有类别。下表取原文表 1，均为最后阶段、所有已见类别的 [email protected]，越高越好；增益是绝对 mAP 点数，不是相对百分比。

数据集	骨干	阶段数	SDCoT++	SDCoT++ + 随机记忆	LDMR	相对随机记忆增益
SUN RGB-D	TR3D	3	22.92	25.18	29.12	+3.94
SUN RGB-D	TR3D	5	14.28	20.02	25.10	+5.08
SUN RGB-D	TR3D	10	8.45	15.54	19.38	+3.84
ScanNetV2	TR3D	3	35.15	36.86	39.00	+2.14
ScanNetV2	TR3D	5	20.61	23.67	28.38	+4.71
ScanNetV2	TR3D	10	7.06	14.86	17.82	+2.96
SUN RGB-D	VoteNet	10	1.67	3.53	6.20	+2.67
ScanNetV2	VoteNet	10	3.38	7.25	9.76	+2.51

随机记忆基线与 LDMR 使用相同记忆预算，因而它比不回放的 SDCoT++ 更适合判断动态机制的增量价值。TR3D 全类别联合训练参考值为 SUN RGB-D 33.26、ScanNetV2 51.52，但它可以同时访问所有类别训练数据，不是同资源增量方法。

论文还报告平均遗忘 AF，越低越好：对所有旧类别，计算“该类别首次引入阶段的 [email protected] 减去当前阶段 [email protected]”，再求平均。它不是以历史最佳 AP 为参考的遗忘定义；本文不从曲线图估算 AF 精确数值。

消融实验¶

下表来自原文表 2，设置为 SUN RGB-D、TR3D，指标仍是最终 [email protected]，越高越好。HR 表示阶段内复习，ME 表示跨阶段记忆更新。

配置	3 阶段	5 阶段	10 阶段	10 阶段相对完整模型下降
LDMR 完整模型	29.12	25.10	19.38	0.00
去掉 HR	26.67	23.47	17.51	1.87
去掉 ME	27.44	23.17	18.70	0.68
去掉 HR 与 ME	25.18	20.02	15.54	3.84

关键发现¶

同预算记忆已明显改善长期性能，但动态机制还有额外收益。SUN RGB-D、TR3D 十阶段从无记忆 SDCoT++ 的 8.45 到随机记忆的 15.54，再到 LDMR 的 19.38，应把“增加历史监督”和“更好地使用监督”区分开。
两个机制有互补性，但不能把消融降幅简单相加。在十阶段设置下，单独去掉 HR 的损失大于去掉 ME；五阶段下则分别下降 1.63 和 1.93 点，贡献排序并非所有协议都相同。
原文表 4 中，将欠学习权重简化为只看低召回率，十阶段结果为 18.45，低于完整设计的 19.38。这支持“困难程度不等于值得复习”的判断。
作者的超参数分析显示，增加复习检查点最初有益，过密则趋于饱和；可学习性与多样性权衡在 \(\lambda=0.3\sim0.6\) 附近表现较好。这是所测协议内的经验，而不是普适最优区间。

亮点与洞察¶

评价信号直接驱动数据决策。召回率下降不只是事后遗忘曲线，而是决定下一子阶段抽样强度的输入，使监控与训练形成闭环。
复习需求与存储价值被分开处理。前者看近期下降，后者看整个阶段里“能否改善、是否留下来、模式是否重复”，避免把一次困难永久固化为记忆优先级。
多样性定义在学习动态空间而非高维特征空间。这让选样依据与持续学习目标更直接相关，但也提醒读者不要把二维轨迹差异理解成完整的语义多样性保证。

局限与展望¶

真实历史场景回放是核心条件。存储预算虽然固定为训练集的 10%，但数据保留的隐私成本、跨场景存储字节差异，并未由场景数量预算自动解决。
论文主体展示了两数据集、两骨干及多种阶段数，但类别均按频率排序；其他顺序、随机种子方差，以及额外检查点评估的时间开销，在所读正文中缺少系统量化。这限制了稳定性和部署成本结论的力度。
长序列遗忘仍未被消除。TR3D 十阶段的 19.38 和 17.82，仍明显低于各自全类别联合训练参考值 33.26 和 51.52。
本地文本中的理论上界及部分评分公式有抽取损坏，尤其多样性分数方向存在文字与可见公式不一致。复现应先核对原 PDF 与代码，不能把本文的机制解释当成这些受损公式的权威转录。

评分¶

新颖性: 4/5。学习动态同时控制阶段内复习与跨阶段记忆，针对长增量三维检测有明确设计，但记忆回放本身已有充分先例。
实验充分度: 4/5。覆盖两数据集、两骨干、多种阶段数及同预算基线，仍缺少充分的成本、方差和类别顺序分析。
写作质量: 3/5。问题诊断与方法主线清楚，评分公式在本地文本中的缺损和方向疑点增加了复现核查成本。
价值: 4/5。为允许保留少量历史场景的持续三维感知提供了有实证支持的训练策略，但尚不能视为长期遗忘的彻底解决方案。