RT-DETRv4: Painlessly Furthering Real-Time Object Detection with Vision Foundation Models

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/RT-DETRs/RT-DETRv4
领域: 模型压缩
关键词: 知识蒸馏、实时检测、视觉基础模型、深层语义注入、梯度调制

一句话总结

RT-DETRv4 把冻结视觉基础模型的语义蒸馏到实时检测器的 AIFI 输出，并用该模块的梯度占比按轮调节蒸馏权重，使同规模 DEIM-L 在不改变推理图和 8.07 ms 延迟的条件下，从 54.7 提升到 55.4 COCO AP；它改进的是教师到学生的训练方式，不是另造一个部署检测器。

研究背景与动机

实时检测器已经把推理计算压得很紧：轻量主干先产生多尺度特征，编码器融合信息，解码器输出类别和边界框。继续堆大网络通常会牺牲延迟，但只靠现有检测标签训练，轻量表示又可能学到背景纹理等捷径。视觉基础模型可以提供大规模预训练形成的语义先验，可它们的参数量和计算方式不适合直接放进实时部署路径。本文选择让强模型只在训练阶段当教师，把收益留在学生参数里。

困难不只是师生通道数不同。ViT 教师输出 patch token，学生有卷积层级与检测专用的融合模块；较浅层还要保留位置和纹理，不能要求每一层都变成教师的抽象语义副本。RT-DETR 恰好提供一个有针对性的入口：AIFI 是唯一对最深尺度做自注意力交互的模块，其输出 F5 随后参与跨尺度融合、查询选择和解码，因此可能用一处直接监督影响后续多尺度表示。表 3 中同时对齐主干和 F5 只有 53.8 AP，单独 F5 则为 54.3，说明“监督更多层”并非这里的正确答案。

另一个问题是力度。蒸馏权重过小，教师难以改变学生；过大，语义模仿又可能妨碍检测任务适配。作者据此把“在哪蒸馏”与“蒸馏多强”配套设计，而非只换一个更强教师。核心 idea：在学生语义传播的深层入口进行单点特征蒸馏，让原网络自然传播收益，再以受监督模块的梯度占比反馈调节教师影响，而不增加任何部署分支。

方法详解

整体框架

输入是一张图像，学生检测路径保持原样：主干产生 S3、S4、S5，AIFI 对 S5 做尺度内交互得到 F5，CCFF 再融合不同尺度，查询选择与解码器最终给出类别和框。同一图像在训练时另送入冻结视觉基础模型，教师只提供特征目标，不提供伪框或替代人工检测标注。

深层语义注入器（Deep Semantic Injector，DSI）对齐 F5 与教师特征的空间位置和通道，并计算负余弦损失。检测损失和加权 DSI 损失共同反向传播，梯度引导自适应调制（Gradient-guided Adaptive Modulation，GAM）统计每轮梯度后调整下一轮权重。部署只保留学生检测路径，去掉教师、投影器和训练统计。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像"] --> B["主干与 AIFI<br/>生成 F5"]
    B --> C["CCFF、查询选择<br/>与解码器"]
    C --> D["类别与边界框"]
    A -.-> T["冻结视觉基础模型<br/>仅训练教师"]
    B -.-> E["深层语义注入器<br/>特征对齐与损失"]
    T -.-> E
    E -.-> F["检测与蒸馏<br/>联合反向传播"]
    C -.-> F
    F -.-> G["梯度引导自适应调制<br/>统计 AIFI 梯度占比"]
    G -.->|下一轮蒸馏权重| F
    F -.->|更新学生参数| B

实线是部署时保留的数据流，虚线是训练教师、监督和权重反馈。GAM 的回路跨训练轮次运行，不是在一次检测推理中循环，也不需要为每张测试图计算梯度。

关键设计

1. 深层语义注入器：把教师知识放到既能承接语义、又能向全网传播的位置

AIFI 输出 F5 已在最深尺度完成全局信息交互，比原始主干浅层更接近教师的抽象语义。它还是 CCFF 的输入，因此改善这一处特征可以沿原来的前向融合影响其他尺度。反向时，DSI 不截断 F5 的学生梯度，监督也会经过 AIFI 传回主干。因此“只监督 F5”不等于“只训练 AIFI”，更不等于浅层永远不受益；区别是浅层不必直接逐位置模仿教师。

具体对齐先处理教师：将 patch token 序列还原成二维网格，再插值到 F5 的空间尺寸。学生侧通过轻量投影器变换通道，使对应位置可以比较。投影器只挂在损失支路，不替换送进 CCFF 的真实 F5，因此可以在部署时删除。表 4 比较 1×1 卷积、MLP 和线性投影，AP 分别为 53.8、54.2、54.3；这里采用的是线性投影，不是为学生加一个需部署的新颈部网络。

令 \(U\) 为投影学生特征，\(V\) 为插值教师特征，\(H,W\) 为对齐网格大小。用简化记号表达第 3.3 节明确描述的逐位置负余弦目标：

\[ \mathcal{L}_{\mathrm{DSI}}=-\frac{1}{HW}\sum_{i=1}^{H}\sum_{j=1}^{W}\frac{U_{ij}\cdot V_{ij}}{\lVert U_{ij}\rVert_2\lVert V_{ij}\rVert_2}. \]

比较方向而非逐通道幅值，可以放松不同架构特征尺度不一致的约束。表 6 中余弦为 53.7 AP，MSE 为 52.7，支持在该实验配置下选择方向对齐。它仍要求空间位置对应，并非让任意教师 token 与任意学生位置匹配；教师也没有被检测损失更新。

作者以信息瓶颈解释深层注入：希望保留任务语义而抑制背景干扰。但本文没有直接估计互信息，也没有证明深层表示天然满足最优压缩。应把该部分视为位置选择的解释框架，实际证据是 F5 单点、浅层及混合注入的检测消融，而非一个已被测量的普适定理。

2. 梯度引导自适应调制：用受蒸馏模块的训练响应决定下一轮教师力度

GAM 观察的不是损失数值大小。不同损失量纲或数值尺度不同，即使 DSI 数值很小，也未必对参数更新影响小。它每个 step 计算各网络组件参数梯度的 L1 范数，用 AIFI 的范数除以组件范数之和，再在一个 epoch 内平均。下面的式子只整理可读文字中的统计定义：

\[ r_t=\frac{\lVert\nabla_{\theta_{\mathrm{AIFI}}}\mathcal{L}_{\mathrm{total}}\rVert_1}{\sum_C\lVert\nabla_{\theta_C}\mathcal{L}_{\mathrm{total}}\rVert_1},\qquad \bar r_e=\frac{1}{T_e}\sum_{t=1}^{T_e}r_t. \]

这里 \(C\) 表示统计的网络组件，\(T_e\) 是该轮训练的 step 数。分子来自总目标，所以该比例不是“蒸馏梯度占检测梯度多少”，也不能直接当作教师知识占比；AIFI 同时受到检测和蒸馏两种目标影响。精确组件划分会影响数值，不能在实现时随意改变统计口径再照搬阈值。

GAM 给平均占比设置目标区间 \([\rho-\delta,\rho+\delta]\)：在区间内就保留当前权重，太高则减弱 DSI，太低则增强，并作用于下一轮。作者说明区间外的比例更新朝较远边界而非中点调整，因为 AIFI 梯度并不全由 DSI 产生。按轮平均和容忍区间减少了对单批次波动的追逐，但并不证明调整权重后梯度会严格成比例改变。

因此它是一个低频反馈控制，不是对每个目标梯度进行投影，也不是自动寻找多目标优化的理论最优解。原式 (14) 在文本抽取中丢失比较符号和部分运算；本笔记保留正文可核实的方向、目标区间及边界原则，不猜补可直接执行的分段公式。初始权重、\(\rho\)、\(\delta\) 和统计范围仍需原 PDF 或代码核对。

一个完整示例

考虑一张包含行人与自行车的训练图像；这只是解释数据流的示例，不是原文额外报告的案例。

1. 学生先产生三个尺度的主干特征，AIFI 只处理最深尺度，得到 F5；原检测头继续输出两类目标的框和类别。
2. 冻结教师从同图提取语义 token，DSI 把教师网格插值到 F5 大小，并投影学生通道，只在该支路比较位置特征方向。
3. 人工框和类别监督学生完成检测，教师特征监督深层语义；两者共同回传到学生，教师不参与更新。
4. 本轮结束时，若平均 AIFI 梯度占比偏高，下一轮减小 DSI 权重；单张图预测出错并不会立即触发一轮 GAM 推理纠正。
5. 部署时删除教师、投影与 GAM，仍然按主干、AIFI、CCFF、解码器的顺序预测，精度收益留在已经训练好的学生权重里。

损失函数 / 训练策略

训练联合普通检测目标与加权 DSI 目标；前者包括分类和边界框回归等学生原有项，后者的权重按 GAM 更新。不需要把教师先训练成目标数据集的检测器，也不把教师输出的语义相似度替代框监督。对比中的 DINOv3-ViT-Base 优于 MAE-ViT-B 和 DINOv2-ViT-Base，但这不能推出任意基础模型、不经验证都能等量迁移。

主表 S/M/L/X 分别训练 120/90/50/50 epochs。默认消融为 36 epochs；表 6 特别使用 DEIM-M、90 epochs 和 12 EMA epochs，表 7 使用 DEIM-L、50 epochs 和 8 EMA epochs。这些配置不同，不能把各表基线或单组件收益串接成同一次训练。

当前缓存没有完整训练实现说明，未明确输入尺寸、优化器、GAM 全部默认参数和测时精度。这里不补常见默认值；“不增加推理成本”也不代表训练不用额外教师前向、特征对齐或梯度统计。

实验关键数据

主实验

原文表 1，COCO val2017；图 1 标注延迟在 T4 GPU 测量。AP 是 COCO 标准跨 IoU 阈值平均的检测精度，越高越好；延迟越低越好。以下保留同规模 DEIM 对照，不把跨训练配方的所有 YOLO 结果抄成一张大表。

学生规模	Epochs	参数量 M	GFLOPs	延迟 ms	DEIM AP	RT-DETRv4 AP	提升 AP点
S	120	10	25	3.66	49.0	49.8	0.8
M	90	19	57	5.91	52.7	53.7	1.0
L	50	31	91	8.07	54.7	55.4	0.7
X	50	62	202	12.90	56.5	57.0	0.5

参数、GFLOPs 和延迟都是学生推理侧统计，同一行内 DEIM 与 RT-DETRv4 相同。摘要对应速度为 273/169/124/78 FPS；这是不同规模各自的结果，不是所有模型都以同一延迟运行。没有给出训练时间、显存或达到统一精度所需总算力，因此不能把 AP 提升解释成训练也更省。

消融实验

表 2 和表 3 都采用默认短程设置。下表从两张原表选取互补对照：前半检验 DSI/GAM 组合，后半检验注入位置；注入位置行是完整方法的位置选择，不是“DSI 单独”的另一种写法。AP50、AP75 分别固定 IoU 阈值 0.50、0.75，越高越好。

来源与配置	AP	AP50	AP75	说明
表2：DEIM-L 基线	53.8	71.4	58.5	默认36轮
表2：DEIM-L + DSI	53.9	71.3	58.8	固定配置语义监督
表2：DEIM-L + DSI + GAM	54.3	71.8	59.0	两项配合
表2：RT-DETRv2-L 基线	52.1	70.2	56.7	另一学生
表2：RT-DETRv2-L + DSI + GAM	52.6	70.7	56.8	增益0.5 AP点
表3：仅主干 S3 + S4 + S5	53.7	71.3	58.5	多尺度直接对齐
表3：主干三尺度 + F5	53.8	71.4	58.4	混合对齐
表3：仅 F5	54.3	71.8	59.0	深层单点注入

表 2 的 DEIM-L 单加 DSI 是 +0.1 AP，加入 GAM 后相对基线合计 +0.5，所以 GAM 在 DSI 之上增加的是 0.4，而不是再加 0.5。RT-DETRv2-L 的 DSI 单独结果还出现 AP75 从 56.7 降到 56.4，说明额外语义监督并非每项指标自动受益。

关键发现

• 位置和强度缺一不可。 单点 F5 优于更广泛对齐，且 DSI 单独收益较小；证据支持的是目标位置与反馈强度的组合，不是教师越大、对齐层越多就越好。
• 固定权重确实存在取舍。 表 7 最好的测试静态权重20得到55.1 AP；权重100只有54.6，低于54.7基线；GAM达到55.4，比最佳静态值高0.3 AP点。这是有限网格中的比较，不等于排除了所有可能的静态设置。
• 教师与损失均影响结果。 表 5 的 MAE、DINOv2、DINOv3 分别53.9、54.1、54.3 AP；表 6 余弦优于 MSE。不能把表 1 的全部增益归给单一教师选择或 GAM。
• 跨表口径必须保留。 表 6 的 DEIM-M 基线是52.5而主表是52.7；表 5 的最佳 AP50 是71.9，表2/3/4对应最佳是71.8。原文没有解释这些细微差异，不自行统一，也不把千分位变化当统计显著性。

亮点与洞察

• 最值得借鉴的是寻找知识传播的“入口”，而不是广撒蒸馏头。对拥有明确语义汇聚模块的学生，监督入口可以同时沿前向融合与反向梯度影响更多层，但要用位置消融验证，而非只凭层深推断。
• GAM 以目标模块响应为控制量，避免直接比较不同量纲的损失。但组件参数量与划分也会影响梯度占比，把它移植到别的网络时应重新校准目标区间，不能照搬一个比例。
• 模型压缩在这里不体现为把一个检测大模型剪小，而是把通用强教师的语义迁入既定小学生。学生推理图不变，是蒸馏式能力转移的部署收益，不意味着教师或训练成本不存在。

局限与展望

• 定量证据主要来自 COCO 与 DETR 系列。扩展 CNN、CLIP 或多个教师属于讨论，不是已完成的通用检测蒸馏验证。
• 没有训练时长和峰值显存对照表。更换更强教师可能改变训练代价，因此不能据“部署零新增”推导“大教师升级也总是同成本”。
• 信息瓶颈没有直接互信息估计，PCA特征图只提供定性线索；没有专门域外、背景扰动或腐蚀鲁棒性测试证明全面抑制干扰。
• 缓存式 (14) 损坏、完整默认训练细节不足，仅凭本笔记不能保证复现。原文未提供充分重复实验误差条，也不宜把0.1 AP级差异一律视为稳定优势。

相关工作与启发

• 与 RT-DETR 系列比较：沿用实时集合预测及其既有编码器，区别是外部语义教师与自适应蒸馏，不是新检测解码器。
• 与 D-FINE / DEIM 比较：前者关注回归分布细化，后者关注匹配与收敛；本文可叠加其上，因而同规模、同训练时长 DEIM 是更直接参照。
• 与 FGD / DETRDistill / CrossKD 比较：已有检测蒸馏多使用检测专用教师。本文利用冻结基础模型的特征目标，迁移问题转向如何对齐表征及控制训练作用，而不是怎样匹配教师检测框。
• 可研究方向：在固定教师、数据和训练预算下，对比参数量归一化的梯度统计与原 GAM，并测量训练开销及跨域结果。这是阅读后的建议，不是作者已验证的实验。

评分

• 新颖性: 4/5。贡献在于针对实时 DETR 的注入位置选择与梯度反馈组合，而非首次提出特征蒸馏。
• 实验充分度: 4/5。多尺度、多检测器和关键消融完整，但缺少训练资源与跨域结果。
• 写作质量: 4/5。结构与消融逻辑清楚，理论动机与可证结论仍需区分；提取损坏不作为作者写作缺陷计分。
• 价值: 4/5。对于保持部署图不变的精度升级具有实际意义，收益幅度应按同设置基线判断。

相关论文

• [ECCV 2026] RT-SDGOD: Real-Time Single-Domain Generalized Object Detection
• [AAAI 2026] Beyond Boundaries: Leveraging Vision Foundation Models for Source-Free Object Detection
• [ICLR 2026] FSOD-VFM: Few-Shot Object Detection with Vision Foundation Models and Graph Diffusion
• [CVPR 2026] AnomalyVFM -- Transforming Vision Foundation Models into Zero-Shot Anomaly Detectors
• [ECCV 2026] RT-DocLayout: Real-Time End-to-End Document Layout Analysis with Reading Order in the Wild