T-REN: Learning Text-Aligned Region Tokens Improves Dense Vision-Language Alignment and Scalability¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/savya08/T-REN
领域: 多模态 VLM
关键词: 区域文本对齐、多区域查询、开放词汇分割、视觉 token 压缩、跨帧聚合

一句话总结¶

T-REN 在冻结的 DINOv3/dino.txt 上学习“一点多个区域”的池化与文本对齐，将 ADE20K 开放词汇分割提升至 30.6 mIoU，并在另一套视频定位评测中以 187.5 倍表示压缩取得 52.4% Recall@1。

研究背景与动机¶

图像级视觉语言模型能够判断整张图与文字是否相关，却未必知道文字对应哪个局部。一个物体通常跨越许多 patch，单个 patch 又可能混有背景；把这些特征逐一与类别文字比较，既容易破坏物体边界，也必须为每幅图保存大量 token。到了长视频，重复出现的同一物体还会在每帧占用一组 patch，空间碎片化和时间冗余会同时放大。

已有方法大多分别处理这两个问题：CLIP 的密集对齐改进仍以 patch 为单位，token 剪枝或合并则不一定保证保留下来的表示对应完整语义区域。REN 已能用点提示和交叉注意力直接池化区域，省去逐图调用 SAM 的过程，但每个点只输出一个 token，且没有学习区域文本对齐。车轮上的一个点既属于车轮，也属于整辆车，单一输出必须在这些合理解释中做取舍。

T-REN 因而不是给分割器附加一个压缩步骤，而是学习可被文字直接查询的区域编码器，分割、图像检索和视频定位共享这一表示。核心 idea：让一个点产生多个层级候选区域，联合学习区域池化与文本对齐，再在视觉空间合并重复区域及连续帧中的相同对象，使语义对齐和紧凑表示来自同一套训练机制。

方法详解¶

整体框架¶

输入图像先经冻结的 DINOv3 ViT-L 得到 patch 特征；T-REN 的轻量查询网络将点提示变成区域 token，最后用 MLP 映射到 DINOv3-based dino.txt 的文本嵌入空间。新增网络参数仅为原视觉语言骨干的 3.7%，并不重新训练骨干。

图像检索保存去重后的区域 token，视频则进一步保存跨帧聚合的轨迹 token。空间坐标与帧索引也随表示保存，所以文字匹配得到一个 token 后，仍能找回它涉及的位置和时间。下图描述检索及视频路径；图像开放词汇分割评测关闭区域去重，不应把它与压缩路径混为一谈。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["冻结 patch 特征<br/>与点提示"] --> B["多区域查询池化"]
    B --> C["视觉空间去重"]
    C -->|视频| D["跨帧轨迹聚合"]
    C -->|图像| E["区域文本联合对齐"]
    D --> E
    E --> F["文字匹配<br/>与时空位置回溯"]

关键设计¶

1. 多区域查询池化：同一点保留部件与整体的不同解释

每个点的位置通过高斯随机傅里叶特征编码，再分别加到 \(k=3\) 个可学习 token 上，形成位置相同、语义角色可以不同的查询。推理时铺设包含 \(P\) 个点的规则网格，总共得到 \(P\times k\) 个查询。它们不是三个固定类别槽位，而是由区域监督学习如何覆盖同一点处的多个实体；若当地只有一个区域，多余预测可以最终被合并。

查询经过 \(L=2\) 层解码器，每层先与 patch 做交叉注意力，再让同一点的三个查询彼此做自注意力。自注意力不是让全部点任意交互，而是协调一个位置的多个候选；之后重新注入该点的位置编码，防止后续层丢失空间锚点。最后一层专门用单头交叉注意力生成区域表示，并省略 value 与输出投影，使结果仍是冻结视觉特征的加权汇总，而不是任意变换后的新特征空间。

原文第 3.1 节给出的注意力权重为：

\[ a_i=\operatorname{softmax}\left(q_iK^\top/\sqrt{d_k}\right). \]

这里 \(q_i\) 是区域查询，\(K\) 是 patch 键矩阵，\(d_k\) 为键维度。权重在 patch 位置上构成低分辨率软掩码；训练引导它集中到目标区域，再用这些权重池化原始视觉特征。单头设计的重要性是让“这个 token 看了哪里”对应一张明确的掩码，而非多个头混合后的难解释空间分布。

2. 视觉空间去重：先让重复区域靠近，再按相似性合并

规则网格能覆盖画面，却会在一面墙上反复取到相同区域。T-REN 对视觉 token 做平均池化合并：两者的余弦相似度超过 \(\tau_{\mathrm{token}}=0.975\)，或交叉注意力掩码的 IoU 超过 \(\tau_{\mathrm{mask}}=0.8\)，都可触发合并。输出数量随画面复杂度变化，而不是强制每张图只留下固定几个 token。

去重在文本投影之前进行，这一区别能避免把“类别相同”直接当作“视觉区域相同”。其可靠性也不是完全依赖阈值碰运气：视觉对比学习明确鼓励同一真值掩码对应的 token 聚集，因而合并规则和训练目标相互配合。合并结果缓存原点提示坐标，供后续分割标签传播和区域定位使用；压缩 token 并不意味着把全部定位信息丢弃。

3. 跨帧轨迹聚合：把连续可见对象保存为一条记录

仅做帧内合并仍会重复保存视频中长期出现的物体。对下一帧，模型在文本投影前比较其区域 token 与当前活跃轨迹的视觉余弦相似度，只保留超过 \(\tau_{\mathrm{track}}=0.65\) 的候选，再做贪心一对一匹配。未匹配区域新建轨迹；“活跃”要求对象在当前帧出现，因此这里不是支持任意长遮挡后重识别的跟踪器。

每条轨迹对组成它的区域 token 求平均，同时缓存对应帧索引。视频场景解析只需把轨迹 token 与类别文字比较一次，再把类别传播到该轨迹的各帧、各位置。对象最后出现时间的检索则额外结合图像裁剪查询与文本查询，避免仅凭类别文字把不同实例混在一起。

第 4.3 节将轨迹分数定义为两种余弦相似度的乘积：

\[ s_{\mathrm{track}}=s_{\mathrm{visual}}\times s_{\mathrm{textual}}. \]

\(s_{\mathrm{visual}}\) 比较查询裁剪的视觉 token 与视觉轨迹 token，\(s_{\mathrm{textual}}\) 比较查询文本与文本对齐轨迹 token。保留分数超过 0.18 的轨迹后，返回结束时间最晚的一条的时间窗，而不是单纯选择分数最高的轨迹；这个决策直接对应“最后一次出现”的任务定义。

4. 区域文本联合对齐：让池化结果直接接受语言监督

去重后的区域 token 经 MLP 投影到文本空间，与 dino.txt 文本编码器输出做余弦匹配。重要的并非只多加一个投影头，而是池化与对齐共同学习：视觉对比目标将同一区域的预测拉近，文本对比目标让区域预测靠近对应类别文字，从而使空间聚合和语义命名彼此兼容。

同时，在视觉与文本对齐空间分别蒸馏冻结骨干的区域目标，约束新 token 不要丢掉预训练表示的知识。文本目标不是简单类别标签，而是先对真值掩码内的 DINOv3 特征平均池化，再通过 dino.txt 的视觉文本对齐模块得到。类别文字提供辨别性监督，骨干蒸馏则为开放词汇迁移提供锚点；二者承担不同作用。

一个完整示例¶

设一张图有汽车、车轮和墙，且某个点落在轮胎上。这是对机制的示意，不是新增实验：该点的三个查询可以分别关注轮胎局部、车轮和整车，而另一个车身点也可能生成整车区域。视觉去重将重复整车表示合并，保留与它不同的车轮表示，因此文字查询“wheel”不必从分散的车身 patch 中寻找局部证据。

在 Visual Haystacks 中，系统先在 \(D\) 张图的全部区域 token 中查找锚点对象，以最高余弦相似度所在图作为检索结果；再只在该图检查目标对象。目标文本与任一区域的最大相似度超过 0.23 就回答存在，否则回答不存在。这个流程把“检索到了哪张图”和“该图里有没有另一物体”分开，所以图像检索 Recall@1 与最终二元问答准确率不能互换。

损失函数 / 训练策略¶

训练使用 COCOStuff、OpenImagesV7、PhraseCut、Mapillary 和 SA-1B 五套分割数据。点从真值掩码内部采样，采样概率正比于该位置重叠区域数的平方，使部件与整体重叠的位置获得更多监督。每点最多对应三个目标区域；以预测和目标视觉区域 token 的余弦距离构造代价矩阵，再用匈牙利匹配进行一对一分配。目标不足三个时，未匹配预测不计入损失，避免强迫不存在的实体占满槽位。

原文式 (1) 的视觉对比目标将相同掩码视作正对应，式 (2) 在区域文本空间做双向对比，式 (3) 将预测蒸馏到对应的视觉及文本对齐目标。式 (4) 还对最大值归一化后的注意力掩码施加 BCE 与 DICE 监督；作者报告该项加快收敛，不改变最终性能。缓存中式 (1) 至式 (4) 排版损坏，因此这里只解释可核实的目标和匹配关系，不猜补分母、损失权重或运算符。

缓存主文没有给出足以复现的优化器、学习率、训练轮数和各损失权重，不能据此补写训练配置。论文称下游实验均为零样本评测，但这是相对于目标评测设置而言，不表示模型没有使用分割监督或从未见过相关类别。

实验关键数据¶

主实验¶

表中数值来自原文表 2、表 3。图像分割采用 \(24\times24\) 点网格，每点三个文本对齐 token 先取平均，形成 \(24\times24\times C\) 类别相似度图，再上采样到 \(384\times384\times C\) 并逐像素取最高分类别；关闭 token 合并，点级输出为 576 个。故此处的 ADE20K 改善不能与视频压缩倍率绑定为同一实验配置。

数据集与任务	指标	DINOv3 dino.txt	T-REN	差值 / T-REN 压缩倍率
ADE20K，开放词汇分割，表 2	mIoU	24.7	30.6	+5.9 点；关闭合并
Cityscapes，开放词汇分割，表 2	mIoU	36.9	52.7	+15.8 点；关闭合并
Ego4D，最后出现时间定位，表 3	Recall@1 (%)	36.8	52.4	+15.6 个百分点；187.5 倍
Ego4D，最后出现时间定位，表 3	tAP	14.4	26.4	+12.0 点；187.5 倍
VSPW，视频场景解析，表 3	mIoU	20.7	38.3	+17.6 点；254.5 倍

Ego4D 同时提供文字和对象裁剪查询，视频平均长 140 秒，以 5 FPS 采样，目标最后出现时间窗平均为 3 秒；预测时间窗与真值的 temporal IoU 超过 0.25 才算正确定位。上述压缩倍率均相对于 patch 表示的 token 数，不是运行速度倍率。表 2 的高分辨率 T-REN+ 为 ADE20K 32.0、Cityscapes 58.7 mIoU，也不能混入 384p 基础模型结果。

消融实验¶

原文表 4 分别控制是否训练区域池化与文本对齐。VH 是 Visual Haystacks，下面保留 \(D=10\) 时的检索 Recall@1；不混入其另列的最终问答指标。

训练区域池化	训练文本对齐	ADE20K mIoU	Cityscapes mIoU	VH 检索，D=10 (%)
否	否	24.7	36.9	68.4
否	是	25.4	44.7	76.1
是	否	19.5	21.1	65.5
是	是	30.6	52.7	87.2

仅训练文本对齐是在 patch 上接受区域文字监督；仅训练池化则把学到的掩码事后用于池化 dino.txt 的文本对齐 patch。后者在 ADE20K 甚至低于不训练的基线，说明区域掩码正确并不足够：若被池化的语言特征本就跨越物体边界，事后池化仍会得到空间错位的语义表示。

原文表 5 单独检查压缩是否损害 VSPW 表示质量。这个表中的无合并配置已经使用 T-REN，不能与主表的 dino.txt 基线视为同一模型。

帧内合并	时间合并	VSPW mIoU	相对 patch 基线的压缩倍率
否	否	38.6	1 倍
是	否	38.6	29.2 倍
是	是	38.3	254.5 倍

关键发现¶

联合训练比只训练文本对齐多出 5.2 ADE20K mIoU，不能把完整模型的增益全部归因于语言监督数据。
帧内合并在 VSPW 上不损失 mIoU；再加时间合并损失 0.3 点，换得更高压缩。应称“轻微下降”，而非无损。
图 3 报告跨数据库规模平均检索 Recall@1 提高 18.4 个百分点、平均 token 压缩 24.4 倍；图 5 的单 token 对照支持多区域查询，但不从曲线猜读额外精确数值。

亮点与洞察¶

表示压缩可以由监督塑造，而不只是推理时的启发式删除。同一区域的预测被训练得接近，后续合并才有明确语义依据。
多查询不是简单增加输出预算。它把部件与整体的歧义留到区域表达层处理，再合并重复项，避免“一点只能代表一个物体”的硬限制。
轨迹 token 与轻量时空索引分开保存，对记忆检索很有启发。高维语义特征可以聚合，而位置和帧索引仍支持返回原始证据。

局限与展望¶

作者将区域模型端到端训练列为未来方向；当前结果依赖强冻结骨干，不说明从头训练同类结构会有相同表现。
压缩主要减少缓存与下游传播的表示，不能消除高分辨率骨干提取 patch 的成本。参数增加 3.7% 也不等于端到端耗时只增加 3.7%。
训练类别超过 4,600 个，与 ADE20K 的 150 类有重叠。严格排除同义词后仅找到 5 个完全未见类，另有 13 类仅以同义词形式出现；图 6c 的迁移证据范围有限，不支持“所有评测类别均未见”的表述。
本文解读认为，固定阈值与只匹配活跃轨迹的一对一规则可能对遮挡、外观突变和相似实例敏感；原文没有专门量化这些失败模式。可进一步做遮挡时长与实例混淆的分组评测。
原文缺少全局任务的新增实验，并以骨干图像级表示不变解释其性能保持；这不等于已验证区域 token 替换 MLLM 输入后仍保留全部问答能力。

评分¶

新颖性: 4/5。把多区域查询、联合对齐与跨帧压缩组织成统一编码器，核心池化结构继承 REN。
实验充分度: 4/5。覆盖图像与视频，并分离池化、对齐和合并消融，但严格未见类别规模较小。
写作质量: 4/5。任务与机制清楚，缓存损失公式损坏和主文训练配置不足限制了复现核验。
价值: 4/5。对高密度视觉检索与视频记忆表示有直接意义，尚不能外推为通用 MLLM 加速结论。