Exploring Efficient Reasoning Segmentation with Small Language Models¶

会议: ECCV2026
作者: Changsong Wen, Zelin Peng, Yu Huang, Xiaokang Yang, Wei Shen
论文: https://eccv.ecva.net/virtual/2026/poster/4052
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/4295.pdf
代码: https://github.com/downdric/LReSeg
领域: 多模态推理
关键词: 推理分割、小语言模型、寄存器 token、统一视觉编码、文本条件空间特征

一句话总结¶

LReSeg 不把小模型的单个 <SEG> token 当作全部分割依据，而用统一视觉编码器和文本引导的寄存器 token 补充稠密空间信息，使 805M 参数模型在 ReasonSeg 测试集取得 50.8 gIoU、50.0 cIoU，并在论文计时设置下将 LISA-7B 的 320 ms 延迟降至 98 ms。

研究背景与动机¶

推理分割要求模型从含蓄描述中判断目标，再给出像素级掩码。它与“分割左侧的人”这类直接指代不同：用户可能只描述用途、状态或常识关联，模型必须先理解描述对应的对象。LISA 把这件事接到多模态语言模型上，让回答中的 <SEG> token 作为分割提示，再交给 SAM 解码。大语言模型能承载较强的语义判断，但语言骨干之外还常有两套视觉编码器，整体显存与计算开销很高。

直接把语言骨干换成小语言模型，并不能保证得到同样可靠的掩码。<SEG> 本质上仍是语言序列中的语义表示，小模型更难把足够细的空间信息压进这个单点接口。看似可以直接使用语言模型内的视觉 token，但它们排在文本前面，因果注意力不允许它们读取后来的指令，因此这些空间表示并不知道用户究竟在问什么。问题不只是参数量变小，而是原有信息通路没有把“看哪里”和“分割什么”有效连接起来。

本文从这条通路入手，而非采用量化、蒸馏或剪枝：在语言序列尾部放置少量可学习寄存器 token，使其同时读取图像与文本；再把文本最关注的视觉信息显式注入其中。视觉端则让推理与分割共享 DINOv3，避免为像素预测额外保留 SAM 的重型图像编码器。核心 idea：用少量文本条件空间载体补足小模型的分割接口，让语义目标提示与稠密空间指导分工，而不是要求一个 <SEG> token 独自承担两种职责。

方法详解¶

整体框架¶

输入是一张图像和一条隐含目标的文本指令，输出是目标的二值掩码。LReSeg 先通过“统一视觉编码”生成共享图像特征，再由“选择性寄存器增强”在 Qwen2.5-0.5B 内建立文本条件空间表示，最后通过“双路径解码”把 <SEG> 的目标语义和寄存器提供的空间指导联合用于掩码预测。

高分辨率特征保留给分割端，送进语言模型的则是经过池化和投影的紧凑视觉 token；因此，不需要让语言模型处理原图的全部空间位置。图中的编码器到解码器支路保留细节，语言模型支路负责补充“哪些细节与当前问题有关”。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["图像与隐含指令"] --> B["统一视觉编码"]
    B --> C["选择性寄存器增强"]
    C --> D["双路径解码"]
    B --> D
    D --> E["目标二值掩码"]

关键设计¶

1. 统一视觉编码：让推理与像素预测共享同一套图像表示

传统双编码器路线常用 CLIP 或 SigLIP 为语言推理提供特征，再用 SAM 图像编码器为掩码解码提供特征。这不只是多存一套权重：同一张高分辨率图像还要做两次视觉前向传播，而且语言侧选出的信息与分割侧特征未必处在一致的表示体系中。LReSeg 使用 DINOv3 作为统一视觉编码器，看中的是它同时保留细粒度空间结构、又能支撑多模态理解的能力。这里删去的是独立 SAM 图像编码器，不是放弃掩码解码器。

具体连接方式是把 DINOv3 的视觉特征分为两路：一路保留空间结构送往掩码解码，另一路先做自适应平均池化，再经两层 MLP 映射到小语言模型的嵌入空间。多模态预训练时输入图像为 224 × 224，产生 144 个语言侧视觉 token；分割训练改用 1024 × 1024 图像，并把语言侧视觉 token 数增加到 256。两种分辨率对应不同训练阶段，不能把 144 与 256 当成同一次前向中的两组输入。共享编码器节省的是重复视觉计算，池化节省的是语言模型的序列计算，两者作用位置不同。

2. 选择性寄存器增强：把文本关注的空间信息带进小语言模型后续层

LReSeg 在输入序列尾部追加 16 个随机初始化、可学习的寄存器 token。前面的视觉 token 受因果掩码限制，不能读取随后到来的文本；尾部寄存器则可以读取图像和文本，把两者的信息汇合起来。它们不是额外的像素网格，也不是最终类别标签，而是一小组可训练的空间信息载体。保留因果结构的好处是无需整体改变小语言模型已有的语言建模方式。

仅让寄存器通过自注意力自行学习还不够。作者在第 6 层读取“文本到图像”的注意力，对所有注意力头以及指令文本位置求平均，得到每个视觉 token 的相关性分数，再挑出最受关注的 top-k 视觉 token。下面把原文式 (4)–(5) 合并为等价的清晰记法：

\[ \alpha_j^{(l)}=\frac{1}{H N_t}\sum_{n=1}^{H}\sum_{i=1}^{N_t}A_n^{(l)}(i,j). \]

这里 \(A_n^{(l)}(i,j)\) 是第 \(l\) 层、第 \(n\) 个注意力头中，文本位置 \(i\) 对视觉位置 \(j\) 的注意力；\(H\) 为头数，\(N_t\) 为文本 token 数。分数越高，说明这个图像位置越受当前指令关注，但它不是额外标注的目标掩码，也不是一种推理正确性的置信度。分析实验显示视觉 token 选择数增至 \(k=64\) 时效果最好，继续增加反而会引入冗余与背景信息。

选出的视觉隐藏状态与当前寄存器表示拼接，通过 MLP 更新寄存器；更新后的寄存器继续经过后续语言模型层，而不是直接送去预测掩码。第 6 层被选中，是因为此时文本注意力已开始区分目标区域与背景，同时后面仍有足够层数继续整合空间与语义信息。原文只给出拼接加 MLP 的更新概述，没有在正文明确展开不同 token 数之间的张量整理方式，复现时需要核对实现，不能据此假定寄存器与选中视觉 token 逐一对应。

3. 双路径解码：语义提示选目标，稠密特征补空间

寄存器数量少，不能直接当作整张图像的逐像素表征。LReSeg 因此在语言模型输出后，让视觉 token 作为查询、寄存器作为键和值，做一次带残差的交叉注意力，把已经读过指令的寄存器信息写回视觉 token。按原文式 (7) 的含义，核心变换为：

\[ \mathbf{h}_d=\mathbf{h}_v+\operatorname{Softmax}\!\left(\frac{(\mathbf{h}_v\mathbf{W}_q)(\mathbf{h}_r\mathbf{W}_k)^\top}{\sqrt{d}}\right)(\mathbf{h}_r\mathbf{W}_v). \]

其中 \(\mathbf{h}_v\) 是语言模型处理后的视觉 token，\(\mathbf{h}_r\) 是输出寄存器，\(d\) 是注意力缩放使用的特征维度，\(\mathbf{W}_q,\mathbf{W}_k,\mathbf{W}_v\) 是可学习投影。得到的 \(\mathbf{h}_d\) 继承视觉位置布局，又能从寄存器中读取指令条件信息。这个回写发生在解码侧，不需要让语言模型前部的视觉 token 违反因果掩码去读取后文。

随后，<SEG> 隐藏状态经投影成为稀疏语义提示，指出要分割的目标；增强后的视觉 token 被恢复为空间特征并上采样，形成稠密指导，与统一编码器保留的图像特征一起进入 SAM 风格的掩码解码。两条路径并非各自产生一张掩码再投票，而是在同一次掩码生成中分别提供目标语义和位置细节。原文用 <SEG> 投影与增强图像特征的交互概括掩码预测；其重点是补充分割信息，不是增加文本推理步骤或强化学习训练。

一个完整示例¶

考虑一张包含房屋的图片，指令询问“房屋中可以打开的部分”。这个例子沿用论文图 1 的任务类型，只说明信息流，不假定某次实测注意力值。统一视觉编码保留门窗等结构，池化后的 256 个视觉 token 与指令共同进入小语言模型，序列尾部还有 16 个寄存器 token。

到第 6 层，模型根据文本到图像的注意力挑选相关视觉位置，把这些位置的信息注入寄存器。后续层继续让寄存器结合上下文，而 <SEG> 提供目标语义。双路径解码再把寄存器内容写回视觉位置，并与高分辨率图像特征结合，生成目标区域掩码。这个流程没有硬编码“可打开”一定对应哪个物体；如果语言理解或注意力选区本身出错，寄存器不会自动保证答案正确。

损失函数 / 训练策略¶

多模态模型先做两阶段训练：第一阶段只训练投影器，用 CC3M 子集进行图文对齐，训练 1 个 epoch、批大小 256、学习率 5e-5；第二阶段在 LLaVA 指令数据上微调整个多模态模型，训练 1 个 epoch、批大小 128、学习率 2e-5。视觉编码器与小语言模型需要先学会协同，不能把新增寄存器理解为对任意现成小模型即插即用且无需训练的补丁。

分割阶段混合语义分割、指代分割、ReasonSeg 推理分割和 LLaVA 视觉问答数据。监督包括文本生成损失、二元交叉熵和 Dice 掩码损失，两个掩码损失权重分别为 2.0 与 1.5。作者在 8 张 RTX 3090 上训练 5 个 epoch，批大小为 128，并说明分割任务微调小语言模型与解码器，寄存器共同学习。缓存中的部分公式排版受损，本文仅整理正文可以确认的注意力机制；损失项的组合用文字表述，不补写未经确认的实现细节。

实验关键数据¶

主实验¶

下表合并原文表 1 的参数量与表 2 的 ReasonSeg 测试整体结果。gIoU 为逐样本 IoU 的平均，cIoU 为汇总交并面积后的 IoU，均越高越好；这两种汇总方式不能互换。延迟、计算量和显存越低越好。LISA、READ 是换成同款 Qwen2.5-0.5B 的小模型变体，并非对应原版大模型。

方法	参数量	测试 gIoU ↑	测试 cIoU ↑	延迟 ms ↓	TFLOPs ↓	显存 GB ↓
LISA-7B	未在该对比表列出	47.3	48.4	320	7.16	18.4
LLaVA-OneVision	897M	46.8	46.0	264	6.11	11.9
LISA*	1.5B	46.5	45.2	233	3.08	6.2
READ*	1.5B	48.5	47.1	238	3.09	6.5
LReSeg	805M	50.8	50.0	98	1.42	3.6

相对 READ*，LReSeg 的测试 cIoU 提升 2.9 个百分点；相对 LISA-7B，测试 cIoU 提升 1.6 个百分点，延迟按 320/98 计算约快 3.27 倍。805M 是整套 LReSeg 的参数量，0.5B 是语言骨干规模，不能混为一谈。计时结果来自论文设置；正文没有完整交代独立推理基准的硬件、精度与批量控制，训练用 RTX 3090 不等于计时也已明确使用同一设备。

作为指代分割补充，LReSeg 在 RefCOCOg test 达到 71.2 cIoU，READ* 为 68.0；但 RefCOCO+ val 上 LReSeg 为 63.1，低于 ReLA 的 66.0。因此可说它在多组任务上有竞争力，不能说它胜过表中所有方法、所有划分。

消融实验¶

以下摘取原文表 3，全部为 ReasonSeg cIoU；最后一列是完整模型测试值减去相应变体测试值，单位为百分点。

配置	Val cIoU ↑	Test cIoU ↑	相对完整模型的测试下降
仅使用 `<SEG>`	47.8	46.6	3.4
去掉 `<SEG>`，保留寄存器与视觉 token	48.2	46.9	3.1
去掉寄存器，保留 `<SEG>` 与视觉 token	48.5	47.7	2.3
寄存器固定、不可学习	48.7	47.4	2.6
随机选择视觉 token	50.8	48.1	1.9
每一层都融合视觉信息	52.1	49.0	1.0
去掉因果注意力掩码	49.5	48.2	1.8
DINO 与 SAM 双编码器	51.2	48.7	1.3
完整 LReSeg	52.8	50.0	0.0

关键发现¶

在列出的消融中，仅保留 <SEG> 的测试下降最大，为 3.4 个百分点；去掉 <SEG> 同样明显变差，支持语义提示与稠密空间指导互补，而非寄存器完全取代语义提示。
每层都融合视觉信息并未超过第 6 层的选择性注入，且作者报告其速度更慢；更多注入不等于更好的信息质量。
双编码器变体比完整模型低 1.3 个百分点，说明单编码器在这组实验中不只是牺牲精度换速度；但该消融不能单独证明所有双编码器设计都存在同样的特征不一致问题。

亮点与洞察¶

将小模型的瓶颈定位到信息接口，而非仅归因于推理能力不足。<SEG> 继续负责目标语义，寄存器负责携带文本条件空间信息，这比简单扩充一个语义 token 的职责更有针对性。
利用因果顺序本身安排信息读取。把载体放在序列尾部再于解码端回写视觉表示，既取得文本条件信息，也避免全局改造语言模型的注意力掩码。
统一编码器同时服务参数效率与表示一致性。细节仍留在视觉主干路径，小语言模型只处理较短的视觉序列，并不需要以牺牲全部空间分辨率为代价减小计算量。

局限与展望¶

实验优势主要针对同量级方法和指定 LISA-7B 基线，不能外推为超过所有大型推理分割模型；本文也没有给出跨设备部署或长视频场景验证。
性能依赖中间注意力是否能定位相关区域。第 6 层和少量寄存器在当前骨干上有效，不代表面对更复杂关系、背景干扰或不同预训练模型时仍是固定最优选择。
缓存正文未完整说明 top-k 视觉 token 与寄存器拼接时的张量处理，以及推理计时控制条件。后续复现应首先核对这些边界，并补充多次运行波动和复杂指令分组评估，而不是只引用总体均值。

评分¶

新颖性: 4/5。寄存器、注意力选区和共享编码各有前例，但组合明确针对小模型推理分割的空间接口瓶颈。
实验充分度: 4/5。包含同规模比较、效率、指代分割和多组消融，但缺少完整计时条件与统计波动说明。
写作质量: 3/5。总体机制易于理解，部分张量衔接和实验条件交代不足，缓存公式排版也影响复现阅读。
价值: 4/5。为资源受限的语言引导像素预测提供了可解释的架构方案，证据支持其在当前任务设置下的实用潜力。