LlamaSeg: Image Segmentation via Autoregressive Mask Generation¶

会议: ECCV2026
论文: ECCV 原文
PDF: 论文全文
代码: https://github.com/GML-FMGroup/llamaseg
领域: 语义分割
关键词: 自回归掩码生成、视觉分词器、开放词汇分割、指代分割、轮廓精度

一句话总结¶

LlamaSeg 用冻结的 VQGAN 把掩码变成离散视觉 token，让 LLaMA 风格模型根据图像和文字逐 token 生成掩码，384 像素版在 ADE20K 达到 55.9 mIoU，但指代分割精度和延迟仍不及专用判别式方法。

研究背景与动机¶

大语言模型擅长按序输出 token，而分割需要在二维图像上准确标出目标区域。把这两种输出接口接起来，并不等于让语言模型真正学会生成像素级结构。 LISA 一类方法输出特殊分割嵌入，再交给 SAM 这样的专家模型生成掩码，语言推理和精细分割仍由不同模块承担。另一条路线把轮廓写成多边形顶点，虽然可以沿用序列预测，但复杂边界需要很长的坐标序列。把空间标签写成文本也有类似问题：文本表达方便，却不天然保留细粒度形状。

本文关注的矛盾是，统一的下一 token 预测接口需要离散序列，而高质量分割又依赖二维局部结构和轮廓细节。作者借用自回归图像生成的表示方式，将黑白掩码视作一种内容简单、几何要求严格的图像。这样预测对象不再是一个交给专家解释的语义标记，也不是一串人为规定的轮廓坐标，而是可由图像分词器还原的视觉码。不过，表示改变并不能自动解决语言定位：模型还需要大量图像、文字和掩码配对，才能知道指令究竟指向哪里。传统语义分割标签的固定类别体系与规模，也不足以独自覆盖丰富的类别名称、关系描述和功能性描述。

因此，论文同时设计 SA-OVRS 标注流程和轮廓评价方式，而不是只替换输出头。训练数据补充文字与像素的对应关系，离散掩码表示承载形状，轮廓指标检查区域重叠分数容易掩盖的细节损失。这里的“统一”主要指分割进入标准自回归生成范式，不意味着完全没有编码器或解码器，也不意味着一个最终权重同时完成所有任务。 核心 idea：利用已有图像分词器把掩码转为视觉 token，在图像与文本条件下直接学习下一掩码 token，并用大规模语言配对数据支撑定位能力。

方法详解¶

整体框架¶

输入是一张图像和一条分割指令，输出是该指令对应的二值掩码。类别名可以请求同类目标的区域，指代表达则用于区分图像中的特定实例。训练时，真实掩码经过 VQGAN 编码和量化，成为自回归模型需要预测的目标序列。推理时不存在真实掩码输入，模型仅接收图像、文字及掩码起始标记，逐步预测码本索引。这些索引查表后重新排列成二维特征图，经冻结的 VQGAN 解码器还原为黑白掩码。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Source["SA-1B 图像与掩码"] --> Data["语言配对数据构建"]
        Data -->|仅训练：真实掩码| Tokens["离散掩码表示"]
        Tokens -.->|目标 token 监督| Model["条件自回归生成"]
        Data -.->|仅训练：图文配对| Model
        Input["图像与文字指令"] --> Model
        Model -->|推理：预测码本索引| Decode["查表、二维重排与解码"]
        Decode --> Output["通道平均与二值化掩码"]

论文提供两种生成器接入方式：从头训练 LLaMA 风格主干，或适配已有 Janus Pro 多模态模型。前者用冻结的 SigLIP2 提取图像和文字特征；后者沿用预训练模型的语言入口和 SigLIP 图像编码路径。两者共享“预测掩码视觉码，再还原掩码”的输出逻辑，不能把不同分支的编码器配置混为一谈。数据标注中的 Qwen2-VL 和 GroundingDINO 只参与离线数据构建，不属于部署时每次分割的调用链。

关键设计¶

1. 语言配对数据构建：为像素掩码补上可定位的文字

SA-1B 提供大量掩码，但模型还需要知道哪些文字与哪些掩码对应。第一阶段使用 Qwen2-VL-72B 为每张图像生成至多 10 个候选开放词汇标签，再由 GroundingDINO 检测对应目标框。同一标签对应的框超过 4 个时会被过滤，以减少拥挤场景中的匹配歧义。论文还报告了 0.97 的嵌套检测过滤阈值，以及大于 0.3 的检测置信度要求。单框标签的匹配 IoU 阈值为 0.85，多框标签为 0.9；这是原文的匹配规则描述，不应当作测试时分割阈值。同类掩码合并成语义样本，使模型学习类别级区域，而不是只记住单个实例。

第二阶段给选定实例描出绿色轮廓，要求 Qwen2-VL-72B 生成能区别于其他目标的指代表达。随后通过重新着色轮廓及交叉核验，检查描述是否唯一、是否也适用于其他实例。推理型表达则隐藏类别名，用功能或常识属性描述目标，例如以“可以坐也可以躺的家具”指向沙发。原文明确说明这类推理表达没有经过相同的核验步骤，不能把所有文本都称为同等严格验证。第 9 页给出的细分规模是 1.93M 个验证后实例掩码、1.15M 个语义样本，以及 850K 条表达，其中 800K 为指代、50K 为推理表达。这些是不同统计单位，不应相加后称为独立掩码数量；摘要中的 2M 是概括量级，标签覆盖超过 5,800 种。

2. 离散掩码表示：用图像码本保存可重建的二维形状

作者采用来自 LlamaGen 的预训练 VQGAN，空间下采样率为 16，并把二值掩码表示为三通道黑白图像。编码器先产生低分辨率连续特征，再将每个位置的特征匹配到欧氏距离最近的码本向量。记录的不是向量本身，而是码本索引；二维索引网格按顺序展开后，就是训练目标 token 序列。 256 像素输入对应 \(16\times16\) 的掩码网格，即 256 个 token；384 像素输入对应 \(24\times24\)，即 576 个 token。这些网格大小由下采样率直接推出，解释了增加分辨率为何同时提高空间容量和顺序生成成本。视觉码不是单个像素标签，也不是单个多边形顶点，而是局部潜在视觉表示的离散入口。

生成结束后，每个预测索引查出码本向量，再恢复二维排列并输入解码器。解码结果仍是三通道图像，论文随后对通道取平均并二值化，得到最终区域。缓存中原式 (1)、(2) 的排版损坏，因此这里只采用正文明确支持的最近邻量化和二值化流程，不猜补二值阈值。冻结分词器的意义是保留其从大量彩色图像学到的重建能力，而不是假定黑白掩码一定需要专门再训练。表 4 正好检验了这个假设：在论文测试的微调设置中，掩码专项微调反而损害重建质量。不过重建本身仍有信息损失，图 7 显示高 IoU 并不保证细节完整，因此分词器也形成了下游精度上限。

3. 条件自回归生成：让视觉码成为真正的预测目标

从头训练分支使用 patch size 为 16 的冻结 SigLIP2，与掩码分词器下采样率一致。图像和掩码 token 因而对应相同大小的像素区域，这种位置粒度一致性帮助模型建立输入与输出的空间关联。图像、文字适配器各由两层线性层和 GELU 构成，将特征投影到生成器的隐藏维度。主干使用一维 RoPE，按正文给出的序列布局接收文字、<BOI>、图像、<BOM> 和训练用掩码 token。原文另有“沿通道拼接”的表述，与列出的序列布局不够一致；这里据显式序列说明逻辑顺序，不断言未核对的张量实现。交叉熵只监督掩码 token，条件图文用于帮助预测，而不是被要求一并重建。

推理从 <BOM> 之后开始，每次输出一个码本索引，再把已有预测作为后续条件。 LlamaSeg-B 和 LlamaSeg-L 分别采用 0.77B、1.5B 参数规模；它们是 LLaMA 风格架构，并非都从预训练语言模型直接微调得到。 Janus Pro 分支则通过 LoRA 适配，保留其生成路径中的 Gen Embedding、Gen Adapter 和 Gen Head 为冻结状态。该分支沿用对话角色格式，以 <begin_of_mask> 开始掩码序列，并移除无条件生成部分。因果注意力虽然只在一维序列中运算，但先前的掩码行也在上下文内，模型可以学习跨行的二维关系。图 6 中同列前行的注意力条带及行首对上一行行尾的抑制提供了定性支持，但不能由单个可视化推导普遍的拓扑理解能力。

一个完整示例¶

以论文图示中的“分割左侧公交车”为例，下述网格步骤用于解释流程，不是新增实验结果。训练时，图像及其指令提供定位条件，真实公交车掩码则被编码为监督序列。若采用 256 像素设置，真实掩码经过 16 倍下采样后形成 \(16\times16\) 的索引网格。模型学习在已知图文和先前掩码 token 的情况下预测后续索引，而不是输出“公交车”这个词就结束。测试时只给图像和指令，模型逐步生成 256 个掩码 token，再把它们排列回同一二维网格。解码器把整个潜在网格还原为掩码，通道平均与二值化得到左侧公交车区域。因此，定位错误来自条件理解或 token 预测，细节误差也可能来自分词器重建，不能都归为语言推理失败。

损失函数 / 训练策略¶

训练目标是掩码序列的下一 token 交叉熵；以下是对正文目标的简写，不是损坏原式的复原。其中 \(q_t\) 为真实掩码码本索引，\(I\) 和 \(T\) 分别表示图像与文字条件，\(N\) 是掩码 token 数量。

\[ \mathcal{L}_{\mathrm{mask}}=-\sum_{t=1}^{N}\log p_{\theta}(q_t\mid I,T,q_{<t}). \]

预训练组合 SA-OVRS 与指代分割数据，运行 4 个 epoch，使用 AdamW，学习率 \(2\times10^{-4}\)，权重衰减 0.05。之后语义分割和指代分割分别微调，不应将这些任务结果解释为同一最终检查点的统一测试。微调学习率为 \(1\times10^{-4}\)，权重衰减为 0，采用 WarmupCosineDecay 和 1% 线性预热。语义任务微调 10 个 epoch，指代任务微调 20 个 epoch，训练使用 8 张 NVIDIA A800 或 H20 GPU。从头训练的 LLaMA 分支使用贪心解码，因为这里追求确定的目标掩码，而不是生成多样化图像。表 5 给出的实测支持只针对 LlamaSeg-B 的 RefCOCO 验证集设置，不能推广为所有生成式分割模型的定理。

实验关键数据¶

主实验¶

以下摘录原文表 1（第 11 页），所有数值均为 mIoU，越高越好；ADE20K、COCO-Stuff 为闭集任务，后三列为开放词汇评测。未标注 384 pix. 的 LlamaSeg-L 与其高分辨率版应分别阅读，参数量相同不代表推理计算量相同。

模型	参数量	ADE20K	COCO-Stuff	PC-459	PC-59	PAS-20
Unified-IO-XL	2.9B	45.2	55.2	未报告	64.0	74.9
Unified-IO2-XXL	6.6B	51.9	55.1	未报告	未报告	未报告
LlamaSeg-B	0.77B	50.5	54.5	28.5	61.7	74.5
LlamaSeg-1B(MLLM)	1B	45.1	50.1	35.6	58.2	71.1
LlamaSeg-L	1.5B	52.0	55.7	35.5	62.5	75.1
LlamaSeg-L (384 pix.)	1.5B	55.9	58.1	36.7	63.8	77.1

高分辨率版相对 LlamaSeg-L 在 ADE20K 提升 3.9 点、COCO-Stuff 提升 2.4 点，但 PC-59 的 63.8 仍低于 Unified-IO-XL 的 64.0。因此原文“所有基准都领先”的概括不能按字面扩展到表中每一列。指代分割采用 cIoU，即先累计预测与真实掩码的交集、并集，再求比值，而不是逐实例 IoU 的简单平均。原文表 2（第 11 页）中，RefCOCO val 上 LlamaSeg-L 为 56.5，Unified-IO2-XXL 为 54.8，而 LAVT 和 ReLA 分别为 72.7、73.8。这说明它改善了生成式方法的表现，但没有超过专用判别式方法；RefCOCOg test 上 LlamaSeg-L 的 50.4 也低于 Unified-IO2-XL 的 54.5。

消融实验¶

下表摘录原文表 5（第 14 页）：LlamaSeg-B，RefCOCO 验证集；cIoU 越高越好，mAHD 越低越好，mAHD 使用 IoU 阈值 0.5。

解码方式	cIoU	mAHD
贪心搜索	50.9	14.4
束搜索，B=3	47.3	15.1
Top-K，K=3	49.4	15.3
Top-P，P=0.9	50.2	15.3
随机采样	49.2	15.7

贪心搜索相对束搜索提高 3.6 个 cIoU 点，同时改善轮廓指标；更大的搜索分支并未带来更好的确定性掩码。下表摘录原文表 4（第 13 页）：仅测分词器掩码重建，不是完整分割；微调 batch size 为 128，mAHD 不施加 IoU 阈值筛选。

分词器训练步数	Total IoU	mAHD
0，冻结	96.8	6.1
5000	93.0	12.5
10000	93.5	10.6

该表支持保留预训练分词器，但只覆盖所测试的微调方案，不能据此断言任何掩码分词器训练都无效。原文表 6（第 14 页）还显示，SA-OVRS+Ref. 预训练使 LlamaSeg-B 的 ADE20K mIoU 从 48.9 增至 50.5，RefCOCO cIoU 从 46.0 增至 50.9。这里比较的是联合预训练与无预训练，不能把差值全部归因于单独的 SA-OVRS 数据。

关键发现¶

轮廓指标先对预测边界的每个点计算到真实边界的最近欧氏距离并取均值，再反向计算真实边界到预测边界的均值，最后平均两个方向，得到 dAHD。这是一种双向平均距离，不是取最大偏差的经典 Hausdorff 距离；缓存原式 (3) 排版受损，此处依据正文给出定义。作者在 IoU 阈值 0.5、0.6、0.7、0.8、0.9 下分别筛选预测并报告平均值 mAHD，不能把它理解为所有样本都被纳入的无条件指标。原文表 3（第 12 页）将分辨率归一到 256 像素；ADE20K 的 IoU-0.5 列中，LlamaSeg-L 为 25.54，Unified-IO-XL 为 75.88。不同模型通过阈值的样本集合可能不同，轮廓优势应与整体 IoU 一起阅读；表 4 不筛选阈值，也不能直接与表 3 横比。原文表 7（第 15 页）报告 LlamaSeg-B 延迟 3949.92 ms、0.250 FPS、峰值内存 3.69 GB，LAVT 则为 35.89 ms、27.84 FPS、1.78 GB。 LlamaSeg-B 虽比 Unified-IO2-Large 的 57906.23 ms 更快，但仍远离实时分割。

亮点与洞察¶

关键变化是输出表示，而非简单给语言模型外挂分割专家。视觉码让局部形状进入下一 token 预测目标，同时保留通用图像解码能力。
图像 patch 与掩码下采样粒度一致，使条件和目标有可对应的空间单位。这比只保证两种特征的隐藏维度一致更贴近稠密预测的需求。
黑白掩码看似简单，专项训练却不必然优于通用视觉预训练。表 4 提醒研究者先测冻结重建上限，再决定是否花资源重训分词器。
区域重叠和边界质量需要分别观察。本文的轮廓分析有价值，但阈值筛选带来的样本选择效应也必须一并报告。

局限与展望¶

作者承认顺序生成比并行稠密解码慢，指代分割也与专用判别式模型有明显差距。当前结果更适合证明统一生成接口的可行性，而非实时部署优越性。
分词器重建会丢失细节，即使 Total IoU 达到 96.8 也不代表所有细结构无损。这是生成器之外的误差来源。
读者判断：表 6 混合了 SA-OVRS 和已有指代数据，缺少单独隔离 SA-OVRS 的等预算比较，数据贡献的因果归属仍有限。
读者判断：推理表达未做同等交叉验证，而且主实验没有单独展示推理分割基准，不能由 50K 推理表达推导已验证的复杂推理能力。
后续可比较等延迟条件下的短序列或并行生成方案，并同时报告各 IoU 阈值的样本覆盖率。这些是研究建议，不是论文已完成的实验。

评分¶

新颖性: 4/5。将视觉码预测、语言配对数据与边界分析组合成完整分割方案，但分词器和生成主干主要复用已有设计。
实验充分度: 4/5。覆盖语义、开放词汇、指代、重建、解码和效率分析，仍缺更严格的数据归因与推理分割专项验证。
写作质量: 3/5。主线清楚，但部分总体领先措辞超出表格支持，且缓存公式与个别张量描述存在可读性问题。
价值: 4/5。对统一视觉生成接口及分割数据构建有参考意义，但实时性和专用任务精度仍是实际限制。