title: >- PuzLM：用序列到序列语言模型求解拼图 description: >- ECCV2026 论文 PuzLM 将拼块边界经 PCA 和 k-means 转为离散符号，再用 BART 自回归预测位置，在 ImageNet 3×3 达到 87.1% 完整拼图准确率，并分析缺块、边界侵蚀和序列组织的影响。 tags: - ECCV2026 - 视觉推理 - 拼图重组 - 序列到序列 - 图像词元化 date: 2026-09-17

PuzLM: Solving Jigsaw Puzzles with Sequence-to-Sequence Language Models¶

会议: ECCV2026
论文: ECCV 原文
领域: 视觉推理 / 拼图重组
关键词: 方形拼图、离散表示、序列到序列、边界词元、自回归预测

一句话总结¶

PuzLM 用轻量的边界词元化把图像拼块变成符号序列，再让标准编码器–解码器模型预测每块的网格位置，在 ImageNet 3×3 上取得 92.2% 拼块位置准确率和 87.1% 完整拼图准确率。

研究背景与动机¶

方形拼图没有玩具拼图的凹凸轮廓，所有块的几何形状相同，判断邻接主要依赖图像内容。传统方法比较相邻边界的颜色或学习两块之间的兼容度，再用搜索、优化或强化学习拼出整体布局。近期方法进一步引入视觉 Transformer、扩散模型和视觉语言模型，但大多让视觉外观与结构关系混在连续特征里。这样即使模型拼对，也难区分它究竟依靠局部像素吻合，还是学到了跨拼块、跨位置的统计规律。

PuzLM 试图控制这一信息接口：前端仍然读取图像，但后端只接收固定词表中的离散编号。这不是把图像先描述成自然语言，也不是要求聊天模型看图解释，而是把拼图直接改写成有监督的序列映射任务。每个输入单元代表一块图像的边界结构，输出单元则代表这块图像应被放到哪个网格位置。因此，研究重点是这种低分辨率符号接口能否保留足够的拼接信息，而不是追求可还原原图的高保真图像编码。

这种选择尤其针对边界侵蚀和缺块：当精确像素接缝不可靠时，过度依赖细节未必比学习全局关系更稳健。离散化能合并一些无关的光度变化，但也可能丢掉区分相似块所需的信息，不能预先认定它一定更优。作者因此同时比较主任务表现和词元化设计，检验紧凑程度、空间顺序与建模能力如何共同影响重组。 核心 idea：把拼块边界压缩成结构一致的符号序列，借助编码器的全局上下文和解码器的逐步位置预测完成拼图，而不让求解器直接访问像素。

方法详解¶

整体框架¶

输入是一个已知大小的方形网格所对应的无序拼块集合，输出是每块到网格位置的一一分配。论文用零起点的逐行顺序给网格位置编号；输出序列按输入拼块顺序排列，不是按目标位置罗列拼块。整个流程依次经过“边界符号化”“规范化序列”“自回归位置预测”，默认求解骨干为 BART。其中前端负责把视觉内容变成符号，后端负责根据所有符号推断位置，二者的信息接口明确分离。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Pieces["无序方形拼块"] --> Tokenize["边界符号化<br/>PCA 与 k-means"]
        Tokenize --> Serialize["规范化序列<br/>词典序与分隔符"]
        Serialize --> Predict["自回归位置预测<br/>编码器与解码器"]
        Target["真实位置序列"] -.->|仅训练监督| Predict
        Predict --> Layout["每块的位置编号<br/>重排得到拼图"]

训练时先从训练拼块学习 PCA 投影和聚类中心，再用拼图与真实位置序列训练求解器。推理时沿用固定投影、词表和求解器参数，不需要真实位置，也不需要先重建像素图像。图中监督边只用于区分训练与推理，并不表示真实位置在测试时作为求解线索输入。

关键设计¶

1. 边界符号化：保留可拼接结构，而不是重建全部外观

每块图像先切成 \(B\times B\) 个小 patch，把每个 patch 展平后经 PCA 投影到低维空间，再用 k-means 的最近中心编号作为词元。这个编号表示它属于哪个簇，而不是原始颜色数值，也不是具有预定义自然语言含义的单词。同一 patch 的编号由固定投影和聚类中心决定，不依赖它旁边出现什么词元或处在序列的什么位置。这样的上下文无关编码让相似局部模式跨拼块复用同一符号，避免前端先把邻域关系揉进不可分解的视觉表示。求解器随后通过自己的嵌入层学习符号之间对拼图任务有用的关系，而不是直接接收 PCA 向量或聚类中心的像素外观。不过，“不直接看像素”不等于“没有任何视觉信息”：词元本身仍由图像生成，能够携带量化后的外观线索。

得到完整的 patch 网格后，方法只保留外围一圈，并按顺时针串接为一个 super-token，即表示一块拼图的短词元序列。它不是再把整块压成一个新词表编号，而是保留一组有固定内部空间顺序的边界词元。当 \(B=4\) 时，一块原本有 16 个 patch，只保留边界上的 12 个；被删掉的是 4 个内部 patch。边界通常承载邻接兼容性信息，而内部纹理会增加长度并引入对拼接未必有帮助的变化。这既解释了为什么不以图像重建质量挑选 tokenizer，也解释了为何增大粒度并非总能提高准确率。论文图 5 的趋势是性能在 \(B=4\) 附近最佳，继续细分后下降，而非随表示精度单调提高。

2. 规范化序列：让同一集合获得稳定的外部顺序

拼块集合原本没有顺序，但 Seq2Seq 模型必须接收一条线性的输入序列。 PuzLM 按每块 super-token 的词典序排列拼块，再在相邻拼块之间插入专用的 [SEP]。词典序比较的是符号序列，不使用正确空间位置，所以它不是把答案排序后交给模型。其作用是减少同一拼块集合由于随机输入排列带来的表示变化，让模型反复接触更稳定的输入结构。与之相对，边界内部的顺时针顺序保留局部方位结构，二者分别规范“块与块”和“块内部”的次序。分隔符则明确告知模型一块在哪里结束、下一块从哪里开始，避免仅靠固定长度隐式推断边界。

若拼块数为 \(N\)，每块保留 \(b\) 个边界词元，则输入总长度为：

\[ b=\max(1,4B-4),\qquad T(N)=bN+(N-1). \]

这两个长度关系来自论文第 5–6 页的边界定义和输入序列说明，不依赖缓存中损坏的序列公式排版。在默认 \(B=4\) 时，完整的 3×3 拼图对应 108 个边界词元加 8 个分隔符，共 116 个输入词元。 5×5 拼图则对应 300 个边界词元加 24 个分隔符，共 324 个输入词元；两组长度均为按公式计算的例子。这里的输入存储随拼块数线性增长，不代表 Transformer 的注意力计算也线性增长。此外，排序后的拼块必须携带自己的真实位置标签，监督序列要随输入顺序一起改变，而不是继续使用原来的随机排列索引。

3. 自回归位置预测：每一步都能看到全体输入与已有分配

编码器先对完整符号输入做双向自注意力，建立不同边界与不同拼块之间的全局联系。解码器再逐步输出位置编号，每一步同时参考编码器结果与已经生成的位置前缀。输入属于视觉词元词表，输出属于网格位置集合，长度也不同，因此采用编码器–解码器比把答案当作输入的延续更贴合任务结构。默认 3×3 任务的输出只有 9 个位置编号，而不是重新生成长度为 116 的视觉符号序列。预测针对完整的排列空间进行，不需要预先挑选一个由少量候选排列组成的分类列表。这也使方法与一些将任务限制在 1000 个排列内的早期自监督拼图方法有明确区别。

先前输出让模型知道哪些位置已经被分配，有助于后续决策保持整体一致。但论文仅说重复分配等无效配置在训练中受到自然抑制，并没有加入保证一一映射的专门解码约束。因此应把“避免冲突”理解为学到的行为，而不能把每次输出都是合法排列当作数学保证。推理采用逐步 argmax 选择位置，不需要额外的视觉比对模块或专门的拼图搜索器。论文还比较 T5、Pegasus、LSTM 和 GRU，说明框架不依赖 BART 独有的接口，但全局注意力和模型容量会影响效果。这些比较支持架构选择；现有正文不足以把收益精确归因于某种语言预训练知识。

一个完整示例¶

考虑一张被打乱为 3×3 的图像，以下编号只用于解释输入输出，不是论文中的实测样本。令 \(B=4\)，每块形成 12 个边界词元，再按词典序排序，拼成含分隔符的 116 词元输入。假设排序后的第一块来自原图位置 7，第二块来自位置 0，监督输出就以 [7, 0, ...] 开始。这里的 7 表示第一块应放在最后一行中间，0 表示第二块应放在左上角，而不是“第七块先放”。解码器预测完第一个编号，再结合该编号与全部输入预测第二个，直到为每块产生位置。最后根据这些分配移动原始拼块，原始图像只在前端词元化和最终可视化重排时需要，不作为求解器的连续视觉输入。

如果缺失一块，论文用专用 mask 词元替换它对应的全部词元，保留同样的预测协议。模型仍然输出位置序列，但评价只统计非缺失拼块，并不要求生成缺失图像内容。因此缺块实验测试的是不完整证据下的布局恢复，不能解释为图像修复或纹理补全能力。

损失函数 / 训练策略¶

词元化采用无监督 PCA 与 k-means；位置预测阶段则依赖已知的正确拼图布局进行有监督学习。论文第 3.5 节使用预测位置与真实位置之间的交叉熵，下面是该文字目标的标准自回归写法，而非复制原文公式：

\[ \mathcal{L}_{\mathrm{CE}}=-\sum_{t=1}^{N}\log p_{\theta}(y_t\mid X,y_{<t}). \]

其中 \(X\) 是规范化后的拼图符号序列，\(y_t\) 是第 \(t\) 个输入拼块的正确位置。输入排序和目标位置必须对齐，训练不应把位置编号误当成拼块内容词元的重建目标。测试时条件中的真实前缀换成模型已生成的前缀，并在当前位置分布上取 argmax。这也意味着较早的错误可能影响之后的位置分配，正文没有给出专门的回溯修正策略。

默认配置使用 BART、\(B=4\) 和 4096 个视觉词元，词表大小可由表 5 独立核对。缓存把 PCA 维度显示为 210，可能丢失上标，不能仅据该排版确认其精确值。完整的优化器、训练轮数、预训练初始化和成本分析被作者放在补充材料中，本次提供的正文缓存不包含这些内容。因此这里不补写学习率、训练硬件或端到端速度，也不将词元化成本混同于整套求解器的成本。

实验关键数据¶

主实验¶

Absolute（Abs.）是放对位置的拼块比例，Perfect（Perf.）是全部被评估拼块都放对的拼图比例。完整拼图中有一块错位就不能计为 Perfect；所有表格均以百分数给出，两种指标不能混用。 ImageNet 3×3 使用普通图像；JPwLEG 使用 MET 艺术品图像并人为侵蚀拼块边界，包含 3×3 和 5×5 设置。

数据集与条件	方法	Abs.（%）	Perf.（%）	原文位置
ImageNet 3×3，完整排列空间	JPDVT	83.3	68.7	表 2，第 11 页
ImageNet 3×3，完整排列空间	FCViT	90.6	78.9	表 2，第 11 页
ImageNet 3×3，完整排列空间	PuzLM	92.2	87.1	表 2，第 11 页
JPwLEG-3，边界侵蚀	FCViT	96.9	87.9	表 4，第 11 页
JPwLEG-3，边界侵蚀	PuzLM	91.9	84.5	表 4，第 11 页
JPwLEG-5，边界侵蚀	VLHSA	66.9	19.0	表 4，第 11 页
JPwLEG-5，边界侵蚀	PuzLM	72.1	32.5	表 4，第 11 页

在 ImageNet 3×3 上，PuzLM 相比 FCViT 的 Perfect 提高 8.2 个百分点，不是相对提高 8.2%。在 JPwLEG-5 上，相比 VLHSA 的 Perfect 提高 13.5 个百分点；但在 JPwLEG-3 上仍低于 FCViT。原文第 12 页正文把 PuzLM 的 JPwLEG-3 Perfect 写成 87.9%，与表 4、表 5 的 84.5% 冲突；本笔记采用相互一致的两个表格并保留这一异议。

消融实验¶

下表为原文表 5（第 13 页）的 JPwLEG-3 词元化消融，其他设置沿用其默认方案。

配置	Abs.（%）	Perf.（%）	具体变化
PuzLM	91.9	84.5	完整模型
w/o PCA	81.1	67.0	不做 PCA 投影
w/o border	72.2	50.3	保留内部词元，而非只取边界
w/o lex. order	67.6	35.0	用随机顺序替代词典序
w/o clockwise	86.9	80.8	用逐行扫描替代顺时针遍历
w/o sep. token	84.7	79.0	移除拼块间分隔符

去掉词典序使 Perfect 从 84.5% 降至 35.0%，下降 49.5 个百分点，是这里影响最大的变化。加入内部词元也使 Perfect 降至 50.3%，说明更多视觉内容未必提供更好的关系表示，但该消融同时改变了内容和序列长度。表 5 还报告该 tokenizer 参数少于 1M、编码时间少于 1 ms；这些不是 BART 的参数量或整道拼图的端到端运行时间。

关键发现¶

缺块结果来自表 3（第 11 页），数据集为 ImageNet 3×3，只评价剩余拼块。

缺失拼块数	JPDVT Abs.（%）	JPDVT Perf.（%）	PuzLM Abs.（%）	PuzLM Perf.（%）
1/9	72.0	41.5	86.0	71.3
2/9	61.8	21.4	73.8	45.1
3/9	54.1	14.9	61.2	23.7

缺失增多时两个方法都会下降，PuzLM 在三个设置中均更好，但不能据此声称它能恢复缺失块的图像内容。图 5 展示粒度、PCA 维度和词表大小均存在折中；缓存未提供可可靠抄录的曲线精确坐标，这里只保留趋势。第 4 节的熵、Zipf 和 Heaps 分析发现符号序列有统计结构但并不完全像自然语言，这属于描述性证据，不是模型有效性的因果证明。

亮点与洞察¶

优化表示接口而非一味扩大视觉模型：边界词元让模型面对更稳定的局部模式。收益来自任务相关的离散化与序列组织，不应简单归结为“语言模型天然会拼图”。
内部空间顺序与外部规范顺序分工明确：顺时针保留边界几何，词典序减少集合输入的排列变化。表 5 显示后者尤其重要，是可迁移到其他集合到序列任务的设计线索。
全局正确率揭示组合一致性：Perfect 对任何错位都敏感，其提升比单看平均拼块准确率更能体现完整布局恢复的进步。它仍然是结果指标，而不是对推理机制的直接观测。

局限与展望¶

符号化不等于摆脱视觉：这是读者对论文表述的边界判断。量化标签依旧来源于像素，固定词表也不能消除测试时词频、关系或场景分布的变化。
合法性没有硬保证：论文依赖自回归训练减少重复位置，并未报告专门的排列约束。后续可测试显式排除已用位置是否改善有效率及 Perfect，但本文没有给出该实验。
可扩展性证据有限：正文重点是 3×3 和 5×5，作者将更大拼图及跨数据集实验放在未提供的补充材料。不能从线性输入长度外推到任意规模、未知朝向或真实不规则碎片。
复现信息和数字冲突需保留：JPwLEG-3 正文与表格冲突，PCA 维度排版不清，详细训练配置不在当前缓存。表 5 的词元化速度也不足以支持端到端效率结论。

评分¶

新颖性：4/5。把任务定制的边界量化与标准 Seq2Seq 组合成清晰的符号重组接口。
实验充分度：4/5。完整、侵蚀、缺块及多项消融相互支撑，但更大规模与复现细节需要补充材料。
写作质量：3/5。问题和模块清楚，但“纯符号”论断需要限定，且 JPwLEG-3 的正文数字有冲突。
价值：4/5。为结构化视觉重组提供实用的表示设计思路，尚不能据此宣称通用视觉推理或模型压缩突破。