Bottom-up modeling of repeated elements via single image analysis-by-synthesis¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/3696
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/2641.pdf
作者: Syrine Kalleli, Alexei A. Efros, Mathieu Aubry
领域: 自监督/表示学习
关键词: 重复元素发现、分析合成、对象中心学习、低维外观原型、图像分解

一句话总结¶

本文通过可调外观的共享二维原型、单图裁剪课程优化和整图筛选精修，把重复元素发现转化为可解释的重建问题；在精选的 116 张 FSC-147 图像上，整图 PSNR 达到 23.76，计数 MAE 为 14.11，但这并不意味着整个系统没有预训练或尺度先验。

研究背景与动机¶

发现“同一画面里哪些东西反复出现”不只是在数物体，还要知道这些实例共享什么外观、各自的位置和颜色如何变化。计数网络可以给出数量、框或掩码，却通常不生成一个能重新合成各个实例的对象模型。单图生成模型虽然能学习局部纹理的重复统计，也未必把画面分解成可独立旋转、改色和调整形态的对象。

显式原型方法提供了另一条路线：把一个对象模板复制、变换并叠回画布，以重建误差判断分解是否合理。但固定模板难以解释不同姿态、颜色及细微形态差异；给每个实例完全独立的生成能力，又容易把任务退化成用任意色块拟合像素。要求真实三维模型也不是免费的补救，因为相关方法依赖较干净的实例分割，且单图中的视角变化未必足以支持三维恢复。本文明确选择二维图像空间建模，目标是重复元素的发现与可控分解，而非恢复几何。

关键在于让实例既共享足够多的信息，又保留受约束的差异；同时，要阻止优化器把背景或对象局部当成一个方便的“重复元素”。核心 idea：用共享外观加一维实例变化构成可调原型，再通过裁剪增强和分阶段重建迫使它解释多个位置的重复实例，而不是记住整幅图像。

方法详解¶

整体框架¶

输入是一张包含同类重复元素的图像，输出是背景、共享元素模型，以及每个实例的存在概率、位置、旋转、尺度、颜色和外观参数。流程先借助合成重复图像完成初始化，再以低维元素模型对目标图像的随机裁剪做课程优化，最后把滑窗结果合并、去重并进行整图精修；最终模型仍是二维 RGBA 图层的组合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["合成重复图像"] --> B["合成定位预训练"]
    B --> C["低维可变原型"]
    C --> D["裁剪课程优化"]
    G["单张目标图像"] --> D
    D --> E["整图筛选精修"]
    E --> F["重复实例参数<br/>与二维重建图像"]

这里的“自底向上”主要描述目标图像上的元素发现方式，不能理解为从随机网络、完全没有外部知识出发。实现采用冻结的 DINOv3 骨干、由 COCO 图像和分割构造的合成预训练数据，并从示例框取得粗尺度先验；默认的单图优化没有加入示例重建或位置监督损失。

关键设计¶

1. 合成定位预训练：先学会寻找重复位置，再适配具体外观

直接在一张真实图像上同时寻找位置和学习形状，很容易长时间停留在“用色块解释图像”的状态。作者先随机选取 COCO 中的分割对象，把它多次粘贴到纯色或强模糊背景上，改变各副本的位置、尺度、旋转和颜色。这样既能控制重复任务的难度，又能从合成过程得到框和位置标签。预训练主要提供粗定位初始化，而不是一个可直接复用于真实图像的精细对象库。

具体实现使用冻结的 ViT-B/16 DINOv3 提取图像块特征，再投影到 64 维；元素解码器使用 60 个实例查询和一个全局外观查询，经过 3 个交叉注意力/自注意力块。预训练集合含 5,000 张合成图像，先在纯色背景上训练 500k 次，再用纯色与模糊背景的等量混合训练 500k 次。其目标同时包含重建、示例和位置监督，所以不能把“目标图像的默认优化无显式对象标签损失”扩大成“完整训练管线无监督”。

2. 低维可变原型：共享形状族，而不是复制一张不变贴图

全局外观查询负责概括当前图像中重复元素的共同外观，每个实例查询则经过四个预测头：选择头给出存在概率，空间头给出尺度、旋转和位移，颜色头预测 RGB 线性变换，外观头给出一维代码。生成器把共享信息与该实例的一维外观代码结合，输出带透明度的 RGBA 元素，再施加空间和颜色变换。这使共同模板能有小幅形态变化，而不用把所有差异都推给几何变换或颜色校正。

一维代码的意义在于限制自由度：实例不能各自获得一个任意复杂的生成器，因而仍必须复用共同的对象结构。每个元素以存在概率加权透明度，按固定图层顺序叠加到背景上；背景分支在具体实现中通过全局平均池化和 MLP 预测背景颜色。原型分辨率为 \(64\times64\)，网络输入为 \(224\times224\)，重建分辨率为 \(128\times128\)。空间头预测的是送入空间变换网络的逆变换，作者报告这样训练更稳定。该表示可以吸收部分三维姿态造成的外观变化，但不输出三维形状，也不保证三维一致性。

3. 裁剪课程优化：让共享原型跨局部视野成立

只最小化整张图像的像素误差，可能得到位置正确但形状毫无意义的色块。作者对同一图像反复随机裁剪和旋转，让一个共享元素模型在不同局部视野中重建对象，从而减少直接记住整图的机会。裁剪范围由粗尺度先验决定，使对象较短边约占裁剪边长的 10%–50%；默认先验来自数据集示例框，因此这里仍有一个利用标注尺度的输入通道，而不是严格的零先验设置。

同时，优化次序被明确限制。先只训练背景，避免元素模型抢着解释背景；随后训练其余可训练部分，但把外观头输出固定为零，强迫所有实例先形成共同原型；最后才开放实例外观变化，让它在已建立的对象结构上解释差异。三个阶段分别为 100、500、2500 次迭代。其逻辑不是越早开放表达能力越好：若一开始就允许外观代码改变位置、颜色或形状，网络可能绕过专门的空间与颜色参数，失去可解释分解。

4. 整图筛选精修：以重建贡献而非仅靠置信度合并实例

裁剪训练后不能直接对整张图像沿用固定查询结果，因为整图的对象尺度和数量都可能超出单个裁剪的范围。方法按平均裁剪尺寸滑窗，步长取窗口尺寸的 25%，把各窗口预测的元素变换映射回全图坐标；这一步也说明 60 个查询是单次裁剪的容量，而非最终整图对象数的硬上限。

重叠窗口会反复预测同一个实例，因此先丢弃存在概率低于 0.5 的候选，再按概率从高到低筛选。只有当候选使重建损失降低超过 \(10^{-5}\)，且与已选元素的重叠低于 0.1 时才保留它；论文正文给出重叠阈值，但没有在该处明确其计算公式，不应自行改称某种特定 IoU。最后固定所选实例集合，联合精修其参数、平均背景预测和原型生成器 200 次。这样，筛选决定“哪些实例值得留下”，精修决定“留下的实例如何更好解释图像”。

损失函数 / 训练策略¶

默认单图目标把逐像素 Huber 重建误差、结构相似度项与实例稀疏正则相加。以下按原文相邻文字和式 (1)–(4) 的定义整理，缓存中的公式排版存在抽取错位：

\[ \mathcal{L}_{\mathrm{unsup}}=\mathcal{L}_{\mathrm{Huber}}+\lambda_{\mathrm{SSIM}}\bigl(1-\mathrm{SSIM}(I,\hat I)\bigr)+\lambda_{\mathrm{reg}}\frac{1}{K}\sum_{k=1}^{K}|p_k|. \]

其中 \(I\) 与 \(\hat I\) 是输入和重建图像，\(K\) 为元素查询数，\(p_k\) 是存在概率。Huber 项按像素平均，在残差较小时使用二次惩罚、较大时改为线性惩罚；稀疏项让网络不能免费增加元素来涂抹背景。权重分别为 \(\lambda_{\mathrm{SSIM}}=0.01\)、\(\lambda_{\mathrm{reg}}=0.001\)，Huber 阈值为 1。裁剪阶段采用 Adam，学习率 \(10^{-3}\)、批大小 64、线性预热 500 次；精修学习率为 \(10^{-4}\)。

可选监督不是默认模型的一部分：示例损失要求一个与示例框最匹配的元素单独配合背景重建该区域，并提高其存在概率，避免把一个对象拆成多个模板。位置损失则用匈牙利匹配把预测中心对应到位置标签，约束匹配位置并拉高匹配实例、压低未匹配实例的存在概率；启用它时移除稀疏正则。正文将计数网络输出的位置伪标签作为这一分支的输入方式，但表 3 没有在数值行中单独注明位置标签来源，因此这些结果只能稳妥地称为“额外监督变体”。

实验关键数据¶

主实验¶

数据不是 FSC-147 全测试集：作者从 29 个测试类别中每类选 4 张，共 116 张，偏向背景简单且对象姿态和数量多样的图像。每张图有计数和三个示例框；TPC-268 仅展示定性原型结果。

“原型质量”并非直接和真实模板比较，而是对每个示例框选择掩码重叠最大的单个预测元素，用它与均匀背景合成该示例，再计算质量。背景颜色取真实图像在预测背景掩码内的平均颜色，不需要真实分割掩码。整图评估同样将所有预测元素放到按此方式计算的均匀背景上，因此不是不经处理地评估原始背景分支输出。PSNR、SSIM 越高越好，LPIPS 越低越好；计数 MAE 与 RMSE 分别衡量绝对误差均值和均方根误差，越低越好。

方法	计数 MAE ↓	计数 RMSE ↓	整图 PSNR ↑	整图 LPIPS ↓	原型 PSNR ↑	原型 LPIPS ↓
ABC123	20.92	28.58	—	—	—	—
GeCo	7.34	13.66	—	—	—	—
TMR	4.11	6.82	—	—	—	—
TMR + SAM + Average	—	—	13.95	0.543	17.44	0.464
TMR + SpaceJAM	—	—	13.63	0.544	17.77	0.430
TMR + SAM + 3D	—	—	—	—	15.53	0.500
本文默认模型	14.11	26.93	23.76	0.242	19.40	0.353

表中数字来自原文表 2。相较 TMR + SpaceJAM，本文整图 PSNR 高 10.13 dB、原型 PSNR 高 1.63 dB，但不是计数性能最优：TMR 的 MAE 更低。建模基线使用 TMR 提供的框，部分还使用 SAM 掩码，因而借用了监督计数器及示例输入；本文默认模型也有上述预训练和尺度先验，不能简单称为相同信息条件下的比较。

ABC123 不需要测试示例，原文还从其四个预测计数及其总和中，按真实计数选择误差最小者进行评估。即使采用这一有利于 ABC123 的选择协议，本文 MAE 仍低 6.81；该结论仅针对这组精选图像，而非一般计数排行榜。

消融实验¶

配置	计数 MAE ↓	整图 PSNR ↑	整图 LPIPS ↓	原型 LPIPS ↓
完整模型	14.11	23.76	0.242	0.353
移除外观头	14.99	20.58	0.384	0.432
移除稀疏正则	15.62	22.57	0.298	0.389
直接优化整图	27.54	15.84	0.493	0.490
不做合成预训练	18.81	21.08	0.330	0.469
不做裁剪优化	15.25	17.45	0.511	0.496
不做整图精修	14.11	20.07	0.443	0.468
增加示例和位置损失	7.07	20.00	0.343	0.330

这些数字来自原文表 3。“直接优化整图”同时没有预训练与裁剪训练，不是仅替换某个优化器；最后一行改变了监督条件，不能当作免费提升的默认结果。

关键发现¶

外观头主要改善建模而不是数量：移除它后 MAE 只增加 0.88，但整图 PSNR 下降 3.18 dB，原型 LPIPS 从 0.353 恶化至 0.432。共享模板上的低维变化确实承担了实例外观差异。
裁剪优化对建模尤为重要：去掉后整图 PSNR 下降 6.31 dB。精修则不改变所选实例数，所以对应消融的 MAE 仍为 14.11，而图像质量显著变差。
额外位置约束把 MAE 降到 7.07，却让整图 PSNR 从 23.76 降到 20.00。作者解释为更少的元素被用于拟合背景，提示“像素重建更好”不自动等于“对象发现更正确”。
改用均匀尺度先验时，MAE 增加 4.53、RMSE 增加 6.1；在 90% 图像上 MAE 只增加 1.3，差距主要来自最小对象所在的其余 10%。粗尺度先验的作用集中在极小对象场景。

亮点与洞察¶

一维实例外观不是为了追求最大生成能力，而是给固定原型补上必要的变化空间。其自由度仍低，因而位置、颜色与形态可以被分别解释和编辑。
候选筛选要求对象对重建有增益，使多窗口去重不只是几何排重。它也暴露了重建驱动发现的边界：能帮助重建背景的伪对象仍可能得到奖励。
单个元素的示例重建指标避免多个碎片合作“冒充”一个完整对象。它比只看整图重建分数更贴近本文想要的对象级表示。

局限与展望¶

作者假设背景不杂乱、对象长宽比适中，且粗尺度先验限制了对极端尺度变化的适用性。对象在语义上相同但视觉上差异很大时，也未必能被归为同一元素。
部分与整体的歧义没有从根本上解决，例如一个对称对象可以被解释成两个重复部件。示例和位置监督能缓解，但改变了输入条件。
精选的小规模测试子集有利于这种重建假设；没有证据据此声称在杂乱场景、完整 FSC-147 或跨数据集定量评测中普遍领先。主文未提供该方法完整的逐图运行时间，不能用三维基线较慢推断其实际加速倍数。
“单图学习”仍借助预训练表示、合成定位训练和尺度信息。后续评估的重点应是把这些来源的作用分别说明，并扩大难背景和细小对象覆盖，而不是把自底向上的优化方式等同于没有任何先验。

评分¶

新颖性: 4/5。把低维可变原型与单图裁剪课程结合，给真实重复元素提供了明确可解释的表示。
实验充分度: 3/5。计数、整图、原型和优化消融较完整，但数据经过筛选，监督来源与实际运行成本仍需更全面拆解。
写作质量: 4/5。表示与优化步骤清楚，定性分解有帮助；“无先验”式概括需要结合预训练和尺度设定谨慎理解。
价值: 4/5。对重复结构的对象中心建模有参考意义，价值主要在可解释分解而非刷新计数精度。