Moebius: 0.2B Lightweight Image Inpainting Framework with 10B-Level Performance¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/4484
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/6177.pdf
项目: Moebius
领域: 模型压缩
关键词: 图像补全、轻量架构、知识蒸馏、潜空间扩散、多粒度对齐

一句话总结¶

Moebius 用 LλMI 轻量骨干与自适应多粒度潜空间蒸馏构建 0.226B 参数的图像补全专用模型，在 Places2 小掩码设置下达到 FID 0.92、LPIPS 0.091；相对 FLUX.1-Fill-Dev 的约 15.5 倍总耗时优势同时来自更快的单步计算和更少的默认采样步数。

研究背景与动机¶

图像补全不只是填上相似颜色：缺失区域的纹理必须接得上边界，物体结构还必须符合整幅图像的语义。大型扩散模型具备广泛先验，却需要很大的参数与计算预算。PixelHacker 已通过潜在类别引导（Latent Categories Guidance，LCG）和门控线性注意力（GLA）降低部分开销，但骨干仍有 0.862B 参数；直接把卷积换成深度卷积，可能首先丢掉的恰好就是补全最依赖的结构与细节表达。

本文把问题定位为极小学生网络的表达瓶颈，而不是单纯减少采样次数。其早期消融显示，缩减宏观结构得到的基线 FID 为 32.75，仅替换深度卷积后恶化到 43.58。另一方面，基线的 GLA 用于自注意力，不能直接按同一形式处理外部 LCG 先验的交叉交互；只压缩其中一个部件，无法形成一致的轻量设计。

因此，Moebius 同时改造信息交互方式与训练监督：先确保小骨干仍能聚合图像内部上下文、读取外部语义，再让教师约束不同空间尺度的学生表示。核心 idea：用紧凑的 λ 映射替代昂贵的注意力交互，并以梯度自适应的多粒度潜空间蒸馏补偿结构压缩造成的质量损失，而非声称小模型天然拥有大型通用模型的全部能力。

方法详解¶

整体框架¶

输入是待补全图像及标明缺失区域的二值掩码，输出是补全后的图像。Moebius 沿用潜空间扩散框架：VAE 编码遮挡图像，编码结果与下采样掩码组成空间参考；轻量 U-Net 在该条件与 LCG 语义先验下执行迭代去噪，最终由 VAE 解码。

两个主要设计分别是 LλMI 轻量骨干和自适应多粒度蒸馏。前者规定学生每次去噪如何计算，后者仅在训练时用冻结的 PixelHacker 教师指导学生；教师不是部署时的额外分支。训练还需要完整图像，既用于构造扩散监督，也用于 LCG 的类别分布学习；不能把训练时可见的完整图像误当成推理时输入。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["遮挡图像与掩码"] --> B["VAE 编码与空间参考"]
    B --> C["LλMI 轻量骨干"]
    P["LCG 语义先验"] --> C
    C --> D["迭代去噪与 VAE 解码"]
    D --> E["补全图像"]
    C -.->|训练时的表示与预测| F["自适应多粒度蒸馏"]
    T["冻结的 PixelHacker<br/>与真实监督"] --> F
    F -.->|仅训练时更新| C

关键设计¶

1. LλMI 轻量骨干：让图像内部交互与外部先验读取一起变轻

压缩从宏观结构开始：移除 PixelHacker 最后一个下采样阶段，将参数从 862M 降到 526M，再在多尺度 U-Net 内重做两类计算部件。空间特征提取使用深度卷积残差块（DW.Res）；交互块则把 Local-λ、Interactive-λ 与 Mix-FFN 顺序连接成 LλMI，并保留归一化与残差路径。它不是直接删掉语义条件，也不是把所有位置独立处理，而是改变上下文如何被汇总和查询。

Local-λ 对应图像内部的交互。输入潜特征通过投影产生查询、键和值，先将归一化的键与值聚合成紧凑的内容映射，再由每个位置的查询读取。这样不必显式构造随位置数量平方增长的两两注意力矩阵。另一路在值特征上施加局部位置卷积，形成位置相关映射；查询分别读取内容和位置结果后相加。前一路保留跨位置的语义摘要，后一路补充邻域连续性，因此名称里的 Local 不意味着整个模块只能看到邻近像素。论文设置的局部窗口为 15，针对的是位置聚合部分。

Interactive-λ 处理的则是另一种信息来源：查询仍来自当前图像，但键和值来自 LCG 嵌入。由于语义嵌入的空间尺度比图像潜特征小，直接交互容易缺少明确的空间对应；作者加入轻量位置嵌入，为值提供布局信息，再构成内容与位置两类映射供查询读取。它与 Local-λ 的共同点是先汇总、后查询，不同点是被汇总的上下文来自外部类别先验。因此，LCG 的作用并没有在压缩中消失，而是由较便宜的交叉交互承接。

最后，Mix-FFN 用带深度卷积的高效结构替代较重的密集投影，配合 DW.Res 压低剩余预算。早期消融中，在已有双 λ 模块和蒸馏的情况下加入 Mix-FFN，参数从 274M 降到 226M，FID 从 25.86 变为 26.43，而 LPIPS 从 0.262 降至 0.258。这说明最终结构并非每一项指标都最优，而是在参数继续降低时保住感知质量。论文图中的 Local-λ、Interactive-λ、Mix-FFN 是这个设计内部的连续子步骤，不是互相独立的完整模型。

2. 自适应多粒度蒸馏：同时约束低分辨率结构和最终潜空间输出

即便交互设计合理，226M 学生仅靠常规预测损失训练仍有明显质量缺口。Moebius 因而选用官方预训练 PixelHacker 作为教师，在粗粒度中间表示与细粒度输出上同时施加约束。粗粒度对齐发生在 \(16\times16\)：教师取第一次上采样后的表示，学生取最后一次下采样后的表示，用逐元素平方误差对齐。两者层号不同，但空间尺度对应；强行只比较相同层号，会忽视学生已经删除一个下采样阶段的事实。

细粒度对齐发生在 \(64\times64\) 的最终潜空间输出。学生一方面拟合真实训练目标，另一方面以平方误差贴近教师预测；此外，E-LatentLPIPS 直接衡量学生预测与真实目标在潜空间中的感知差异。这里的感知项并不是再把图像解码到像素空间后运行普通 LPIPS，也不是独立的教师特征项。避免这条高分辨率解码路径是训练节省显存的关键，但不代表测试时输出图像可以省去 VAE 解码。

只把这些损失相加仍会遇到尺度不匹配：数值较大的损失不一定对学生参数产生同等大小的梯度。作者先在学生最终输出层参数上比较任务损失、细粒度蒸馏和感知损失的梯度范数，据此调节后两项的权重；再在粗粒度学生特征之前的参数上比较粗粒度损失与合并输出损失，确定跨粒度权重。两级平衡分别处理“同一输出层的不同目标”和“不同空间尺度的监督强度”，不能简化成所有损失共享一个经验常数。

损失函数 / 训练策略¶

用 \(\mathcal L_{C\_KD}\) 表示粗粒度表示对齐，\(\mathcal L_{F\_KD}\) 表示教师与学生最终预测对齐，\(\mathcal L_{task}\) 表示真实目标监督，\(\mathcal L_{perceptual}\) 表示潜空间感知约束，可以把训练结构概括为：

\[ \mathcal L_{out}=\mathcal L_{task}+w_F\mathcal L_{F\_KD}+w_P\mathcal L_{perceptual},\qquad \mathcal L_{total}=\mathcal L_{C\_KD}+w_C\mathcal L_{out}. \]

这里的权重根据上述两处参数集合上的梯度范数动态计算，而不是固定超参数。原文缓存的权重公式有排版损坏，因此此处只保留可由正文与框架图交叉确认的目标组合，不补写权重比值的实现细节。原文还在噪声预测叙述与 \(x_0\) 记号之间存在不够清晰的切换；复现时应核对预测目标的具体参数化，不应仅凭该记号把方法改读成干净图像回归。

训练使用与教师相同的 LCG 嵌入规模、SDXL VAE 编码器和 \(512\times512\) 输入。蒸馏采用 Muon、权重衰减 0.1、BF16，在 16 张 L40S 上以总批量 768 训练 138K 次迭代；学习率从 \(2\times10^{-4}\) 开始，在 111K 和 129K 次迭代分别乘 0.1。随后分别在 Places2、CelebA-HQ 与 FFHQ 上微调，而不是把一个未经适配的学生直接拿来做全部零样本评测。

实验关键数据¶

主实验¶

FID 衡量生成与真实图像的特征分布距离，LPIPS 衡量配对图像的感知差异，两者均越低越好。下表取原文表 1 的可明确辨读数据，不把不同掩码或分辨率的分数相互比较。Places2 Small 使用 36.5K 张验证图像、\(512\times512\) 小掩码；CelebA-HQ 使用 3K 张图像、\(512\times512\) 大掩码；FFHQ 使用 10K 张图像、\(256\times256\) LaMa 风格掩码。

模型	Places2 Small FID ↓	LPIPS ↓	CelebA-HQ FID ↓	LPIPS ↓	FFHQ FID ↓	LPIPS ↓
Moebius	0.92	0.091	5.39	0.122	8.15	0.231
PixelHacker	0.82	0.088	4.75	0.115	6.35	0.229
SD3.5 Large-Inp.	3.02	0.105	11.80	0.134	109.42	0.402
FLUX.1-Fill-Dev	0.94	0.099	10.13	0.141	11.19	0.268

教师在这三组指标上仍全部优于学生，不能把“接近大型通用模型”理解成“超过教师”。Moebius 在 CelebA-HQ 上相对 FLUX 的 FID 从 10.13 降到 5.39，绝对减少 4.74，按 FLUX 作分母约降低 46.8%；原表按 Moebius 作分母标出的约 88% 差距，不是常规定义下的降幅。

模型	参数量（B）↓	TFLOPs ↓	单步延迟（ms）↓	默认步数	总耗时（s）↓
Moebius	0.226	0.154	26.01	20	0.52
PixelHacker	0.862	0.338	46.89	20	0.94
SD3.5 Large-Inp.	8.057	8.657	151.02	28	4.23
FLUX.1-Fill-Dev	11.902	9.927	161.01	50	8.05

单步延迟统一在单张 L40S、批量 1、\(512\times512\) 下测量。相对 FLUX，参数约为 1.90%，单步约快 6.19 倍；表中总耗时约快 15.5 倍，但同时使用 20 对 50 步。总耗时数字与“单步延迟乘步数”一致，原文未在该表中分解编码、解码及其他端到端开销，不宜据此承诺完整产品请求延迟。

消融实验¶

以下为表 5，在 Places2 Test、\(512\times512\)、40–50% 掩码下评估 18K 训练检查点；不是上面充分训练并按数据集微调后的主结果。

监督配置	FID ↓	LPIPS ↓	说明
仅粗粒度蒸馏	74.20	0.367	中间表示约束不足以确定最终输出
加细粒度蒸馏	36.17	0.291	对齐教师的最终预测
再加任务监督	32.59	0.273	引入真实目标
再加潜空间感知约束	26.43	0.258	完整多粒度目标

最终加入感知项对应 FID 绝对降低 6.16、LPIPS 降低 0.015。这支持潜空间感知监督有增益，但该递增消融不能单独证明自适应权重优于最佳固定权重，因为没有给出这个直接对照。

关键发现¶

结构与监督存在协同：表 2 同一 226M 架构从无蒸馏到完整蒸馏，FID 从 33.42 降至 26.43，LPIPS 从 0.312 降至 0.258。
人类偏好并非压倒性胜过教师：22 名参与者、每类场景 50 个案例的强制选择研究中，平均选择率为 Moebius 31.76%、PixelHacker 32.18%、FLUX 23.70%、SD3.5 12.36%。
优势具有协议边界：Places2 256 上 Moebius 的 LPIPS 为 0.470，而表中 MI-GAN 为 0.394，不能把选取的三组主结果扩展成所有设置都领先。

亮点与洞察¶

自交互和交叉交互采用一致的“先汇总上下文、再由查询读取”思路。压缩没有通过移除 LCG 条件来换速度，而是保留条件入口并降低交互成本。
蒸馏层匹配按空间尺度，而非机械地按层号进行。教师更深、学生更浅时，这让中间监督仍对应相近的结构信息。
效率比较同时列出参数、计算量、单步延迟和采样步数。只有分开看这些量，才能区分骨干压缩与采样预算对加速的贡献。

局限与展望¶

这是按基准专门微调的补全模型与大型零样本通用模型的比较，证明的是任务专门化的性价比，不是通用编辑能力或开放域语义能力等价。
小模型的训练成本并不小：需要大型教师、多卡蒸馏和各数据集微调。论文的推理效率结论不应等同于整个研发流程低成本。
本地全文未给出独立的固定权重对照、梯度平衡开销分解或移动端实测；真实物体移除主要展示定性案例与偏好研究，覆盖范围仍需更充分报告。
权重公式的缓存排版和预测目标记号存在上述歧义。它们不影响主要表格的读取，但限制了仅凭当前文本进行精确复现。

评分¶

新颖性: 3.5/5 — 贡献在任务化的轻量交互和蒸馏协同，多个基础部件已有先例。
实验充分度: 4/5 — 包含多数据集、结构与损失消融及用户研究，但零样本与微调协议不同，权重对照不完整。
写作质量: 3.5/5 — 架构演进清晰，部分百分比口径与预测记号容易引起误读。
价值: 4/5 — 为资源受限的补全部署提供明确的质量与效率折中，但不能直接推及通用模型替代。