Decoupling Complexity from Scale in Latent Diffusion Model¶

会议: ECCV2026
论文: ECCV 原文
作者: Tianxiong Zhong, Xingye Tian, Xuebo Wang, Boyuan Jiang, Xin Tao, Pengfei Wan
领域: 图像生成 / 视频生成
关键词: 潜空间扩散模型、尺度解耦、层级潜变量、异步去噪、渐进生成

一句话总结¶

DCS-LDM 让潜变量层数控制内容细节、让解码器单独控制输出尺度，并通过因果层级和异步去噪支持从草稿到细节的渐进生成，在 512px 单层配置下将表 4 的端到端延迟从 DiT 的 6743ms 降至 1943ms，但付出更高解码显存成本。

研究背景与动机¶

传统潜空间扩散模型先把图像或视频按固定比例下采样，再在潜变量上去噪。这使分辨率、帧率与扩散 token 数直接绑定：像素或帧数增加，即使内容仍很简单，去噪网络也必须处理更多 token。但高分辨率的平坦背景不一定比低分辨率的密集纹理需要更多表示容量；帧率也不能直接代表运动复杂度。论文因此把尺度视为可容纳信息量的上界，而不是实际内容信息量的可靠替代指标。

已有 1D tokenizer 已经能用可学习查询将不同数量的像素压缩为 token 序列，但各自保留了不同限制。 VFRTok 允许可变帧率，却主要采用固定长度潜变量；FlexTok 允许可变潜变量长度，却主要面向固定尺寸图像。 DetailFlow 则关注尺度与容量的统计次线性关系，而本文强调不同样本本身具有不同的率失真曲线。这里的率失真曲线指表示预算与重建误差之间的关系，不意味着作者提出了可精确计算每个样本复杂度的理论指标。

如果只把 token 数变成可调参数，还不能保证追加 token 时仅补细节而不改变构图。因此作者同时约束潜变量的信息顺序和去噪时间顺序：基础结构必须在前，细节必须能依赖已经较清晰的结构。由此，用户可以先在低预算下确定内容，再逐层增加细节，最终选择分辨率或帧率进行解码。 核心 idea：把尺度选择交给解码器，把细节容量交给层级潜变量，再用单向信息流和错开的去噪时间窗让两者能够独立控制。

方法详解¶

整体框架¶

DCS-LDM 包含确定性 tokenizer DCS-Tok 和扩散 Transformer DCS-DiT。训练时，DCS-Tok 将同一样本的不同尺度版本映射到结构一致的多层潜空间，并学会用不同数量的层重建画面。 DCS-DiT 随后学习这些潜变量的条件生成；生成时只需要噪声、类别或文本条件，以及选择的层数，不需要输入真实图像。解码时再指定输出尺度，用 DCS-Tok 将生成的潜变量还原成图像或视频。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        A["训练样本<br/>不同尺度版本"] --> B["尺度对齐"]
        B --> C["因果层级表示"]
        C -.->|潜变量训练目标| D["层级异步去噪"]
        N["噪声 + 条件<br/>指定层数"] --> D
        D --> E["缓存式渐进生成"]
        E --> F["DCS-Tok 解码<br/>选择输出尺度"]
        F --> G["图像 / 视频"]

图中虚线表示训练依赖，不是生成时必须经过真实样本编码的路径。 “层数”和“尺度”也不是两个完全没有约束的任意旋钮：潜变量仍保留空间和时间布局，改变宽高比或视频时长会改变对应网格。本文主要解耦的是相同布局、相同持续时间下的分辨率或帧率，与用多少层描述细节。

关键设计¶

1. 尺度对齐：固定区域划分，而不是固定像素块大小

普通 patchify 固定每块包含多少像素，所以图像放大时块数增加。 DCS-Tok 固定短边的块数，以及每秒的时间块数，让块的实际像素尺寸随输入尺度变化。设视频高宽为 \(h,w\)、帧率为 \(f\)，短边块数为 \(k\)、每秒时间块数为 \(k_t\)，原文式 (1) 为：

\[ p_{h,w}=\frac{\min(h,w)}{k},\qquad p_t=\frac{f}{k_t}. \]

这样，同一视频在不同分辨率、帧率下，对应 patch 仍覆盖相同的空间区域和时间区间。图像被当成单帧视频，时间块大小取 \(p_t=1\)；宽高比则通过空间网格的长短边比例保留。每块中的像素先独立投影为 token，再由可学习潜变量查询聚合，因此同一个局部编码器能接收不同数量的像素。解码端反过来使用可学习像素查询，从局部潜变量读取信息，生成目标尺度所需的像素。

仅让网络接受可变输入还不够，因为它可能继续在潜变量里绑定输入尺度。作者采用非对称尺度训练：输入与重建目标是同一样本随机选择的尺度版本。这迫使潜变量表示跨尺度共享内容，让解码器负责不同采样密度下的像素展开。这不等于可以无条件恢复输入中从未出现的真实细节，也不意味着解码计算量与像素数无关。

2. 因果层级表示：让低层独立承载结构，高层只能补充信息

每个 patch 配置多个带顺序的潜变量 token，一个 token 对应该 patch 的一个层级。局部 patchifier 负责块内聚合，后续编码器和解码器负责跨 patch 交互，所以整体表示并未变成完全丢失空间布局的单一序列。作者在空间、时间网格之外增加层级维度；保留多少层，就决定给每块多少表示容量。此处“因果”首先指层级依赖，不应直接等同于常见的视频时间因果。

Pixel-to-Latent Attention 允许像素信息进入潜变量，Latent-to-Pixel Attention 允许潜变量信息进入像素。像素 token 之间可进行完整注意力，但像素与潜变量之间的信息交换是单向的，避免高层通过像素支路把信息泄漏回低层。 Level Causal Attention 允许跨 patch 交互，同时使某层只能读取同层及更低层，而不能读取更高层。这里不是“只允许读取紧邻前一层”：图 4 的说明明确包含同层和所有较早层。

训练中，每个 patch 独立随机保留 \(1\) 到 \(n\) 层，其余尾部层通过注意力掩码停用。因为模型经常必须在缺少高层时完成重建，基础结构会受到优先放入低层的压力，高层则学习可增补的细节。推理在 batch size 为 \(1\) 时，可以直接丢弃不用的 token，而不是继续计算被掩蔽的完整序列。确定性解码与层级因果共同支持“固定草稿后追加细节”，但最终视觉稳定性还取决于下一项去噪安排。

3. 层级异步去噪：细节生成时，结构应先达到较高信噪比

若所有层同时从相同噪声水平开始，细节层早期读到的低层结构仍然模糊，可能形成与最终构图不对齐的纹理。 DCS-DiT 为不同层分配错开的时间窗，使低层在高层去噪之前先积累结构信息。全局时间被映射为各层的局部时间，并作为条件输入；只在某层自己的有效时间窗内预测其速度。 DCS-DiT 采用与 tokenizer 相近的层级因果架构，并加入 AdaLN 和可选交叉注意力注入时间及条件信息。

比例因子 \(\epsilon\) 控制单层时间窗占全局时间范围的比例，取值范围为 \(1/n\leq\epsilon\leq1\)。 \(\epsilon=1\) 时各层同步；较小取值使时间分离更强，默认 \(\epsilon=1/n\) 对应最强的分层安排。它改变的是各层去噪的相对进度，不是额外训练一个超分辨率模型，也不是把每层设为不同输出分辨率。作者还对局部时间和预测速度进行相应归一化，但缓存中的式 (2) 存在字符错位，本文不把猜测还原的完整时间公式当成原文公式。

这个设计可由表 1 检验：同步配置增加层数后 gFID 反而恶化，异步配置才随着层数增加而改善。因此论文的关键不是简单声称“更多 token 更好”，而是说明更多容量必须配合正确的信息依赖和噪声顺序。层级异步带来并行度与生成质量的权衡；不能仅从层数推断所有设备上的实际速度。

4. 缓存式渐进生成：复用已确定结构，而非每次重新生成所有层

层级因果保证高层不能反向改变低层计算，因此低层生成完成后，其表示可以保持不变。后续层的查询仍需要关注低层的键和值，模型便缓存这些特征，避免在追加细节时重复投影和计算低层分支。同样的思想用于 DCS-DiT 和 DCS-Tok 解码器中的层级注意力，支撑先展示草稿、再继续细化的交互过程。某层超出自己的有效时间窗后，其速度置零，表示保持不变，为后续层提供可缓存的条件。

作者所说“保持总计算成本不变”，指在其因果分解和缓存安排下，逐层执行不必重复一次性执行已经需要的低层计算。它不意味着追加层数没有成本，也不意味着任意预览流程的端到端延迟完全相同。如果用户修改文本条件并重采样结构，就不应把旧结构的缓存理解为仍可无条件复用。实际效率还受解码器、批大小、内存访问和选定层数影响，表 4 专门揭示了这种系统级差别。

一个完整示例¶

考虑宽高比不变的正方形图像，使用论文实现中的 \(k=16\)。在 \(256\times256\) 下，每块为 \(16\times16\)；在 \(512\times512\) 下，每块为 \(32\times32\)，两者都是 \(16\times16\) 个空间块。因此单层都对应 \(256\) 个潜变量 token，而 \(4\) 层对应 \(1024\) 个 token；这些数值由网格与层数相乘得到。用户先生成一层并查看大致构图，再追加层数丰富纹理；改变解码分辨率时，不必因此把扩散潜变量网格放大。图 8 的图像演示采用固定 \(4\) 层潜变量解码 \(256\) 到 \(512\) 像素，视频演示则用单层潜变量解码 \(12/24/48\) fps。但若将宽高比改为 \(1:2\)，对应网格变成 \(16\times32\)，所以“与尺度无关”不能被推广成“任何输出规格都固定相同 token 数”。

损失函数 / 训练策略¶

DCS-Tok 使用确定性重建，而非额外通过随机流式解码生成像素。原文式 (7) 组合 L1 重建、感知损失与自适应加权的对抗损失，下面用清晰的权重记号转写：

\[ \mathcal{L}_{\mathrm{Tok}}=\mathcal{L}_{\mathrm{recon}}+\lambda_1\mathcal{L}_{\mathrm{percept}}+\lambda_2\lambda'\mathcal{L}_{\mathrm{adv}},\qquad \lambda_1=1,\quad \lambda_2=0.2. \]

其中 \(\lambda'\) 为自适应权重；本文不补写未在现有缓存中给出的计算细节。训练依次进行低分辨率图像初始化、空间非对称训练和时空非对称训练，DCS-DiT 的目标与采样方法沿用 LightningDiT。 DCS-Tok 的局部 patchifier 和 depatchifier 各用 \(3\) 层 tiny ViT，编码器和解码器采用 \(12\) 层 ViT-B；主要 DCS-DiT 配置为 \(28\) 层 ViT-XL。 Tokenizer 使用 ImageNet、Koala-36M 和 LAVIB，视频训练覆盖 \(128\)p 到 \(720\)p、\(12\) 到 \(60\) fps。文生图定性模型使用 ImageNet 与 SA-1B，文本由 Qwen-VL 2.5 生成；定量类别条件图像和视频任务分别使用 ImageNet 与 UCF101。类别条件设置移除交叉注意力块；论文还报告使用 CFG 与不使用 CFG 的结果，二者不可混为同一评测条件。

实验关键数据¶

主实验¶

表中摘录原文表 2，第 13 页：ImageNet \(256\times256\) 类别条件图像生成。 gFID 越低越好，IS 越高越好；DCS-LDM 在这一系统比较中只使用第一层，而非多层最优配置。

方法	无 CFG gFID	无 CFG IS	有 CFG gFID	有 CFG IS
DiT	9.62	121.5	2.77	278.2
SiT	8.61	131.7	2.06	270.3
REPA	5.90	157.8	1.42	305.7
LightningDiT	2.17	205.6	1.35	295.3
DCS-LDM，1 层	7.26	119.0	2.44	277.3
DCS-LDM，1 层 + REPA	4.26	147.1	1.39	311.6

加入 REPA 后有 CFG gFID 从 2.44 降至 1.39，说明表示对齐可以与新潜空间设计叠加，但结果并未在所有指标上全面超过 LightningDiT。原文表 3，第 13 页的 UCF101 \(256\times256\)、24 fps 类别条件视频生成中，单层 DCS-LDM 的有 CFG gFVD 为 77.10，VFRTok 为 71.34，Cosmos 为 85.22。视频结果支持“具有竞争力”，而不是“视频生成达到最佳”；gFVD 同样越低越好。

消融实验¶

表中摘录原文表 1，第 13 页：DCS-DiT/B 的异步因子消融，指标为无 CFG gFID，越低越好。该表使用 B 规模模型，不能把它的绝对数值与前面系统比较直接当作同一训练设置下的结果。

异步因子	1 层	2 层	3 层	4 层
\(\epsilon=1\)	40.42	48.26	62.23	71.25
\(\epsilon=1/2\)	42.31	40.30	38.48	38.03
\(\epsilon=1/4\)	42.50	40.23	38.39	37.80

同步配置的一层分数略好，但追加层数反而恶化；\(\epsilon=1/4\) 从一层的 42.50 改善到四层的 37.80。因此这个消融支持的是多层生成需要异步结构引导，而不是异步配置在每个层数下都更优。

下面摘录原文表 4，第 14 页：扩散模型为 XL，50 NFE；延迟与峰值显存使用 batch=4，显存单位沿用原表 G。仅列延迟与解码峰值显存，不混入使用 batch=16 测量的吞吐量；不同列的延迟可能存在原表取整差异。

输出 / 方法	解码延迟 ms	扩散延迟 ms	总延迟 ms	解码峰值显存 G
256px / DiT	30.42	1572	1602	0.67
256px / DCS-LDM，1 层	87.04	1573	1660	3.54
512px / DiT	131.5	6612	6743	2.18
512px / DCS-LDM，1 层	370.4	1573	1943	14.9
512px / DCS-LDM，2 层	391.1	3280	3671	15.1
512px / DCS-LDM，4 层	414.2	6972	7386	15.4

关键发现¶

固定单层时，256px 与 512px 的扩散延迟都是 1573ms，但解码延迟从 87.04ms 增至 370.4ms，解耦不等于整个系统成本固定。
在 512px 采用 4 层时，总延迟 7386ms 已超过 DiT 的 6743ms，因此节省计算取决于所需细节预算。
第 15 页第 4.7 节在平均每块 4 个 token 的重建预算下，均匀分配的验证集 PSNR 为 31.59，按块熵分配为 32.42；这是重建实验，不是生成时自动分配已经解决。

亮点与洞察¶

论文把输出规格与建模容量拆开，使高分辨率的简单内容无需自动承担完整高分辨率扩散成本。可复用的设计点是可变像素数的局部查询接口，而不只是缩短一个全局序列。
层级因果同时服务于表示可截断、结构稳定和缓存复用。异步时间窗进一步保证细节层有较可靠的结构可读，说明架构约束与训练动态需要共同设计。
从应用角度看，先确定构图再付费生成细节，比一开始就选定最高预算更符合交互式创作。这里的价值来自可中止、可续算，而不是所有配置都优于现有模型。

局限与展望¶

作者明确指出解码器逐像素 token 化造成额外显存，建议跨 GPU 的 patch 并行或更小批次的分组解码；表 4 的 14.9G 对 2.18G 说明这不是可以忽略的代价。
复杂度控制主要仍由层数选择实现；按熵分配只在重建中验证，生成前如何为未知内容选择最优层数仍需研究。
本文的判断：定量结果集中于 ImageNet 和 UCF101，文生图主要提供定性展示，不能据此宣称开放域高质量文生视频已经充分验证。
“任意尺度”是模型接口能力，实验仅覆盖所报告的尺度范围；对极端分辨率、帧率、时长及比例的外推应另外测量。
现有缓存包含正文与参考文献，但没有作者多次引用的附录 A；式 (2)、部分符号及指标箭头有抽取损坏。笔记保留可辨认数值，按指标定义标注方向，不推测注意力掩码、位置编码及完整时间公式的附录细节。

评分¶

新颖性: 4/5。尺度独立、层级因果与异步扩散的组合清晰，单项技术有明确前作。
实验充分度: 4/5。包含重建、生成、异步消融和端到端成本，但开放域视频与自动预算仍缺少充分验证。
写作质量: 4/5。问题与架构对应明确，缓存公式损坏和缺失附录限制了实现细节的独立核验。
价值: 4/5。为可交互、可调整预算的生成提供实用接口，部署时需认真权衡解码显存。