AViTS：Adaptive Spatiotemporal Token Selection for Efficient Dynamic-Resolution Generation¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/3330
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/973.pdf
代码: https://github.com/QHR69/AViTS
领域: 扩散模型加速 / 动态分辨率图像生成与编辑
关键词: 时空重要性、文本注意力、跨步方差、选择性升采样、免训练加速

一句话总结¶

AViTS 用“哪些潜空间 token 与文本最相关”和“哪些 token 在去噪中仍持续变化”共同决定提前升采样的区域，在 FLUX.1-dev 的 14 步配置中将延迟从 25.78 s 降至 3.65 s，同时使 ImageReward 从 0.9719 变为 0.9723，但更激进的加速仍会损失质量。

研究背景与动机¶

DiT 的高分辨率生成不仅慢在采样步数，也慢在每一步都处理大量空间 token。动态分辨率采样先在低分辨率建立构图，再逐步恢复细节，能够减少早期计算；问题在于，分辨率切换时如果所有 token 同时升采样，背景和关键对象便获得相同的高分辨率预算。局部升采样进一步允许部分区域先变精细，但此时真正困难的问题变成了：有限预算应该先交给哪些区域？

RALU 依赖边缘，Fresco 使用通道间方差，这些线索能指出结构复杂的位置，却不必然对应提示词要求的内容。编辑“添加一把躺椅”时，原图中已有的强边缘未必比目标区域更值得精细计算。另一面，仅看文本注意力也不够：语义相关的区域可能已经稳定，而一些低注意力区域仍在经历较大的表征变化，需要额外分辨率来完成细节。

作者在 FLUX.1-dev 与 Qwen-Image-Edit 上观察到，文本注意力强度和跨步方差都呈明显的长尾分布，且热图关注的区域互补。这里的“时间”指扩散去噪步，而不是视频帧。核心 idea：把提前升采样视为预算受限的 token 排序问题，用文本语义相关性和跨步演化强度联合排序，而不是仅按单帧局部结构挑区域。

方法详解¶

整体框架¶

输入为文本条件及生成噪声；编辑模型还接收其原有的参考图像条件，输出仍是目标分辨率图像。AViTS 不更换骨干权重，而是把采样组织成低分辨率、混合分辨率、全分辨率三个阶段：先以低成本形成全局结构，在低分辨率阶段后段收集信息，随后仅提前展开重要 token，最后补齐其余 token 并精修。

设目标潜空间序列有 \(M\) 个 token，空间降采样因子为 \(f=2\)，则低分辨率 token 数为 \(M'=M/4\)。第一阶段先做 \(N_1\) 步去噪，再在相同分辨率做 \(N_T\) 步信号采集；第二阶段做 \(N_2\) 步混合分辨率去噪；第三阶段做 \(N_3\) 步全分辨率精修。重要性来自一次多步采集窗口，正文没有描述每个后续步骤都重新排名的在线选择器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    input["文本与模型条件<br/>目标噪声降采样"] --> collect["低分辨率信号采集"]
    collect --> spatial["文本对齐空间评分"]
    collect --> temporal["跨步动态时间评分"]
    spatial --> select["联合排序与分阶段升采样"]
    temporal --> select
    select --> mixed["混合分辨率去噪"]
    mixed --> output["补齐升采样与全分辨率精修<br/>VAE 解码图像"]

图中的文本对齐和跨步动态是同一批低分辨率 token 的两条评分支路，随后合并；混合分辨率不是将低分数 token 删除，而是延迟它们的空间细化。本文的新增重点在重要性估计和选择，正交升采样、坐标绑定噪声重注入则沿用既有做法。

关键设计¶

1. 低分辨率信号采集：在粗结构形成后观察连续去噪状态

第一阶段先降采样目标分辨率噪声，以较少 token 运行速度预测网络。后段采集窗口继续去噪，同时记录每步潜变量快照和跨模态注意力。这样，排名不仅依据一个瞬间的局部纹理，还能看到同一空间位置在连续步骤中的变化；所有 token 尚处于共同的低分辨率网格，也让两类评分能逐位置对齐。

这里需要区分“多步观测”与“多次做同一特征统计”。后者即便在一个快照里计算很多通道，也不能知道 token 是否随时间稳定。AViTS 保存的是跨步状态，因此后续方差刻画的才是去噪轨迹。正文未给出各实验的 \(N_1,N_T,N_2,N_3\) 完整分配，不能凭总 NFE 反推出采集窗口长度。

2. 文本对齐空间评分：从图像到文本的注意力衡量条件相关性

空间评分将一个图像 token 指向全部文本 token 的注意力相加，再对注意力头平均，并进一步聚合所选模块与采集步骤。直观上，它不是问“这里有没有边缘”，而是问“这个位置有多少注意力质量落在文本条件上”。令 \(\alpha_{i,j}^{(h)}\) 为头 \(h\) 中图像 token \(i\) 对文本 token \(j\) 的注意力，单次观测的评分为：

\[ A_i=\frac{1}{|\mathcal H|}\sum_{h\in\mathcal H}\sum_{j=1}^{L}\alpha_{i,j}^{(h)}. \]

原文区分两种提取路径：Qwen-Image-Edit 一类使用 MLLM 的模型，从选定层的统一图文序列注意力中抽取图像到文本子矩阵；FLUX 系列则从双流模块的联合注意力获取该子矩阵。由于融合注意力内核不直接返回权重，作者用 forward hook 取得 query/key，应用骨干对应的 QK 归一化，重建联合 softmax 后再截取图像行、文本列。不能只在文本列上重新归一化，否则每个图像 token 对文本的注意力和都会失去原本的区分作用。该重建也意味着采集并非零开销。

3. 跨步动态时间评分：用时间方差找出尚未稳定的 token

空间评分强调语义，却无法判断某个位置是否仍在构造。时间评分对每个 token 的每个通道，沿 \(N_T\) 个采集步骤计算无偏样本方差，再对通道取平均。若同一位置的特征跨步变化较大，它会更早获得高分辨率计算；这与 Fresco 在单个状态中看通道间差异不是同一种统计量。令 \(\bar z_{i,d}\) 为通道 \(d\) 的时间均值，则：

\[ V_i=\frac{1}{D}\sum_{d=1}^{D}\frac{1}{N_T-1}\sum_{k=1}^{N_T}\left(z_{i,d}^{(t_k)}-\bar z_{i,d}\right)^2. \]

缓存的公式排版有缺损；以上两式按紧邻正文的“跨头平均并沿文本求和”和“跨步无偏方差再沿通道平均”恢复记号，并非新增机制。无偏方差要求 \(N_T>1\)。高方差被用作值得提前细化的代理信号，但这只是经验依据，不是“方差越大，最终误差一定越大”的理论保证。

4. 联合排序与分阶段升采样：改变精细计算的到达顺序

两种原始分数尺度不同，先分别在当前 token 集合中做 min-max 归一化，例如 \(\hat A_i=(A_i-\min A)/(\max A-\min A+\epsilon)\)，\(\hat V_i\) 同理。然后通过权重 \(\alpha\in[0,1]\) 融合，并以保留比例 \(\rho\in(0,1)\) 选出提前升采样的集合：

\[ S_i=\alpha\hat A_i+(1-\alpha)\hat V_i,\qquad \mathcal S=\operatorname{TopK}\!\left(\{S_i\}_{i=1}^{M'},\lfloor\rho M'\rfloor\right). \]

排序前加入约 \(10^{-6}\) 量级的高斯扰动以打破并列分数。入选 token 经正交升采样展开，其余位置保留低分辨率表征，构成混合序列；坐标绑定噪声重注入后再去噪 \(N_2\) 步。第三阶段展开剩余 token，再次重注入噪声、按空间坐标重排，最后用 \(N_3\) 步恢复细节。坐标约束用于跨分辨率阶段的一致性，但缓存没有给出正交变换矩阵或噪声幅度公式，因此不补写实现细节。融合权重 \(\alpha\) 和具体选择比例 \(\rho\) 也未在正文中明确列出。

一个完整示例¶

以图 4 的“公园里放风筝的男孩”为例，图中目标分辨率为 \(1024\times1024\)，前期使用 \(512\times512\)，随后过渡到混合分辨率与完整目标分辨率。下面仅演示 token 计数，不是论文报告的实际采样配置：假设目标序列含 4096 个 token，则降采样后为 1024 个；若设 \(\rho=0.25\)，先展开 256 个低分辨率 token，每个对应 4 个高分辨率位置，混合阶段共处理 \(256\times4+768=1792\) 个 token，最后补齐到 4096 个。

在这个示意输入中，文本评分可能突出男孩与风筝，跨步方差则可能突出仍在变化的线条和局部轮廓；这只是机制解释，不声称原文提供了这些位置的精确得分。关键是，未入选的公园背景仍参与混合阶段去噪，只是暂时保持粗粒度。提前展开的数量受预算约束，具体位置随提示词与采样轨迹改变。

损失函数 / 训练策略¶

AViTS 是免训练的推理策略，没有新增损失、可训练选择网络或微调数据。它沿用骨干的 flow-matching 速度网络和从 \(t=1\) 到 \(t=0\) 的 Euler 积分，在不同阶段改变潜空间 token 的分辨率。缓存的 Euler 公式存在符号缺损，此处仅保留可由正文确认的求解方式，不把破损公式直接照抄。

所谓兼容蒸馏、量化和缓存，是可以在这些已有模型或加速路径上继续加 token 分配，而不是 AViTS 自身重新执行蒸馏训练。复现仍需确认模块选择、采集长度、融合权重、升采样比例和噪声调度；这些参数不能从结果表中唯一确定。

实验关键数据¶

主实验¶

文生图使用 DrawBench，指标为 ImageReward 与 CLIP Score；编辑使用 GEdit 的中文或英文完整评测集，SC、PQ、OS 分别表示语义一致性、感知质量和总体得分。质量指标越高越好；延迟与 FLOPs 越低越好。FLUX.1-dev 在 NVIDIA A800 上测试，两种编辑模型在 NVIDIA H20 上测试，不应跨模型直接比较绝对秒数。

下表摘录原表 1 的主要动态分辨率对比。两种加速比分列，均相对于 50 步原模型；FLOPs 单位为 T。

方法	NFE	延迟 s	延迟加速比	FLOPs T	FLOPs 降幅倍数	ImageReward	CLIP Score
FLUX.1-dev	50	25.78	1.00×	3719.50	1.00×	0.9719	32.325
Fresco	30	9.17	2.81×	1295.99	2.87×	0.9801	32.125
AViTS	30	8.21	3.14×	1401.03	2.65×	1.0104	32.476
RALU	18	6.33	4.07×	904.98	4.11×	0.9481	32.074
Fresco	18	5.72	4.51×	788.03	4.72×	0.9861	31.970
AViTS	18	4.73	5.45×	774.74	4.80×	0.9959	32.361
AViTS	14	3.65	7.06×	586.56	6.34×	0.9723	32.352
AViTS	9	2.64	9.78×	380.30	9.78×	0.9201	32.169

30 步时，AViTS 的 FLOPs 高于 Fresco，却有更低延迟，说明理论运算量不能替代端到端测时。14 步时两项质量指标接近或略高于原模型；9 步时 ImageReward 已降至 0.9201，不能把最大加速宣传成无损。摘要中的 6.34× 对应 14 步配置的 FLOPs 降幅，其实际延迟加速比为 7.06×。

编辑结果摘录原表 2、3，仅展示 GEdit-EN(FULL)，以避免把中英文分数混在同一列。两种骨干各自使用对应的 50 步结果作为基准。

骨干 / 配置	NFE	延迟 s	延迟加速比	FLOPs 降幅倍数	SC	PQ	OS
FLUX.1-Kontext-dev 原模型	50	50.20	1.00×	1.00×	6.80	7.26	6.51
FLUX.1-Kontext-dev + AViTS	18	11.51	4.36×	5.37×	7.07	7.12	6.70
FLUX.1-Kontext-dev + AViTS	11	7.25	6.92×	8.85×	7.10	6.98	6.57
Qwen-Image-Edit 原模型	50	284.51	1.00×	1.00×	7.82	7.54	7.54
Qwen-Image-Edit + AViTS	30	87.54	3.25×	3.72×	7.95	7.54	7.62
Qwen-Image-Edit + AViTS	11	40.93	6.95×	8.65×	7.80	7.48	7.48

Kontext 的 11 步配置提升 SC，但 PQ 从 7.26 降到 6.98；Qwen 的 11 步配置也并非所有英文质量指标都不下降。因此“接近 9×”应读作 FLOPs 减少倍数，并附上语义与视觉质量各自的变化。

消融实验¶

以下原表 5 比较随机、均匀、边缘、Fresco 及两种评分组合。作者称升采样比例相同，各加速行均标 NFE=30；但其中混合评分的 4.73 s、0.9959、32.361 与原表 1 的 NFE=18 行完全一致。这里保留原表数据并标记冲突，不自行把消融 NFE 改成 18，也不将它视为已经充分核实的同预算比较。

选择策略	NFE（原表标注）	延迟 s	延迟加速比	ImageReward	CLIP Score
Random	30	5.25	4.91×	0.9257	31.488
Evenly	30	5.25	4.91×	0.9689	32.012
Edge detection	30	5.76	4.48×	0.9512	32.074
Fresco	30	5.72	4.51×	0.9861	31.970
AViTS：仅注意力	30	4.72	5.46×	0.9875	32.251
AViTS：仅跨步方差	30	4.67	5.52×	0.9846	32.202
AViTS：联合评分	30	4.73	5.45×	0.9959	32.361

按表内数值计算，联合评分相对仅注意力增加 0.0084 ImageReward 和 0.110 CLIP Score；相对仅跨步方差增加 0.0113 和 0.159。两种线索单独使用已经优于随机选择，而融合进一步改善语义相关质量；但其统计显著性未由重复实验或误差条确认。

关键发现¶

最有说服力的提升是质量与延迟的联合变化，而不是单独追求最大倍数。激进预算下，文本相关区域的保留仍不能完全弥补早期细节计算的缺失。
原表 4 的步数蒸馏组合达到 1.76 s、14.65× 延迟加速和 14.76× FLOPs 降幅；后者不能写成实测延迟加速。该表用 CLIP-IQA，且原模型 CLIP 基准为 33.402，与主表 32.325 不同，因此只在表内解释；组合的 CLIP Score 为 32.20，仍有下降。
原文没有给出 \(\alpha\)、\(\rho\) 或 \(N_T\) 的完整敏感性曲线，现有消融支持评分互补，但不足以证明超参数选择不敏感。

亮点与洞察¶

重要性由“任务相关”与“仍在变化”共同定义。文本注意力可能遗漏细节动态，方差可能关注与任务无关的变化，二者融合比单一局部结构线索更贴近分配高分辨率预算的目标。
低分数 token 是延后细化而非永久删除。这样保留了全局上下文，并通过最后的完整网格精修恢复输出结构，体现的是计算顺序调整而非内容裁剪。
先在低分辨率收集排序信号，再把预算投入高分辨率，具有可迁移性。将来可测试其他自适应空间计算场景，但视频时间一致性并没有由本文的图像实验验证。

局限与展望¶

复现信息不完整：缓存正文未说明全部阶段步数、层选择、融合权重、升采样比例与噪声幅度，且正交升采样沿用前作，不能仅凭这份正文还原完整实现。代码链接来自论文，未联网验证内容。
结果口径有歧义：消融与主表的 NFE 冲突、摘要和正文对加速倍数的宽泛用法，以及表 4 的质量基准变化，都需要在复现时逐项确认。它们不应被笔记悄悄“修正”。
评分只是代理量：高注意力不保证该区域必须提前细化，高时间方差也可能包含非关键变化。这是机制层面的风险推断，不是作者已经量化的失败率。
收益依赖硬件与采集开销：重建注意力、保存快照、排序和混合长度计算均有成本；当前 A800/H20 测试不能保证消费级设备或不同注意力内核上保持相同倍数。
质量与覆盖仍有边界：极端加速的 ImageReward 或 PQ 会下降；正文没有独立局限章节，也未报告视频验证、多随机种子误差或完整超参数扫描。后续应补充分类型编辑结果、误差统计与采集成本分解。

评分¶

新颖性: 4/5。文本相关性与时间方差的联合选择有明确针对性，但建立在已有动态分辨率和部分升采样框架上。
实验充分度: 3/5。覆盖三个骨干、生成与编辑及组合加速，但预算标注冲突、敏感性和误差统计缺失限制了可核验程度。
写作质量: 3/5。三阶段框架与两种评分的逻辑清楚，加速口径及表间一致性需要改善；缓存公式损坏另行标注，不等同于原 PDF 错误。
价值: 4/5。提供免训练、可组合的空间预算分配思路，实际部署仍需复测质量、参数与端到端开销。