ARVAR: Accelerating Visual Autoregressive Model via Attention Retrospect¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/3564
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/2002.pdf
领域: 视觉生成效率 / 视觉自回归图像生成
关键词: 注意力回溯、跨尺度缓存、Token剪枝、分支减半、FlashAttention

一句话总结¶

ARVAR 把低分辨率阶段的注意力和激活当作高分辨率阶段的计算依据，通过重要 token 重算、其余位置重建以及晚期条件分支复用，在单张 RTX3090 上将 HART 和 Infinity-2B 分别加速 1.56 倍、3.01 倍，并比 FastVAR 更好地保留原模型生成图像。

研究背景与动机¶

视觉自回归模型 VAR 不再逐个生成图像 token，而是按尺度预测整张 token 网格：先形成粗布局，再不断提高分辨率、补充纹理。HART 和 Infinity 已把这一范式扩展到 1024×1024 文生图，但解码步骤少不意味着每一步都便宜。最后几步的网格很大，注意力和前馈网络仍需处理大量位置；即便已有 KV cache 和 FlashAttention，高分辨率细化仍是主要耗时来源。

FastVAR 用频率信息筛选需要计算的位置，代价低，却可能把语义上重要的物体细节当成冗余。SkipVAR 引入额外决策模型适配跳步选择，需要针对模型微调。注意力本身似乎是更合适的重要性信号，但在高分辨率阶段显式导出注意力矩阵，会破坏 FlashAttention 不物化完整矩阵的效率优势。因此，真正的问题不是能否找到重要 token，而是能否以足够低的代价找到它们，并在剪枝后维持生成模型所需的二维网格。

作者观察到，同一层的注意力显著区域和输出结构在相邻尺度间较稳定，条件与无条件分支的激活差异也在晚期缩小。前一种稳定性允许从便宜的小网格估计昂贵的大网格，后一种稳定性允许部分步骤省去重复分支。核心 idea：把跨尺度稳定性转化为可复用的注意力与激活缓存，只在高分辨率阶段重算重要位置，并在指定晚期步骤取消无条件分支的实际计算。

方法详解¶

整体框架¶

输入仍是文本条件及基础 VAR 的尺度序列，输出仍是基础模型解码后的完整图像。ARVAR 不重新训练生成器，也不更换 tokenizer；它改变的是选定高分辨率步骤内部的计算量。低分辨率步骤保存同层的注意力缓存与激活缓存，高分辨率步骤先按配置决定是否使用分支减半，再进行注意力引导剪枝和结构重建。

这里有两个彼此独立的调度：分支减半 BH 决定当前步骤是否只计算条件分支；注意力回溯 AR 决定当前层哪些空间位置重算，以及未计算的位置怎样补回。两者可以应用于不同步骤。下图表示一个启用相关操作的步骤内部依赖关系，并不意味着所有晚期步骤都必须同时启用两者。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["文本条件与低分辨率步骤"] --> B["同层注意力与激活缓存"]
    B --> C["分支减半<br/>按步骤选择输入分支"]
    C --> D["注意力引导剪枝<br/>重要位置稀疏前向"]
    B --> D
    D --> E["结构重建<br/>插值底图与散射回填"]
    B --> E
    E --> F["按需复制条件输出<br/>恢复完整网格并继续生成"]

关键设计¶

1. 分支减半：在指定步骤省去无条件分支的真实前向

基础模型使用条件与无条件两路预测来实现 classifier-free guidance，两路通常沿 batch 维拼接。BH 利用晚期两路激活逐渐趋同的观察，在预先选定的步骤只向 Transformer blocks 送入条件分支。完成该步骤的前向后，再复制条件输出，恢复后续处理期望的双分支接口。它不是让两个分支各计算一遍后取平均，也不是删掉文本条件；省下的正是第二个分支的计算和相关中间状态。

复制意味着这一阶段不再拥有独立的无条件预测来提供引导差异。因此，“两路大部分激活相似”是使用 BH 的经验依据，而不是任意提示词都可无损替换的保证。原文把被处理步骤的 FLOPs 节省表述为 50%，这个比例不能直接套到整张图的端到端耗时上。保留完整早期生成和其他组件后，实际总加速会更小，且与 token 剪枝的收益存在重叠。

2. 注意力引导剪枝：用过去的小网格给现在的大网格排序

AR 不在当前高分辨率步骤额外导出大注意力矩阵，而是读取同一层较早步骤的注意力缓存。设当前步骤为 \(T\)，注意力来源为 \(T-M\)。作者从缓存中取 self-attention 部分，将注意力聚合为每个空间位置的显著性分数，再把这张低分辨率显著图插值到当前网格。按照分数选择 Top-K 索引，收集相应输入 token，只让这些位置进入昂贵的注意力与前馈计算。位置索引必须保留，后续才能回填到正确空间坐标。

重要性指标表达的是从历史注意力提取的空间显著性，不是当前 token 的频率、幅值或随机采样概率。与频率筛选相比，这种信号更容易形成连续的物体区域，而不是分散地丢弃物体内部位置。原文图 10 报告，在接近最终步骤的 \(T-3\)，历史与最终 Top-60% 重要位置的重合率约为 94%–95%；这解释了历史显著图为什么有用，但也说明越激进地仅保留最少位置，对排序误差越敏感。

复现时必须留意一个原文歧义：式 (6) 与算法 1 将聚合写成按列求均值、mean(..., -1)，但没有充分交代缓存张量的轴向以及 self-attention 子块的归一化口径。若直接对完整、逐行归一化的方形注意力矩阵求行内均值，结果会是常数，无法产生显著性排序。因此不能从这段缓存武断补写“已经确认”的求和轴公式；可靠的流程是历史 self-attention 聚合、空间插值、Top-K 和 gather，具体聚合维度仍须对照实现确认。

注意力缓存必须便宜又有预测性：取太早的尺度会损失当前物体细节，取更晚的尺度又会增加显式注意力开销。AR 的工程切入点是只在较小网格支付这笔代价，而在真正昂贵的高分辨率计算中继续使用 FlashAttention。这里保留的是空间 token 的子集，不等同于将全模型压成一个任意稀疏网络，也不宣称完全免除注意力缓存成本。

3. 结构重建：把稀疏更新覆盖到历史激活底图上

剪枝不能直接把缩短的序列交给下一尺度，因为 VAR 依赖完整二维空间结构。作者另存同一层较早步骤 \(T-N\) 的输出激活，把它插值到当前网格，作为完整输出的初值；随后使用剪枝时保存的 Top-K 索引，将当前真正计算得到的稀疏输出 scatter 回原位置。重要位置获得新结果，未计算的位置沿用插值后的历史结果。该关系对应原文式 (8)–(9)：

\[ Y_T^l=\operatorname{Scatter}\!\left(\operatorname{Up}(Y_{T-N}^l;h_T,w_T),\ I_T^l,\ \widehat{Y}_T^l\right). \]

其中 \(I_T^l\) 是保留位置的索引，\(\widehat{Y}_T^l\) 是这些位置的新输出；Scatter 仅覆盖被保留的位置，而不是把新旧特征相加。这样做避免了将所有丢弃位置置零，也不同于把整个旧网格直接当新网格使用。注意力缓存负责“在哪里更新”，激活缓存负责“其余位置放什么”，两份缓存的功能不能混淆。

注意力来源距离 \(M\) 和激活来源距离 \(N\) 可以不同。较便宜、较早的注意力足以确定显著区域，而重建可能需要更接近当前尺度的激活，以减小纹理与特征幅度偏差。论文默认 HART 配置用 \(M=3,N=2\)，正说明这不是一次简单的整层输出复用。作者通过跨层激活可视化说明整体布局和物体边界通常能保留，但细纹理仍可能偏离；这是近似重建，而不是恢复被跳过计算的精确结果。

一个完整示例¶

以原文表 8 的 HART 配置为例，模型仍完成 14 个尺度步骤，不是缩短到更少步骤。在 \(S_{13}\) 应用 BH，只计算条件分支并复制输出；在 \(S_{14}\) 应用 AR，剪枝比例为 75%，即仅对保留的 25% 位置做相关前向计算。此时注意力显著图来自 \(S_{11}\)，重建激活来自 \(S_{12}\)，对应 \(M=3,N=2\)。

最后一步先把 \(S_{11}\) 的同层显著图插值到 \(S_{14}\) 网格，保留最重要的位置；再把 \(S_{12}\) 的激活插值到同样大小，用当前稀疏结果覆盖被选中的位置。该配置在 MJHQ30K 上报告 1.56 倍加速、FID 27.67。若同时在 \(S_{13}\) 和 \(S_{14}\) 使用 BH，表 8 的速度升为 1.60 倍，但 FID 变为 27.73，体现的是可调取舍，不是免费增益。

损失函数 / 训练策略¶

ARVAR 无需新增训练损失、蒸馏或模型微调，沿用预训练 HART、Infinity-2B 及其生成流程。需要配置的是应用步骤、剪枝比例、注意力与激活缓存来源以及 BH 的位置。缓存中没有足够信息确认注意力跨头聚合和具体插值模式，因此本笔记不补造这些实现细节。

实验关键数据¶

主实验¶

实验采用单张 NVIDIA RTX3090，图像分辨率为 1024×1024，基础模型和加速模型启用 FlashAttention。下表选取原文表 2：GenEval 准确率衡量语义条件满足程度；SSIM、LPIPS 衡量相对原模型输出的保真度；MJHQ30K 的 FID 衡量生成分布，不能与“逐图保真”混为一谈。加速倍数沿用原文，而不由已四舍五入的延迟重新计算。

模型 / 方法	加速	延迟 / 秒	GenEval 准确率 ↑	GenEval SSIM ↑	GenEval LPIPS ↓	MJHQ30K FID ↓	MJHQ30K CLIP ↑
HART	1.00×	0.94	0.490	—	—	30.75	28.51
HART + FastVAR	1.47×	0.64	0.502	0.6970	0.1597	28.19	28.39
HART + ARVAR	1.56×	0.60	0.509	0.7455	0.1186	27.67	28.41
Infinity-2B	1.00×	2.63	0.677	—	—	31.06	28.00
Infinity-2B + FastVAR	2.80×	0.94	0.683	0.8198	0.0460	30.79	27.80
Infinity-2B + ARVAR	3.01×	0.88	0.685	0.8493	0.0316	29.65	27.91

ARVAR 相对 FastVAR 在两个骨干上同时更快、也更接近原模型图像；但与未加速模型相比，CLIP 分数均略降。因此主结论是改善加速方案的速度与质量取舍，而不是所有质量维度都超过原模型。

消融实验¶

原文表 5 在 HART、MJHQ30K 上分别启用两个模块，下面保留完整模块消融数值。SSIM、LPIPS、PSNR 均以原模型生成结果为参照。

配置	加速	SSIM ↑	LPIPS ↓	PSNR ↑	FID ↓	CLIP ↑
基础 HART	1.00×	—	—	—	30.75	28.51
仅 AR	1.46×	0.7232	0.1088	22.59	27.56	28.50
仅 BH	1.43×	0.7567	0.0523	23.90	28.01	28.35
AR + BH	1.56×	0.6904	0.1204	22.00	27.67	28.41

仅 BH 最接近原图，仅 AR 的 FID 最低；组合最有效率，却不是保真指标最优配置。1.46 倍与 1.43 倍也不能直接相乘当作组合加速，因为二者压缩了部分相同的高分辨率工作量。

原文表 7 进一步比较剪枝依据。Self-attn 配置的 SSIM/LPIPS/FID 为 0.6904/0.1204/27.67，频率依据为 0.6689/0.1434/28.19，随机选择为 0.4537/0.3821/31.98。这支持“选哪些位置”重要，而不只是少算一些 token。Full-attn 的 CLIP 为 28.45，高于 Self-attn 的 28.41，但 FID 为 28.23，说明显著性来源也影响指标间的取舍。

关键发现¶

表 9 中峰值显存从 21.45 GB 变为 21.33 GB；主要收益是计算加速，而不是显著降低整模型显存。注意力与激活缓存分别占 0.05 GB、0.18 GB。
图 13 的块级分析中，注意力耗时由 11.23 ms 降至 2.33 ms，FFN 由 5.24 ms 降至 1.30 ms；剪枝、重建额外耗时分别为 0.55 ms、0.21 ms。这些不是整图端到端延迟。
表 6 中 HART + ARVAR 的 HPSv2.1 为 27.67，低于 FastVAR 的 27.92，也低于基础 HART 的 28.72；ImageReward 则由 FastVAR 的 0.5329 升至 0.5511，仍低于基础模型的 0.5634。不能照搬正文“所有质量指标最高”的概括。

亮点与洞察¶

注意力的价值不一定要求即时取出最大矩阵。先在小网格获得结构线索，再在大网格消费它，可以同时保留注意力引导和 FlashAttention 的实现优势。
剪枝与重建是成对设计：显著性决定更新区域，历史激活提供未更新区域的合理底图。可复用的启发是按位置分配新计算，而不是简单在“整层重算”和“整层缓存”之间二选一。
独立调度 AR 与 BH 比默认全部叠加更有价值。消融显示不同配置分别适合保真、FID 或吞吐优先的场景，而没有单一配置在所有指标上最好。

局限与展望¶

作者给出三类 BH 失败：细粒度属性绑定、罕见属性和局部不对称细节退化，例如左右物体属性错配、蓝色面包外皮回到常见外观、异色瞳或仅一辆车有尾翼的差异消失。这说明总体激活接近仍可能掩盖重要语义差异。
历史显著图依赖跨尺度结构稳定；更小保留比例、晚期才显现的纹理或重要细节，都可能使旧排序不够可靠。可探索按提示词或缓存不一致程度决定是否恢复完整计算，但这不是本文已有机制。
主要验证限于两个文生图骨干、1024×1024 和单张 RTX3090，不能据此承诺视频生成、不同尺度计划、其他硬件或更大 batch 下也有相同加速。文中未给出这些主结果的重复试验误差条。
复现层面，显著性聚合轴向有上述歧义，部分基线名称和引用也有不一致；表 8 同时改变步骤与剪枝比例，不能把所有变化归因于“只改步骤”。需要实现核验与更严格控制变量实验。

评分¶

新颖性: 4/5。跨尺度注意力引导与激活重建配合自然，BH 也提供独立压缩方向，但都建立在已有剪枝和缓存思想上。
实验充分度: 4/5。覆盖双骨干、多指标、模块与调度消融、显存及失败案例；缺少更广部署设置和不确定性统计。
写作质量: 3/5。总体机制易懂，但显著性维度说明不充分，部分文字结论与表格数值不一致。
价值: 4/5。对已有 FlashAttention 的 VAR 推理仍有实用收益，且无需训练；精细语义要求高的任务应保守使用 BH。