Drift-AR: Single-Step Visual Autoregressive Generation via Anti-Symmetric Drifting¶

会议: ECCV 2026
论文: ECCV 2026
代码: https://github.com/aSleepyTree/Drift-AR
领域: 图像生成
关键词: 自回归视觉生成、漂移模型、单步生成、投机解码、熵参数化先验

一句话总结¶

Drift-AR 发掘出连续空间自回归逐位置预测熵能够同时表征投机草稿质量与局部生成难度的双重性质，通过因果归一化熵损失对齐草稿分布并构建熵参数化反对称漂移场，首次以统一步调实现了真正的 1-NFE 视觉解码与 3.8 至 5.5 倍端到端加速。

研究背景与动机¶

自回归与扩散混合架构（AR-Diffusion Hybrids，如 MAR、TransDiff、NextStep-1）近来成为突破离散 Token 质量天花板的重要范式。该范式将视觉生成拆分为两个阶段：先在连续隐空间中利用自回归 Transformer 建模结构化的全局语义，再借助扩散/流匹配解码器进行细粒度视觉合成，兼顾了长程语义一致性与逼真度。

然而，这种两阶段混合范式面临严重的“双重速度瓶颈”：自回归阶段依赖顺序 Token 生成，延迟随序列长度线性累积；视觉解码阶段则依赖多步迭代去噪，计算开销巨大。以往的加速方案彼此割裂，通常分别引入面向自回归的投机解码（如 EAGLE）和面向扩散解码器的知识蒸馏（如 CD/DMD）。这种孤立优化不仅割裂了生成管线，而且蒸馏方案仍被多步去噪范式所束缚、训练极易不稳定，投机解码直接迁移到连续视觉空间时草稿模型又容易坍缩至低熵的过度自信模式，导致草稿接受率骤降。

视觉图像在空间信息分布上具有极强的非均匀性，背景平坦区域与边缘纹理区域的信息密度大相径庭。论文观察到，连续空间自回归模型的逐位置预测熵天然刻画了这种空间不确定性，且对前后两个阶段具备统一的物理意义：在自回归端，熵反映了草稿分布与目标分布的一致性；在解码端，预测误差与位置熵显著正相关（Pearson 相关系数达 0.64），熵直观反映了局部区域所需修正的力度。核心 idea：以自回归逐位置预测熵作为统一桥梁，前段用因果归一化熵损失校准投机草稿分布，后段将熵映射为反对称漂移场的初始方差实现 1-NFE 单步解码，两阶段免额外计算共享单次熵信号。

方法详解¶

整体框架¶

Drift-AR 构建了以逐位置预测熵为纽带的端到端加速体系。生成初期，自回归阶段采用熵感知投机解码（Entropy-Informed Speculative Decoding），轻量级草稿模型在因果归一化熵损失的约束下并行预测连续特征，由目标自回归模型验证并输出稳定的连续隐特征与对应的逐位置熵图；生成后期，视觉解码阶段不再执行多步迭代去噪，而是将自回归特征作为均值、预测熵经有界指数温度映射为物理方差，构建高斯先验分布作为反对称漂移场（Anti-Symmetric Drifting Field）的初始状态，利用数据真实样本与生成样本的核化吸引-排斥力直接在特征空间中完成单步流演化，平衡态下漂移自然湮灭至零。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["前序上下文与条件输入"] --> B["熵感知投机解码<br/>连续特征回归与因果归一化熵对齐"]
    B --> C["上下文自适应提前终止<br/>浅层熵监控与动态阈值验证截断"]
    C --> D["自回归特征与逐位置熵图"]
    D --> E["熵参数化先验构建<br/>有界温度方差映射生成初始状态"]
    E --> F["单步反对称漂移解码<br/>核化多温度吸引排斥力驱动1-NFE演化"]
    F --> G["高质量生成图像"]

关键设计¶

1. 熵感知投机解码：消除连续隐空间草稿模型的过度自信坍缩

直接将大语言模型中的 EAGLE 投机解码迁移至连续视觉自回归模型时，草稿接受率会大幅劣化。这是因为小型草稿模型容量受限，在低信息密度的连续视觉特征上极易坍缩到少数高频低熵模式，产生过于自信的确定性预测，与大模型输出的宽广熵分布严重失配。为解决该问题，Drift-AR 移除了离散分类交叉熵，设计了基于连续特征序列的 Smooth-L1 回归损失：

\[\mathcal{L}_{\text{reg}} = \text{SmoothL1}\left(z_{j+1},\; \text{DraftModel}(Z_{1:j},\, F_{1:j})\right)\]

其中 \(Z_{1:j}\) 为历史连续特征，\(F_{1:j}\) 为目标模型的隐藏状态序列。更为关键的是，由于因果注意力掩码限制第 \(r\) 行只能关注前 \(r\) 个位置，其理论最大熵为 \(\log(r)\)，若直接对各行熵求平均会不公平地惩罚序列早期位置并使梯度紊乱。为此，论文提出了因果归一化熵指标及对应的正则化损失：

\[\mathcal{E}_{\text{entropy}}^{(r)} = -\frac{1}{\log(r)} \sum_{c=1}^{r} \Omega_{r,c} \log \Omega_{r,c}, \quad \mathcal{L}_{\text{entropy}} = -\frac{1}{R} \sum_{r=2}^{R} \mathcal{E}_{\text{entropy}}^{(r)}\]

其中 \(\Omega_{r,c}\) 为倒数第二层注意力图的 softmax 权重。通过最大化因果归一化熵，强制拉齐草稿模型与目标模型的熵分布，从根源上提升了投机草稿的接受率。

2. 上下文自适应提前终止：基于动态熵阈值阻断低质草稿前传

在自回归投机生成阶段，如果放任草稿模型盲目生成固定长度的候选前缀，一旦前缀中途发生质量滑坡，后续的多步前向计算就会全盘作废。Drift-AR 利用草稿模型的浅层注意力熵作为轻量预测置信度，建立动态阈值判定机制。针对平坦区域（如纯净天空）和复杂纹理区域天然熵水平不同的特性，系统不采用静态常数阈值，而是维护目标模型在当前上下文长度下的指数移动平均熵 \(\bar{E}_{c}^{\text{target}} = 0.9 \bar{E}_{c-1}^{\text{target}} + 0.1 E_{c}^{\text{target}}\)，以此设定动态终止阈值 \(\tau_c = \gamma \cdot \bar{E}_{c}^{\text{target}}\)（其中 \(\gamma=0.8\)）。一旦草稿预测的归一化熵跌破该阈值，投机过程立即提前终止并交由目标模型执行并行验证截断，避免无效的前向浪费。

3. 熵参数化初始分布：将不确定性赋予反对称漂移场的物理初始态

传统的 AR-Diffusion 混合模型在视觉解码阶段将自回归特征仅仅作为去噪网络的条件特征，初始噪声向量依旧从无差异的固定高斯先验 \(\mathcal{N}(0, \mathbf{I})\) 中抽取，完全无视自回归在不同空间位置的把握程度。实证表明，自回归预测误差 \(\|z_{\text{AR}}^{(r)} - x_{\text{gt}}^{(r)}\|\) 与熵强正相关。Drift-AR 将自回归特征直接作为单步漂移过程的初始中心，并将逐位置熵 \(\mathcal{E}\) 通过有界指数温度函数映射为局部物理方差：

\[\sigma(\mathcal{E}) = \sigma_{\max} \cdot \frac{e^{\mathcal{E} / \tau_\sigma}}{e^{\mathcal{E}_{\max} / \tau_\sigma}}\]

由此构建局部高斯初始分布 \(q(x^{(r)} \mid z_{\text{AR}}^{(r)}, \mathcal{E}^{(r)}) = \mathcal{N}\left(x^{(r)};\, z_{\text{AR}}^{(r)},\, \sigma^2(\mathcal{E}^{(r)})\mathbf{I}\right)\)。在低熵平坦区，\(\sigma \to 0\)，初始状态极度聚拢在自回归特征附近，无需大幅修正；在高熵复杂结构区，方差平滑扩展至 \(\sigma_{\max}\)，为后续特征矫正提供充分的流形探索空间。

4. 冻结编码器特征空间漂移：单步核化吸引-排斥演化实现 1-NFE 解码

为了摒弃多步时间步去噪或复杂的蒸馏过程，解码网络 \(f_\theta\) 以重参数化采样得到的 \(x_0\) 为输入，输出图像隐特征 \(\hat{x}\)。为解决生成隐变量与漂移场特征维度的对齐问题，论文复用目标自回归模型的倒数第二层作为固定的特征编码器 \(\phi\)。漂移场损失直接在 \(\phi\) 特征空间上通过多温度核化吸引与排斥力构建：

\[\mathcal{L}_{\text{drift}} = \mathbb{E}_{x \sim q}\left[ \left\| \phi(\hat{x}) - \text{stopgrad}\Big(\phi(\hat{x}) - V_{p,q}(\phi(\hat{x}))\Big) \right\|^2 \right]\]

反对称漂移场满足 \(V_{p,q} = -V_{q,p}\)，其中真实样本对生成点施加核化吸引力 \(V_{p}^+\)，负样本之间施加排斥力 \(V_{q}^-\)。当推进分布 \(q\) 逼近真实分布 \(p\) 时，漂移速度场 \(V_{p,q} \to 0\)，系统在平衡点自然停止流动。配合熵参数化先验，高熵位置激活强漂移迅速拉向数据流形，低熵位置因 \(q \approx p\) 漂移天然归零，从而以原理自洽的方式在单次网络前向传播（1-NFE）中完成高质量视觉重建。

损失函数 / 训练策略¶

直接端到端联合训练自回归模块与漂移解码器会面临“先验漂移问题”（Moving Prior Problem）：自回归网络参数更新会导致源分布 \(q\) 在每个 step 持续抖动，破坏反对称漂移场依赖动静态平衡假设的收敛基础。Drift-AR 设计了两阶段退火训练调度，总损失定义为：

\[\mathcal{L}_{\text{total}} = \alpha(t) \cdot (\mathcal{L}_{\text{reg}} + \mathcal{L}_{\text{entropy}}) + (1 - \alpha(t)) \cdot \mathcal{L}_{\text{drift}}\]

权重退火系数 \(\alpha(t)\) 遵循分段调度机制：在前 80% 的训练周期（Phase I，阶段一：联合优化，\(t \le T_{\text{freeze}} = 0.8 \cdot T_{\text{total}}\)）中，\(\alpha(t)\) 从 \(\alpha_0 = 0.95\) 线性衰减至 0，此时自回归网络主要学习鲁棒特征表示并对齐熵分布，解码器同时接受微弱引导避免冷启动崩溃；在后 20% 的训练周期（Phase II，阶段二：纯漂移优化，\(t > T_{\text{freeze}}\)）中，\(\alpha(t) = 0\)，自回归特征和熵图完全冻结，阻断 \(\mathcal{L}_{\text{drift}}\) 对自回归模块的反向梯度传播，使漂移场在完全稳定的源先验分布 \(q\) 上进行精准流形拟合。超参数设置 \(\sigma_{\max}=0.5\)、\(\tau_\sigma=2.0\)，核温度集合 \(\tau \in \{0.02, 0.05, 0.2\}\)，采用 AdamW 优化器（学习率 \(1 \times 10^{-4}\)，batch size 32）。

实验关键数据¶

主实验¶

论文在 ImageNet \(256 \times 256\) 类条件生成以及文本到图像基准（GenEval 与 MJHQ-30K）上系统评估了 Drift-AR 的加速比与图像质量，覆盖 MAR、TransDiff 与 NextStep-1 三种主流架构。

架构 / 方法	阶段加速方案	延迟 (s)	加速比	FID \(\downarrow\)	IS \(\uparrow\)
MAR-L [13]	Baseline (原始迭代去噪)	5.31	1.00×	1.78	296.0
MAR-L + DMD [39]	扩散蒸馏	1.99	2.67×	1.81	295.5
MAR-L + LazyMAR [37]	特征缓存	2.29	2.32×	1.93	297.4
MAR-L + Drift-AR (Ours)	投机解码 + 1-NFE 漂移	0.96	5.53×	1.76	297.4
MAR-H [13]	Baseline (原始迭代去噪)	9.97	1.00×	1.55	303.7
MAR-H + DMD [39]	扩散蒸馏	4.17	2.39×	1.73	301.0
MAR-H + LazyMAR [37]	特征缓存	4.24	2.35×	1.69	299.2
MAR-H + Drift-AR (Ours)	投机解码 + 1-NFE 漂移	1.93	5.16×	1.53	304.6
TransDiff-L [42]	Baseline (原始迭代去噪)	3.17	1.00×	1.61	295.1
TransDiff-L + SD [15]	朴素投机解码	1.75	1.81×	1.88	283.6
TransDiff-L + DMD [39]	扩散蒸馏	1.61	1.97×	1.79	288.3
TransDiff-L + Drift-AR (Ours)	投机解码 + 1-NFE 漂移	0.64	4.96×	1.61	295.8
TransDiff-H [42]	Baseline (原始迭代去噪)	6.72	1.00×	1.55	297.9
TransDiff-H + SD [15]	朴素投机解码	3.52	1.91×	1.68	291.1
TransDiff-H + DMD [39]	扩散蒸馏	3.48	1.93×	1.71	289.9
TransDiff-H + Drift-AR (Ours)	投机解码 + 1-NFE 漂移	1.33	5.06×	1.57	298.1

在文生图模型 NextStep-1 上，Drift-AR 取得 3.81× 的端到端加速，同时综合对齐指标全面占优：GenEval 从基线的 0.63 提升至 0.66，FID 从 6.71 优化至 6.66，CLIP 分数从 28.67 提升至 29.02。

消融实验¶

在 TransDiff-H 模型（ImageNet \(256 \times 256\)）上对 Drift-AR 核心组件的消融验证如下：

配置	FID \(\downarrow\)	IS \(\uparrow\)	说明
TransDiff-H 基线	1.55	297.9	原始 20 步多步去噪参考
Ours (完整模型)	1.57	298.1	单步 1-NFE 解码 + 熵对齐投机（加速 5.06×）
w/o A: 移除熵参数化先验	1.72	289.3	改用固定常数方差，性能跌幅最大
w/o B: 移除两阶段退火调度	1.69	292.6	固定 \(\alpha=0.5\)，漂移场遭受移动先验干扰
w/o C: 移除反对称核目标	1.69	291.8	仅保留吸引力移除排斥力，破坏平衡点 \(V=0\) 保证
w/o D: 移除上下文自适应早停	1.62	295.5	关闭熵动态早停，低质量草稿增加验证重算开销
w/o E: 移除第二阶段先验冻结	1.67	291.9	允许漂移梯度回传至自回归，破坏稳态源假设

此外，在解码步数敏感性测试中，原始扩散解码器若强制压缩至 1 步，FID 直接恶化至 14.72；即便经过 DMD 蒸馏，其 1 步 FID 也仅为 2.93；而 Drift-AR 凭借反对称漂移场机制，在单步 1-NFE 下取得 1.57 的极优 FID，完全媲美 20 步扩散解码器的表现。

关键发现¶

熵参数化先验是核心基石：消融项 A（移除熵参数化方差）带来的性能退化最为严重（FID 从 1.57 恶化至 1.72，IS 暴跌至 289.3），证实了根据生成不确定性赋予局部特征自适应方差对于漂移场单步纠错的物理必要性。
两阶段调度与先验冻结消除流形震荡：消融项 B 与 E 验证了“移动先验假说”，若在第二阶段不冻结自回归模块，漂移场相当于向移动目标流动，平衡态被破坏，生成质量明显滑坡。
方差上限敏感度适中可控：在 \(\sigma_{\max} \in [0.3, 0.7]\) 区间内模型保持稳健高水准表现，当 \(\sigma_{\max}=0.1\) 时由于方差过小退化为狄拉克分布导致多样性丧失（FID 1.68），而 \(\sigma_{\max}=1.0\) 时因扩散过度导致单步漂移负担过重（FID 1.64）。

亮点与洞察¶

“一石二鸟”的物理信号复用：将注意力图提取出的位置熵同时作为自回归阶段投机解码的对齐准则与视觉解码阶段漂移场的初始方差，无需引入额外的外部不确定性估计网络，计算成本为零。
因果归一化熵解决序列前端尺度失真：洞察到自回归因果注意力的行理论最大熵为 \(\log(r)\)，使用动态因果归一化消除了早熟位置对全局熵正则化的梯度污染。
反对称漂移场优雅规避蒸馏不稳定与多步累加：利用 \(q=p \implies V_{p,q}=0\) 的收敛特性，从第一性原理上实现了真正物理意义上的 1-NFE 单步特征映射，彻底摆脱了扩散蒸馏对教师模型与多步采样器的依赖。

局限与展望¶

因果注意力依赖性：当前熵估计强依赖于因果 Transformer 的注意力权重矩阵，对于非因果架构或双向注意力视觉模型难以直接复用。
训练收敛周期较长：两阶段退火调度要求自回归模块在阶段一充分稳定后方可进入纯漂移训练，总体训练步数长于部分端到端离线扩散蒸馏方法。
高分辨率与视频扩展待验证：在更高分辨率或视频序列生成场景中，空间和时空不确定性模式更加复杂，多尺度熵聚合及漂移场设计仍需进一步拓展探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 独辟蹊径地发掘出位置预测熵连接自回归投机解码与单步漂移解码的双重桥梁作用，概念自洽优雅。
实验充分度: ⭐⭐⭐⭐⭐ 跨 MAR、TransDiff、NextStep-1 三大代表性基准，主实验、消融实验、步数对比与参数敏感性分析极其完备。
写作质量: ⭐⭐⭐⭐⭐ 物理直觉清晰，论证层层递进，散点图与相关性分析充分支撑核心论点。
价值: ⭐⭐⭐⭐⭐ 攻克了连续视觉自回归混合架构的推理延迟痼疾，5 倍加速与 1-NFE 解码极具落地实用价值。