Guiding Visual Autoregressive Models through Spectrum Weakening¶

会议: NeurIPS 2026
arXiv: 2511.22991
领域: 图像生成
关键词: 视觉自回归模型、频域弱化引导、无分类器引导、无条件图像生成、离散与连续标记生成

一句话总结¶

提出无需重新训练与额外条件的频域弱化引导（SWG）机制，通过沿隐藏特征通道维度的离散傅里叶变换与频段截断构建弱引导分支，并引入能量重归一化，攻克了自回归模型难以无条件引导的难题。

研究背景与动机¶

自回归（AR）建模凭借出色的可扩展性与序列建模能力，已成为继扩散模型（Diffusion Models）之后视觉生成领域的强劲范式。然而，当前的自回归图像生成框架严重依赖无分类器引导（CFG）来保证生成质量和文本对齐度。CFG 机制在概念上要求在训练时隐式学习一个空条件无监督分支，不仅引入了额外的训练开销与超参数调节负担，更关键的是，在无条件生成（Unconditional Generation）场景下，由于缺少任何条件输入，CFG 失去了构建基准分支的前提，导致无条件自回归图像合成往往出现严重的结构模糊、语义畸变与局部细节溃缩。

近期扩散模型领域涌现出一批通过“弱模型对比引导”（Weak Model Guidance）替代 CFG 的探索，例如利用模型剪枝、降噪时间步扰动或自注意力图滤波构建性能较弱的对照分支。然而，这些技术假设无法直接迁移到视觉自回归模型中：自回归生成在时序上逐 token 推进，不存在全局降噪时间步的概念；同时自回归推理高度依赖 KV-Cache，当前计算步仅能看到极局部甚至单一 token，无法在未完成整图解码前施加全局空间扰动或 patch 打乱。

面对这一困境，本文选择从信息论的角度切入特征表征空间。研究者发现，虽然在空间维度进行 token 扰动会破坏自回归序列的一致性，但在隐藏表征的通道维度上通过正交可逆的频域变换能够精细调控信息密度。核心 idea：利用离散傅里叶变换将自回归内部特征沿通道维度映射到频域，通过对角二值掩码截断部分频段构建可控的弱信息分支，并结合能量重归一化消除数值漂移，实现完全免训练、无需外部条件的高保真视觉自回归引导。

方法详解¶

整体框架¶

SWG 的核心目标是在自回归推理阶段构建一个与主模型完全共享权重、仅在中间层特征信息量上受限的“弱模型分支”（Weak Branch），进而利用主预测与弱预测的对数几率（Logits）差值实现对比增强。在每个自回归采样步 $t$，模型并行执行主分支推理与经过频谱扰动的弱分支推理：主分支输出标准 logits，弱分支则在选定的 Transformer 模块中对隐状态执行通道维度的频域滤波与能量重归一化。随后将两者的残差以设定引导强度 $\omega_s$ 叠加到主预测上，最后进行采样生成。该方法无缝兼容条件生成与纯无条件生成，并且可与传统 CFG 联合叠加。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入上下文与当前 Token<br/>x_{<t} / Prompt c"] --> B["Transformer 骨干网络<br/>前向计算中间表征 x"]
    B --> C["通道维度离散傅里叶变换<br/>映射到频域 x^ = W x"]
    C --> D["对角二值掩码频段截断<br/>构造弱化频谱 x^' = M x^"]
    D --> E["频域 / 空间能量重归一化<br/>消除能量衰减与数值截断漂移"]
    E --> F["逆傅里叶变换重构表征<br/>生成弱化输出 logits z_{t,p}"]
    F --> G["对比引导集成与采样<br/>z_t = z_{t,c} + ω_s (z_{t,c} - z_{t,p})"]

关键设计¶

1. 通道维度频谱选择与信息约束：打破空间全局假设的弱分支构建 现有的弱模型构建方式（如注意力扰动或空间 patch 置换）均严重依赖完整的空间拓扑结构，而自回归解码在每步仅处理当前生成的局部 token，依赖 KV-Cache，空间扰动会导致严重的序列断裂。为解决此冲突，SWG 将目光投向特征向量 $\mathbf{x} \in \mathbb{R}^C$ 的通道维度。通过标准离散傅里叶变换矩阵 $\mathbf{W} \in \mathbb{C}^{C \times C}$ 将其映射至频域 $\hat{\mathbf{x}} = \mathbf{W}\mathbf{x}$。随后定义对角二值选择矩阵 $\mathbf{M} = \text{diag}(M_0, M_1, \dots, M_{C-1}) \in \{0, 1\}^{C \times C}$，保留特定频段成分并抑制其余频段，得到截断频谱 $\hat{\mathbf{x}}' = \mathbf{M}\hat{\mathbf{x}}$。由于输入特征为实数，反变换 $\mathbf{x}' = \mathbf{W}^* \hat{\mathbf{x}}'$ 后取实部 $\mathbf{x}' \leftarrow \Re(\mathbf{x}')$。

从信息论角度，可逆酉变换（如 DFT 与 IDFT）满足互信息不变性 $I(\mathbf{P}\mathbf{x}; \mathbf{Z}) = I(\mathbf{x}; \mathbf{Z})$，本身不造成任何信息退化；而当选择矩阵满足 $\text{rank}(\mathbf{M}) = r < C$ 时，必有 $I(\mathbf{x}'; \mathbf{Z}) \le I(\mathbf{x}; \mathbf{Z})$。在神经网络特征各频段高度统计相关的实际条件下，信息损失严格成立，从而在不修改网络拓扑、不依赖全局布局的前提下，精准获得了一个对下游判别任务置信度更低、熵更高的可控弱模型。

2. 频域与空间双重能量重归一化：抑制自回归误差级联累积 直接在频域执行二值掩码截断会导致特征向量的 $L_2$ 范数显著萎缩。在自回归生成（尤其是逐栅格扫描范式）中，多层网络深度的堆叠与跨时间步的自回归循环极易使这种能量衰减转化为严重的数值漂移，最终在生成后期引发网格条纹、重复伪影甚至解码崩塌。为了在保留信息衰减的同时维持特征尺度的数值稳定性，SWG 提出了两种互为替代的能量重归一化方案。

第一种为频域重归一化（Spectral Renormalization），在掩码截断后且逆变换之前，直接根据原始频谱与截断频谱的模长比值对频谱进行等比例缩放： $$\tilde{\hat{\mathbf{x}}}' = \hat{\mathbf{x}}' \cdot \frac{\|\hat{\mathbf{x}}\|_2}{\|\hat{\mathbf{x}}'\|_2 + \epsilon}, \quad \tilde{\mathbf{x}}' = \Re\big(\mathbf{W}^* \tilde{\hat{\mathbf{x}}}'\big)$$ 第二种为空间重归一化（Spatial Renormalization），即在完成逆傅里叶变换并提取实部后，在空间域将特征向量按原始空间模长进行缩放校正： $$\tilde{\mathbf{x}}' = \mathbf{x}' \cdot \frac{\|\mathbf{x}\|_2}{\|\mathbf{x}'\|_2 + \epsilon}$$ 理论上非零标量缩放不改变特征与目标的互信息，因此重归一化操作既保护了网络层间的激活幅度，又严格维持了频谱截断带来的信息弱化特性。

3. 多模块多位置自适应引导集成：正交于 CFG 的灵活解码策略 在自回归采样阶段，SWG 支持将频域弱化施加在 Transformer 模块内部的不同子结构上。实验发现无论将弱化操作作用于注意力机制的查询（Query）、键（Key）、值（Value）向量，或是整个自注意力块的输出，弱模型均能稳定产生高熵预测。在每一步自回归采样时，主预测 logits $z_{t,c}$ 与弱预测 logits $z_{t,p}$ 计算引导更新： $$z_t = z_{t,c} + \omega_s \cdot (z_{t,c} - z_{t,p})$$ 当存在文本或类别条件且启用了传统 CFG（带有空条件预测 $z_{t,b}$ 与系数 $\omega_c$）时，SWG 与 CFG 呈现正交互补性，总更新公式为： $$z_t = z_{t,c} + \omega_s \cdot (z_{t,c} - z_{t,p}) + \omega_c \cdot (z_{t,c} - z_{t,b})$$ CFG 侧重于拉近生成结果与文本提示词的语义绑定，而 SWG 侧重于拉大与模糊低信息分布的距离，显著增强纹理细节与视觉美学质感。

一个完整示例¶

以 Lumina-mGPT 进行无条件生成单步解码为例： 1. 初始隐状态进入某注意力层，维度为 $C=4096$。主分支正常计算得到其隐状态与预测趋势。 2. 弱分支将通道特征向量 $\mathbf{x} \in \mathbb{R}^{4096}$ 执行一维实数 DFT，获得复数频谱 $\hat{\mathbf{x}}$。 3. 设定截断比例为保留低频 10% 的频段（对角掩码 $\mathbf{M}$ 仅前 10% 元素置 1，其余置 0）。截断后 $\|\hat{\mathbf{x}}'\|_2$ 显著低于 $\|\hat{\mathbf{x}}\|_2$。 4. 运行频域重归一化，将截断频谱整体乘以比值 $\|\hat{\mathbf{x}}\|_2 / (\|\hat{\mathbf{x}}'\|_2 + \epsilon)$，恢复总能量，逆变换并取实部得到 $\tilde{\mathbf{x}}'$。 5. 弱分支继续前向传递至输出头，得到输出分布 $z_{t,p}$。计算发现弱预测的累积信息熵显著高于主分支预测 $z_{t,c}$，表明其处于模糊犹豫状态。 6. 取 $\omega_s = 3.0$，执行 $z_t = z_{t,c} + 3.0 \cdot (z_{t,c} - z_{t,p})$，极大放大了主分支相比模糊猜测所具备的确定性特征，顺利采样出清晰的局部轮廓 token。

损失函数 / 训练策略¶

SWG 是一种纯粹的推理期免训练（Training-free）算法，不需要任何额外的模型微调、权重更新或辅助判别器训练。在推理部署时，仅需引入两个核心超参数：频域选择掩码保留比例（通常选取 0.1 左右以提供充分的弱化程度）和引导尺度 $\omega_s$（在离散模型如 RandAR 上一般推荐 $\omega_s \in [2.0, 4.0]$，在连续模型 NOVA 上推荐 $\omega_s \in [0.4, 1.0]$）。

实验关键数据¶

主实验¶

评估涵盖连续标记文本生成模型 NOVA（0.3B）、离散标记文本生成模型 Lumina-mGPT（7B）以及类别条件离散模型 RandAR（0.7B），在 COCO 与 ImageNet 数据集上测试条件与无条件生成表现。

模型	引导方式	条件类型	FID ↓	IS ↑	CLIP Score ↑	Aesthetic Score ↑
NOVA	Baseline (无引导)	Uncond	85.34	12.25	-	4.03
NOVA	SWG	Uncond	50.37	19.12	-	5.75
NOVA	Baseline (无引导)	Cond	46.86	19.46	26.62	4.21
NOVA	SWG	Cond	15.80	31.27	29.86	5.78
Lumina-mGPT	Baseline (无引导)	Uncond	153.96	7.94	-	5.79
Lumina-mGPT	SWG	Uncond	146.00	7.93	-	6.85
Lumina-mGPT	Baseline (无引导)	Cond	90.85	16.52	28.08	5.98
Lumina-mGPT	SWG	Cond	82.19	19.56	29.28	6.68

消融实验¶

在 COCO 数据集上以 NOVA 为基准，系统验证 SWG 与传统 CFG 的兼容性，以及不同弱模型构建手段和能量重归一化策略的效果对比。

配置 / 弱模型构建方式	CFG 启用	SWG 启用	FID ↓	IS ↑	CS / AS ↑	说明
Baseline	✗	✗	102.23	13.08	CS: 26.59 / AS: 4.14	无任何引导基线
仅 SWG 引导	✗	✓	68.96	21.53	CS: 30.51 / AS: 5.88	较基线 FID 降低 33.27
仅 CFG 引导	✓	✗	67.59	25.67	CS: 32.86 / AS: 5.80	文本对齐更优，美学偏低
CFG + SWG 联合引导	✓	✓	67.02	26.30	CS: 32.51 / AS: 5.96	综合指标达到最优
特征均值模糊 (w/ Avg)	✗	弱分支替代	112.79	11.87	AS: 5.56	启发式均值弱化，提升受限
层剪枝弱化 (w/ Pruning)	✗	弱分支替代	110.87	13.25	AS: 5.02	结构剪枝，引起特征分布突变
空间重归一化 (SWG-s)	✗	✓	105.98	13.04	AS: 5.70	无条件 COCO 下 SWG 空间归一化
频域重归一化 (SWG-f)	✗	✓	104.51	13.44	AS: 5.72	频域能量保持更优

关键发现¶

无条件生成质的突破：在无任何提示词的纯无条件场景下，传统 CFG 完全失效，而 SWG 使 NOVA 的 FID 从 85.34 骤降至 50.37（下降 34.97），美学评分从 4.03 飙升至 5.75，彻底终结了无引导自回归生成只能产出模糊扭曲图像的缺陷。
与 CFG 具备互补增益：SWG 与 CFG 各具特长——CFG 强于文字指令精确对齐（更高 CLIP Score），SWG 强于去除模糊与提升结构清品质（更高 Aesthetic Score）。在 ImageNet 上 RandAR 联合调优时，在 $\omega_c = 3.8, \omega_s = 0.4$ 时达到了最优 FID 5.26。
重归一化至关重要：若剔除能量重归一化，截断造成的能量损失会在自回归序列步中持续累积，导致后期生成阶段出现明显的栅格水平条纹与几何崩溃；频域重归一化与空间重归一化均能有效避免该缺陷。

亮点与洞察¶

通道频域变换巧妙避开自回归局部性束缚：传统引导扰动在扩散模型中常作用于全局空间或时间步，自回归模型因 KV-Cache 逐 token 生成而无法应用此类操作；本文转而在隐层通道内部做傅里叶滤波，巧妙实现了与序列时间步完全解耦的训练免扰动。
从信息论可逆性与秩亏损提供严格理论支撑：证明了正交傅里叶变换与模长缩放保持互信息不变，而对角截断矩阵严格减少互信息，使弱模型的“弱”具有明确的数学刻画，摆脱了单纯启发式试错。
广泛的范式迁移潜力：该通道级频谱弱化思想并不绑定于特定视觉 tokenizer，对于连续特征自回归（NOVA）、离散自回归（Lumina-mGPT）、随机序自回归（RandAR）均即插即用，甚至具备向多模态与纯文本自回归负引导迁移的潜力。

局限与展望¶

双路前向计算开销增加：构建弱模型分支需要在每个解码步额外执行一次前向计算与频域变换，虽然免去训练，但推理阶段的时间消耗接近翻倍（若同时叠加 CFG 则变为三路前向）。
超参数对架构特性的敏感性：连续标记模型（如 NOVA）与离散离散模型（如 RandAR、Lumina-mGPT）的最佳引导强度 $\omega_s$ 存在明显跨度（连续模型适合较小的 $\omega_s \approx 0.4$，离散模型需要较大的 $\omega_s \approx 3.0$），仍需依据具体架构进行网格搜索。
未来方向：探索跨步动态频段掩码调节（例如早期保留低频轮廓、后期扰动高频纹理）以及将弱分支前向缓存剪枝以加速推理。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从通道频域截断切入自回归模型的免训练弱引导机制，构思新颖。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖离散/连续、条件/无条件、多分辨率与大模型（7B），理论证明与消融分析兼备。
写作质量: ⭐⭐⭐⭐⭐ 数学论证严谨，逻辑链路清晰。
价值: ⭐⭐⭐⭐⭐ 攻克了视觉自回归无法无条件引导的顽疾，对生成模型引导理论具有高度启发性。