BitDance: Scaling Autoregressive Generative Models with Binary Tokens¶

会议: NeurIPS 2026
arXiv: 2602.14041
代码: https://github.com/shallowdream204/BitDance
领域: 图像生成
关键词: 自回归图像生成, 二值视觉分词器, 二值扩散头, 下一Patch扩散, 文本到图像生成

一句话总结¶

BitDance 提出了一种基于高熵二值视觉 Token（词表规模最高达 \(2^{256}\)）的可扩展自回归图像生成框架，通过二值扩散头（Binary Diffusion Head）和下一 Patch 扩散（Next-Patch Diffusion）并行预测机制，在 ImageNet 256×256 上取得自回归模型最优的 1.24 FID，并在 1024×1024 文生图任务上实现超 30 倍推理加速。

研究背景与动机¶

大语言模型通过下一 Token 预测展现了强大的扩展性与泛化能力，推动了视觉生成向自回归（AR）范式的演进。然而将自回归建模迁移到视觉领域长期面临底层表征的两难困境：传统的离散自回归模型（如 LlamaGen、VAR、Emu3）依赖矢量量化（VQ）将图像编码为码本索引，但离散词表规模难以扩展，有损量化会导致高频细节丢失与重建质量下降；而连续自回归模型（如 MAR、NextStep-1、xAR）虽然借助连续 VAE 获得了高保真重建，却因为潜空间缺乏离散结构的强正则约束，在长序列自回归生成时极易产生严重的误差累积与表征漂移。同时，逐 Token 串行解码的机制在高分辨率图像生成中带来了高昂的推理延迟瓶颈。

深入剖析这一困境可以发现，其核心矛盾在于离散视觉词表的“高表征熵”与“可解采样空间”之间的冲突，以及并行生成时“多 Token 独立采样假设”与“空间局部强相关性”之间的矛盾。一方面，若采用无查找量化（LFQ）将 \(d\) 通道二值潜变量扩展到 \(2^{256}\) 级别的大词表，离散分词器的重建质量即可媲美甚至超越连续 VAE，但传统分类头需要 \(h \times 2^d\) 的指数级参数量（\(d=32\) 时即达数万亿参数），而逐比特独立二分类（如 Infinity）又会忽略通道间的强耦合关系导致采样失真；另一方面，现有的并行自回归方法（如 PAR、RandAR）在单步同时预测多个 Token 时仍沿用独立分类头分别采样，破坏了局部区域内像素块的联合分布一致性。

为此，本文跳出“离散 Token 必须用 Softmax 分类头采样”的固有思维，从几何视角切入：既然 \(d\) 维二值 Token 本质上是连续空间中超立方体的有限顶点集合 \(\{-1, 1\}^d\)，就可以直接在连续空间中用扩散流匹配建模其联合分布，并在采样末端利用符号函数投影回二值顶点。核心 idea：构建词表规模高达 \(2^{256}\) 的高熵二值视觉分词器，设计基于连续空间整流流（Rectified Flow）的二值扩散头联合建模所有二值通道，并进一步扩展为基于分块因果掩码的“下一 Patch 扩散”范式，实现多 Token 联合分布的高精度并行自回归生成。

方法详解¶

整体框架¶

BitDance 是一套面向类别条件生成与大规模多模态文生图的自回归生成框架。在训练与编码阶段，输入图像首先经过大词表二值视觉分词器编码为紧凑的二值潜特征，并按空间尺寸为 \(p \times p\) 的 Patch 光栅扫描顺序（Patch-wise Raster Scan Order）展平为一维序列；在文本到图像生成场景下，序列前端拼接文本 Token、图像起始符 [boi] 以及显式控制宽高比的分辨率标记 [res_i] 与 [res_j]。随后，自回归 Transformer 主干结合分块因果注意力掩码处理多模态序列，单步输出当前待预测 Patch 内全部 \(p^2\) 个位置的条件隐状态；最后由轻量级 DiT 构成的二值扩散头在连续空间中对这 \(p^2\) 个 \(d\) 维二值 Token 执行联合去噪采样与硬二值化截断，实现高效高保真的下一 Patch 并行自回归生成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与文本提示<br/>及分辨率标记 [res_i, res_j]"] --> B["大词表二值视觉分词器<br/>分组 LFQ 编码至 {-1,1}^d"]
    B --> C["下一 Patch 扩散并行预测<br/>Patch 光栅展开与分块因果掩码"]
    C --> D["二值扩散头<br/>轻量 DiT 连续流匹配与 sign 截断"]
    D --> E["解码输出高分辨率图像<br/>支持可选 16→64 Token 步长蒸馏"]

关键设计¶

1. 大词表二值视觉分词器：基于分组无查找量化扩展离散表征熵至 \(2^{256}\)

针对传统离散 VQ 分词器在扩大码本时极易发生码本坍缩（Codebook Collapse）且重建精度远逊于连续 VAE 的痛点，BitDance 采用无查找量化（LFQ）构建高熵二值潜空间。给定编码器输出的 \(d\) 维特征向量 \(x \in \mathbb{R}^d\)，模型使用无需学习的隐式二值码本 \(\mathcal{C}_{\text{LFQ}} = \{-1, 1\}^d\)，对每个通道独立执行符号量化 \(x_q = \text{sign}(x)\)。为了防止码本坍缩并最大化信息容量，训练时需施加熵正则损失：

\[\mathcal{L}_{\text{entropy}} = \mathbb{E}[H(q(x))] - H[\mathbb{E}(q(x))]\]

然而在标准 LFQ 中，计算分布 \(q(x)\) 需要度量特征与全部 \(2^d\) 个码本状态之间的相似度，显存开销随通道数 \(d\) 指数级爆炸，导致 MAGVIT-v2 等方法最高只能扩展到 \(2^{18}\)。为此，BitDance 引入分组无查找量化策略（Group-wise LFQ），将 \(d\) 个二值通道均匀划分为 \(g\) 个独立的子组分别计算熵损失，从而在保持码本高利用率的同时打破显存瓶颈。借助这一设计，BitDance 首次将离散视觉词表规模扩展至 \(2^{32}\)（16 倍下采样）乃至 \(2^{256}\)（32 倍下采样），使离散 Token 在更高压缩率下依然实现了超越 SD-VAE 与 DC-AE 等连续分词器的重建保真度，同时保留了离散状态空间抑制自回归长序列误差累积的天然优势。

2. 二值扩散头：将二值 Token 嵌入超立方体顶点并用连续流匹配联合采样

当单个二值 Token 的状态空间扩展到 \(2^d\)（如 \(2^{32}\) 或 \(2^{256}\)）时，传统基于索引的 Softmax 分类头需要 \(h \times 2^d\) 的线性层参数，在物理硬件上完全不可行；而若退化为 \(d\) 个独立的二元分类头（即假设各比特相互独立 \(\prod_{i=1}^d p(b_i)\)），又会丢失通道间的复杂相关性，导致采样质量断崖式下跌。为解决超大离散空间的采样难题，BitDance 提出二值扩散头（Binary Diffusion Head），不将二值 Token 映射为离散整数索引，而是直接将其视为连续空间 \(\mathbb{R}^d\) 中超立方体的顶点向量 \(x \in \{-1, 1\}^d\)，以自回归主干输出的隐状态 \(z \in \mathbb{R}^h\) 为条件，采用整流流（Rectified Flow）和 \(x\)-prediction 参数化方式建模条件分布 \(p(x|z)\)：

\[\mathcal{L}(z, x) = \mathbb{E}_{t, x, \epsilon} \left\| v_\theta(x_t, t, z) - v_t \right\|^2, \quad v_\theta(x_t, t, z) = \frac{f_\theta(x_t, t, z) - x_t}{1 - t}\]

其中 \(x_t = t x + (1 - t)\epsilon\) 为与标准高斯噪声 \(\epsilon \sim \mathcal{N}(0, I)\) 线性插值的加噪二值 Token，目标速度场为 \(v_t = x - \epsilon\)，\(f_\theta\) 为直接预测干净二值潜变量的神经网络。在推理阶段，模型从高斯噪声 \(x_0 \sim \mathcal{N}(0, I)\) 出发，使用欧拉求解器迭代 \(N\) 步（仅需 10–20 步）积分速度场，并在最后一步执行硬二值化投影 \(x_1 = \text{sign}(x_1)\)。从几何本质上看，连续 VAE 潜空间的扩散目标分布在无约束的实数域上，而二值 Token 构成模长恒定、方向离散的超立方体顶点集合，这种强几何先验大幅降低了扩散头的学习难度，并在每步解码末端通过 sign 截断彻底消除了连续自回归模型的累积漂移。

3. 下一 Patch 扩散并行预测：结合分块因果掩码与多 Token 联合去噪实现高速解码

为了克服逐 Token 自回归生成在高分辨率下的速度瓶颈，同时解决现有并行自回归方法因“单步多 Token 独立分类采样”造成的局部伪影与训练-推理目标失配，BitDance 提出了下一 Patch 扩散（Next-Patch Diffusion）机制。该方法利用图像的局部空间相关性，将长度为 \(N\) 的视觉序列划分为 \(M\) 个互不重叠的 \(p \times p\) 局部块 \(X_m \in \{-1, 1\}^{p^2 \times d}\)，并按 Patch 级别的光栅扫描顺序排列（即先排布完第一个 \(p \times p\) Patch 内的所有 Token，再排布下一个 Patch）。在自回归 Transformer 内部，模型采用分块因果注意力掩码（Block-wise Causal Attention Mask），允许同一 Patch 内部的 \(p^2\) 个 Token 相互可见以充分捕获局部空间交互，同时严格保持跨 Patch 之间的因果依赖；针对首个视觉 Patch 的并行预测，序列前端引入 \(p^2 - 1\) 个可学习的前缀占位 Token（Learnable Prefix Tokens）。在此基础上，自回归主干单步输出的 \(p^2\) 个隐状态 \(Z \in \mathbb{R}^{p^2 \times h}\) 被一并送入由轻量级 DiT 构成的二值扩散头，将公式中的单 Token 速度匹配损失扩展至整个 Patch 的联合分布建模：

\[\mathcal{L}_{\text{parallel}} = \mathbb{E}_{t, X, \epsilon} \left\| v_\theta(X_t, t, Z) - v_t \right\|^2\]

通过让轻量级 DiT 在去噪过程中对同一 Patch 内的 \(p^2\) 个二值 Token 进行全注意力交互，模型显式捕获了并行预测 Token 之间的联合概率分布，从而在单步并行解码 4 个（\(p=2\)）、16 个（\(p=4\)）乃至蒸馏后 64 个（\(p=8\)）Token 时依然保持严密的空间结构一致性。

损失函数 / 训练策略¶

在类别条件生成（ImageNet）中，模型仅使用并行二值扩散损失 \(\mathcal{L}_{\text{parallel}}\) 训练 800 个 epoch。在文生图任务中，14B 规模的 BitDance 以预训练 Qwen3-14B 为基座（兼作文本编码器与图像生成器），采用 16 倍下采样、\(2^{32}\) 词表的二值分词器与 \(p=4\)（每步并行预测 16 个 Token）配置，融合一维 RoPE 与二维正弦位置编码，并引入分辨率控制标记 [res_i]、[res_j] 支持任意宽高比生成。训练总损失由视觉二值扩散损失与文本交叉熵损失按 \(1 : 0.01\) 权重加权组成，文本 Token 以 0.1 概率随机丢弃以支持无分类器引导（CFG）。完整训练包含四个阶段：预训练（PT，100K 步，采用 256px:512px:1024px = 2:7:1 的混合分辨率策略保证稳定性，共 256M 样本）、持续训练（CT，40K 步，提升 1024px 占比至 0:1:1，99.2M 样本）、监督微调（SFT，40K 步，结合开源数据与少量高质量合成图像及图文理解数据，92.8M 样本），以及可选的步长加速蒸馏阶段（Distill，20K 步，仅用 30.7M 纯 1024px 样本将每步并行预测数从 \(p^2=16\) 直接迁移扩展至 \(p^2=64\)）。

实验关键数据¶

主实验¶

表 1：ImageNet 256×256 类别条件生成与并行推理性能对比（整合原文 Table 2 与 Table 3）

模型	类型 / 词表类型	参数量	解码步数	吞吐量 (img/s)↑	FID↓	IS↑	Precision↑	Recall↑
LlamaGen-XXL	离散 AR (VQ)	1.4B	256	-	2.34	253.9	0.80	0.59
VAR-d30	离散下一尺度 AR (VQ)	2.0B	10	-	1.92	323.1	0.82	0.59
RAR-XXL	离散随机序 AR (VQ)	1.5B	256	-	1.48	326.0	0.80	0.63
MAR-H	连续掩码 AR (VAE)	943M	256	-	1.55	303.7	0.81	0.62
SphereAR-H	连续超球面 AR (VAE)	943M	256	-	1.34	300.0	0.80	0.64
xAR-H	连续下一块 AR+Diff (VAE)	1.1B	-	-	1.24	301.6	0.83	0.64
PAR-XXL	离散并行 AR (VQ)	1.4B	147	5.17	2.35	263.2	0.80	0.62
RandAR-XXL	离散并行 AR (VQ)	1.4B	88	10.39	2.15	322.0	0.79	0.62
BitDance-B-1x (本文)	二值离散 AR (LFQ, \(p=1\))	242M	256	-	1.68	297.1	0.80	0.62
BitDance-L-1x (本文)	二值离散 AR (LFQ, \(p=1\))	527M	256	-	1.31	300.2	0.80	0.64
BitDance-H-1x (本文)	二值离散 AR (LFQ, \(p=1\))	1.0B	256	-	1.24	304.4	0.81	0.64
BitDance-B-4x (本文)	二值并行 AR (LFQ, \(p=2\))	260M	64	24.18	1.69	291.2	0.79	0.63
BitDance-B-16x (本文)	二值并行 AR (LFQ, \(p=4\))	260M	16	90.26	1.91	283.8	0.78	0.62

表 2：文本到图像生成多基准性能与 1024×1024 推理延迟对比（整合原文 Table 5–8、10、11）

模型	架构类型	参数量	DPG-Bench↑	GenEval↑	OneIG-EN↑	OneIG-ZH↑	1024px 延迟 (s)↓
GPT Image 1	闭源商业模型	-	85.15	0.84	0.533	0.474	-
Seedream 3.0	闭源商业模型	-	88.27	0.84	0.530	0.528	-
FLUX.1-Dev	连续扩散模型	12B	83.84	0.66	0.434	-	-
BAGEL	统一扩散模型	7B	85.07	0.88	0.361	0.370	23.1
Qwen-Image	连续扩散模型	20B	88.32	0.87	0.539	0.548	20.3
Emu3-Gen	离散自回归	8B	80.60	0.54	-	-	-
Janus-Pro	离散自回归	7B	84.19	0.80	0.267	0.240	-
NextStep-1	连续自回归	14B	85.28	0.73	0.418	-	402.0
GLM-Image	自回归模型	16B	84.78	-	0.528	0.511	53.2
BitDance-SFT (本文, 16-tok)	二值自回归	14B	88.28	0.86	0.532	0.512	-
BitDance-Distill (本文, 64-tok)	二值自回归	14B	88.30	0.85	-	-	12.4

消融实验¶

表 3：视觉分词器重建性能与 ImageNet 256×256 核心组件消融（整合原文 Table 1、12、13、14）

实验维度	具体配置	关键设置 / 词表规模	重建 PSNR↑ / SSIM↑	生成 FID↓	生成 IS↑	说明
分词器重建 (16×)	SD-VAE (8× 连续)	压缩比 24 (连续)	23.54 / 0.68	-	-	标准连续 VAE 基线
分词器重建 (16×)	BitDance-Tok (16×)	词表 \(2^{32}\), 压缩比 192	24.90 / 0.72	-	-	压缩比高 8 倍仍超越 SD-VAE
分词器重建 (32×)	DC-AE (32× 连续)	压缩比 48 (连续)	24.81 / 0.69	-	-	高压缩比连续自编码器
分词器重建 (32×)	BitDance-Tok (32×)	词表 \(2^{256}\), 压缩比 96	25.29 / 0.74	-	-	高熵离散词表超越连续 DC-AE
生成分词器对比	MAR's VAE	连续 Token (\(p=1\))	-	3.16	289.9	无约束连续潜空间易累积误差
生成分词器对比	VA-VAE	连续 Token (\(p=1\))	-	4.84	273.7	连续特征漂移导致生成退化
生成分词器对比	BitDance-Tok	二值 Token (\(p=1\))	-	1.79	290.5	二值超立方体约束显著提升生成
采样头消融	Token Cls Head	索引分类头 (\(h \times 2^d\))	-	OOM	OOM	参数量随通道数指数爆炸导致显存溢出
采样头消融	Bit-wise Cls Head	逐比特独立二分类头	-	8.37	174.5	忽略通道间相关性导致采样严重失真
采样头消融	Binary Diff Head	二值扩散头 (\(p=1\))	-	1.79	290.5	连续流匹配联合建模全部二值通道
下一 Patch 设计	Patch→Token Raster	标准行扫描 + 分块掩码 (\(p=4\))	-	2.15	270.0	未按局部空间聚集排列 Token
下一 Patch 设计	Block-wise→Full	Patch 扫描 + 全因果掩码 (\(p=4\))	-	2.07	271.8	缺失 Patch 内部双向可见性
下一 Patch 设计	Next-Patch Diffusion	Patch 扫描 + 分块因果掩码 (\(p=4\))	-	1.98	276.7	完整下一 Patch 并行扩散设计

关键发现¶

二值扩散头与高熵二值 Token 缺一不可：在 ImageNet 消融（400 epochs，BitDance-B）中，将采样头替换为逐比特独立分类头会使 FID 从 1.79 暴跌至 8.37（恶化 6.58），而直接分类头直接触发显存溢出（OOM）；同时，若保持相同的自回归生成架构但将二值分词器替换为连续的 MAR's VAE 或 VA-VAE，FID 分别退化至 3.16 和 4.84，直接证实了无约束连续潜空间在标准因果自回归下存在严重的误差累积，而二值超立方体顶点约束与 sign 投影能有效截断误差传播。
词表熵扩展遵循与模型容量匹配的 Scaling Law：原文图 6 揭示了一个关键规律——当词表规模从 \(2^{32}\) 扩大到 \(2^{128}\) 和 \(2^{256}\) 时，小规模 Transformer（242M）难以收敛，FID 反而劣于小词表；但当 Transformer 扩展到 1.0B–2.0B 时，更大词表展现出更陡峭的性能提升曲线并取得更优的最终 FID 与 IS，说明高熵视觉表征需要足够大的主干容量来消化。
极致的并行效率与低样本量数据效率：在 ImageNet 上，仅 260M 参数的 BitDance-B-16x（每步预测 16 个 Token，共 16 步）达到 1.91 FID 和 90.26 img/s 吞吐量，相比 1.4B 参数的并行自回归 SOTA RandAR-XXL（2.15 FID，10.39 img/s）参数量减少 5.4 倍、速度提升 8.7 倍且生成质量更优。在 1024×1024 文生图任务中，BitDance 仅使用不到 4.5 亿（<450M）图文对训练，远少于主流商业模型的数十亿规模，却在 DPG-Bench（88.28）和 GenEval（0.86）上刷新自回归模型纪录；经 20K 步蒸馏为 64-Token 并行预测后，DPG-Bench 保持 88.30，单张 H100 生成 1024×1024 图像仅需 12.4 秒，较 NextStep-1（402 秒）加速超 32 倍，甚至快于 Qwen-Image（20.3 秒）等主流扩散模型。

亮点与洞察¶

“离散表征 + 连续扩散采样 + 硬二值截断”的跨范式融合：过去视觉自回归研究往往将“离散 Token ↔ 交叉熵分类头”与“连续 Token ↔ 扩散头”绑定。BitDance 最令人耳目一新的洞察在于打破了这一绑定——把高维二值 Token 看作连续空间中超立方体的顶点 \(\{-1, 1\}^d\)，训练和推理中期借道连续流匹配来规避 \(2^{256}\) 词表的组合爆炸并建模多比特联合分布，而在积分终点仅靠一步 sign(x) 就将连续预测拉回离散格点，既享受到连续扩散的表达力，又保留了离散表征天然抗累积误差的鲁棒性。
消除并行自回归中的训练-推理联合分布失配：此前并行 AR 模型虽然让 Transformer 主干同时输出多个位置的隐状态，但在采样层仍用分类头对每个位置独立采样，好比“多个人蒙着眼睛各自画拼图的一角”。BitDance 利用轻量级 DiT 扩散头对整个 \(p \times p\) Patch 的所有二值 Token 进行联合去噪，使并行生成的 Token 在采样过程中能够实时交互对齐纹理边界，这也是其能从单步 16 Token 无损蒸馏到单步 64 Token 的核心原因。
可迁移的设计范式：二值超立方体扩散头与下一 Patch 联合去噪的思想不仅适用于图像生成，还可直接迁移至长视频自回归生成（将 3D 时空 Tubelet 编码为高熵二值 Token 并按时空块并行扩散解码以抑制长视频色彩漂移）、多模态统一理解与生成大模型，以及高维离散动作空间或多通道神经音频编解码器的快速并行生成任务。

局限与展望¶

大词表在小模型上的收敛门槛较高：如实验图 6 所示，当二值词表规模扩展至 \(2^{128}\) 或 \(2^{256}\) 时，小参数量的自回归主干（如 242M）难以有效拟合高熵分布，必须配套 1B 以上的模型规模才能释放大词表红利，这限制了超大规模二值词表在端侧轻量级自回归模型上的直接应用。
文生图未直接启用最大 \(2^{256}\) 词表且生成多样性略受权衡：尽管论文在分词器实验中验证了 32 倍下采样、\(2^{256}\) 词表的重建优势，但在 14B 文生图主实验中实际采用的是 16 倍下采样（对应 \(2^{32}\) 词表）以平衡重建质量与生成收敛速度；此外在 OneIG-EN/ZH 评测中，BitDance 的 Diversity（多样性）分项（0.177 / 0.159）低于部分基线，这与 SFT 阶段引入其他文生图模型的高质量合成图像及高强度蒸馏有一定关联。
未来可探索的方向：一是引入自适应步长或一致性蒸馏（Consistency Distillation）将二值扩散头的内部欧拉采样步数从 10–20 步进一步压缩至 1–2 步；二是将 32 倍高压缩比 \(2^{256}\) 二值分词器扩展应用到 2K/4K 超高分辨率图像与长视频自回归基础模型中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 将高达 \(2^{256}\) 的高熵二值离散表征与连续空间流匹配扩散头及分块并行去噪巧妙结合，优雅破解了大词表离散采样与连续潜空间误差累积的双重难题。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖分词器重建、ImageNet 类别生成（单步与多步并行）、14B 多基准文生图（GenEval/DPG/OneIG/TIIF）、推理延迟及全面消融与分布可视化分析。
写作质量: ⭐⭐⭐⭐⭐ 痛点剖析直击本质，图 3（三种采样头对比）与图 5（独立采样 vs 联合采样）直观清晰，公式推导与实验呼应紧密。
价值: ⭐⭐⭐⭐⭐ 为视觉自回归大模型提供了一套兼顾高保真、抗误差累积与超 30 倍推理加速的实用底座方案，且开源了代码与模型。