RaPD: Resolution-Agnostic Pixel Diffusion via Semantics-Enriched Implicit Representations¶

会议: NeurIPS 2026
arXiv: 2605.15908
OpenReview: https://openreview.net/forum?id=BRLhAs1iAm
领域: 其他
关键词: 图像生成、像素级扩散模型、神经图像场、任意分辨率渲染、流匹配

一句话总结¶

提出直接在连续神经图像场（NIF）隐空间建模的像素级扩散模型 RaPD，通过语义表征引导与基于坐标查询的注意力渲染器，实现扩散采样代价恒定、仅需变换查询坐标网格即可高质量合成任意分辨率图像。

研究背景与动机¶

自然物理世界在空间维度上是本质连续的，但现存主流现代图像生成模型均建立在离散网格的基础假设之上。无论是依赖压缩自编码器（VAE）隐空间的潜在扩散模型（如 LDM、SD3、FLUX），还是直接在离散像素标记上操作的像素级扩散模型（如 PixelFlow、PixelGen），其网络骨干和计算复杂度都与固定的离散空间网格深度绑定。当目标分辨率提升时，离散 token 序列长度呈二次方暴涨，导致超出预设训练尺度的任意分辨率合成面临严峻的计算膨胀与结构畸变瓶颈。

为了打破固定网格束缚，已有部分任意分辨率生成工作尝试将神经隐式场（INR / NIF）或连续坐标解码机制引入生成流程。然而，这些方法几乎全部将连续性局限在末端的解码或超分辨率插值阶段——生成模型的主干扩散先验依然被困在离散的特征网格或下采样的 VAE 隐空间中。更关键的矛盾在于，传统神经图像场（如 LIIF、CLIF）的设计与训练目标均完全面向低阶像素级重建与局部纹理插值，其浅层 MLP 或受限卷积解码器仅依赖局部外观线索，缺乏长程语义聚合能力；当直接将流匹配或扩散去噪算法施加在此类重建导向的连续隐空间时，模型无法组织起清晰的语义拓扑与全局对象布局，暴露了显式的“重建-生成表征鸿沟”（Reconstruction-Generation Gap）。

面对这一核心困境，本文探索直接对连续图像信号本身进行端到端生成建模的可行路径。既然传统隐式表征仅擅长局部像素拟合，那么就必须从表征重塑与连续解码两个维度协同改造连续隐空间：一方面通过引入视觉基础模型的结构先验赋予连续场深层语义感知力，另一方面构建具备跨像素上下文交互能力的注意力渲染机制。核心 idea：在连续神经图像场（NIF）隐空间直接执行像素流匹配扩散，通过语义表征引导（SRG）将低阶连续隐表征重塑为生成完备表征，并配合基于坐标查询的注意力渲染器（CQAR），实现去噪计算量与输出尺寸完全解耦的任意分辨率文本到图像生成。

方法详解¶

整体框架¶

RaPD 采用严谨解耦的两阶段训练与任意尺度推理设计。在阶段一（Stage-1）中，模型训练生成感知型神经图像场自编码器：无空间下采样的 EDSR 风格编码器将输入图像映射至全分辨率连续密集隐表征 $\bm{z}$，并通过语义表征引导（SRG）融入冻结 DINOv2 的高阶语义几何，配合坐标查询注意力渲染器（CQAR）在动态多尺度监督下联合优化。在阶段二（Stage-2）中，冻结编码器与 CQAR，在通道归一化的 NIF 隐空间上训练文本条件 DiT 去噪骨干网络，使用经密度感知调整的流匹配速度场预测目标。推理阶段，无论最终目标图像分辨率多大，扩散去噪仅在基准隐空间执行一次恒定步数的 Euler ODE 采样，解码时只需向 CQAR 输入对应分辨率的归一化连续坐标网格，即可一次前向合成无缝且富有高频细节的高分辨率图像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入文本提示词 y 与连续高斯噪声 ϵ"] --> B["阶段二：流匹配去噪<br/>密度感知时间步调度 s=32"]
    B --> C["连续 NIF 隐空间表征 z<br/>经阶段一语义表征引导塑造"]
    C --> D["坐标标记构建<br/>融合最近邻隐特征/空间偏移/单元尺度"]
    D --> E["窗口化注意力渲染<br/>Swin风格W-MSA/SW-MSA跨像素推理"]
    E --> F["任意分辨率图像输出 x<br/>扩散去噪代价恒定/仅扩展查询坐标"]

关键设计¶

1. 语义表征引导（Semantic Representation Guidance, SRG）：弥合重建与生成的连续隐空间鸿沟 传统 NIF 隐空间仅通过像素 $L_1$ 和感知损失训练，编码器倾向于记忆高频浅层色彩与局部边缘，导致流匹配去噪过程难以建立全局语义概念。为此，SRG 在阶段一引入语义蒸馏（Semantic Distillation），以冻结的 DINOv2 ViT-B/14 最终层 patch token 为教师表征 $\bm{t} \in \mathbb{R}^{768 \times H_p \times W_p}$。由于 NIF 隐表征 $\bm{z} \in \mathbb{R}^{C \times H \times W}$ 保留全分辨率无下采样结构，模型将 $\bm{z}$ 空间池化至 DINOv2 patch 尺寸并经 $1\times 1$ 卷积投影得 $\bm{z}_{\text{proj}}$。蒸馏目标联合约束带边距的逐位置余弦损失与空间关系几何距离矩阵相似度损失： $$\mathcal{L}_{\text{distill}} = \frac{1}{N}\sum_{i=1}^{N}\max\bigl(0,\, 1-m_{\text{cos}}-\cos(\bm{z}_{\text{proj}}^{(i)},\bm{t}^{(i)})\bigr) + \frac{1}{K^2}\sum_{i,j}\max\bigl(0,\, |\bm{D}_z[i,j] - \bm{D}_t[i,j]| - m_{\text{dist}}\bigr)$$ 其中 $\bm{D}_z$ 与 $\bm{D}_t$ 为在 $K=256$ 个空间采样点计算的位置间余弦相似度矩阵，边距分别设为 $m_{\text{cos}}=0.5$ 与 $m_{\text{dist}}=0.25$。此外，针对全分辨率隐表征极高的空间信息密度，SRG 在阶段二引入隐空间密度感知时间步调度（Latent-Density-Aware Timestep Shift）：在流匹配时间步采样中将常规 VAE 使用的 $s \in [1, 3]$ 大幅上调至 $s=32$，强迫去噪网络将计算容量倾斜至决定宏观构图与语义骨架的高噪声阶段。

2. 坐标标记构建（Coordinate Token Construction）：融合最近邻隐特征与连续空间尺度先验 为了在解码任意空间分辨率时不丢失尺度敏感性与局部亚像素偏移信息，CQAR 摒弃简单的双线性插值，为目标连续坐标网格 $\bm{q}_{i,j} \in [-1, 1]^2$ 构建具备显式物理意义的坐标标记。给定连续坐标与目标分辨率下的连续单元尺度描述符 $\Delta \bm{c}_{i,j} = (2/H', 2/W')$，系统检索隐特征图 $\bm{z}$ 中欧氏距离最近的网格中心点 $\bm{q}^*_{i,j}$ 提取最近邻特征 $\bm{z}_{\text{nn}}(\bm{q}_{i,j})$，并计算连续位移向量 $\Delta \bm{q}_{i,j} = \bm{q}_{i,j} - \bm{q}^*_{i,j}$。通过连续线性变换层将四者拼接融合为输入 token： $$\bm{h}_{i,j} = \phi_{\text{in}}\bigl(\bm{z}_{\text{nn}}(\bm{q}_{i,j}),\, \Delta \bm{q}_{i,j},\, \Delta \bm{c}_{i,j},\, \bm{q}_{i,j}\bigr)$$ 这一构造确保了每一个解码单元不仅知道自己承载的局域底层隐语义，还显式感知自身在整张图像中的全局归一化位置、距特征网格中心的精确位移偏差，以及当前输出像元的物理覆盖跨度（尺度因子）。

3. 窗口化注意力渲染（Windowed Attention Rendering）：以非局部注意力替代局域MLP实现语义相干解码 LIIF 和 CLIF 等传统隐式解码器采用逐点 MLP 或局域微型卷积，感受野严重受限，各像素解码时孤立运行，无法利用 SRG 赋予的深层语义结构进行空间互补推理。CQAR 设计了全注意力、无卷积的窗口 Transformer 解码架构，堆叠 4 个窗口注意力块，窗口大小设为 $W=8$。在偶数块中采用标准窗口多头自注意力（W-MSA），引入可学习的相对位置偏置矩阵 $\bm{B} \in \mathbb{R}^{W^2 \times W^2}$；在奇数块中引入循环位移量为 $(W/2, W/2)$ 的移位窗口注意力（SW-MSA），并配以防跨界注意力掩码 $\bm{M}$ 实现相邻窗口间的无缝信息流动。各注意力块后接扩展率为 2 的门控前馈网络（GatedFFN），最终经 LayerNorm 和线性层输出 RGB 三通道。该机制使得单像元计算复杂度对输出像元数保持严格线性 $O(W^2)$，既彻底克服了局域隐式场的拼缀感与模糊感，又赋予了解码器强大的跨像素长程语义协调能力。

损失函数 / 训练策略¶

阶段一采用多尺度动态缩放监督与自适应梯度平衡策略。训练样本随机抽取缩放因子 $r \sim \mathcal{U}[1, 2]$，将原图裁切下采样为基准输入 $\bm{x}_{\text{in}} \in \mathbb{R}^{3 \times 512 \times 512}$ 输入编码器，以高分辨率裁切块为目标 $\bm{x}_{\text{tar}}$ 监督 CQAR 渲染结果。重建损失结合 $\ell_1$ 范数与 LPIPS 感知损失，总损失通过编码器最后一层卷积参数 $\phi_L$ 的梯度范数比率进行自适应动态加权： $$\mathcal{L}_{\text{Stage1}} = \mathcal{L}_{\text{rec}} + w_{\text{adapt}} \mathcal{L}_{\text{distill}},\quad w_{\text{adapt}} = w_{\text{base}} \cdot \text{clamp}\left(\frac{\|\nabla_{\phi_L}\mathcal{L}_{\text{rec}}\|}{\|\nabla_{\phi_L}\mathcal{L}_{\text{distill}}\| + \delta_1},\, 0,\, 10^8\right)$$ 其中 $w_{\text{base}}=0.1$，$\delta_1=10^{-4}$。在阶段二中，DiT 骨干使用流匹配目标训练速度场预测 $\bm{v}_\theta$，并融合权重为 $\lambda_{\text{REPA}}=0.5$ 的表征对齐损失（REPA），将 DiT 第 8 层中间图像特征与 DINOv2 最终特征拉近： $$\mathcal{L}_{\text{Stage2}} = \left\|\bm{v}_\theta - (\tilde{\bm{z}} - \bm{\epsilon})\right\|_2^2 + \lambda_{\text{REPA}} \mathcal{L}_{\text{REPA}}$$ 模型在 36M 规模的 BLIP3o 数据集上进行 260k 步预训练，并在 60k 高质量子集上进行 40k 步微调，使用 8 块 NVIDIA B200 GPU 累计耗时约 5 天。

实验关键数据¶

主实验¶

在标准 $512\times 512$ 分辨率下的文本到图像基准评测中，RaPD 展现了对强基线潜在扩散模型（SD3、FLUX.1-dev）与像素扩散模型（PixelGen、DeCo）的全面优势，并在超高分辨率跨尺度测试中展现出极低的推理时延。

方法	模型参数量	GenEval 总分 ↑	DPG-Bench 均分 ↑	4096×4096 时延 (s) ↓
LDM	1.4B	0.37	—	—
SD3	8.0B	0.68	—	—
FLUX.1-dev	12.0B	0.67	—	—
SANA	1.6B	0.66	85.5	—
PixelFlow-XL/4	0.9B	0.60	77.9	—
PixNerd-XXL/16	1.2B	0.73	80.9	—
PixelGen-XXL/16	1.1B	0.79	80.4	61.46
DeCo-XXL/16	1.1B	0.86	81.4	62.72
RaPD (本文)	1.1B	0.85	81.6	2.13
RaPD (256→512)	1.1B	0.86	82.9	2.13

在超分辨率外推生成对比中，RaPD (256→1024) 在 $1024^2$ 与 $2048^2$ 上均取得了 0.85 的 GenEval 最高分，显著超越同等规模甚至更大规模的 SANA-v1.5（0.82 / 0.80）与 FLUX.1-dev（0.68 / 0.66）。

消融实验¶

消融实验系统验证了阶段一语义蒸馏、阶段二特征对齐（REPA）、时间步偏移调度参数以及渲染器架构的核心效用。

配置	GenEval ↑	DPG-Bench ↑	说明
RaPD 完整模型 ($s=32$)	0.85	81.3	包含阶段一语义蒸馏与阶段二 REPA
去掉阶段一语义蒸馏 (w/o distill)	0.83	78.9	仅用重建损失，结构与语义布局稳定性下降
阶段一蒸馏替换为 CLIP (distill-CLIP)	—	—	语义质量劣化，证明 DINOv2 空间几何先验更优
去掉阶段二 REPA (w/o REPA)	0.61	56.6	扩散去噪收敛速度与生成质量发生大幅滑坡
时间步调度过小 ($s=1$ 或 $s=4$)	—	—	无法适应密集隐表征，导致物体结构松散破碎
时间步调度过大 ($s=48$)	—	—	去噪过度偏向宏观，高频纹理与视觉细节严重丢失
渲染器替换为 LIIF (逐点 MLP)	—	—	重建与生成均产生明显高频噪点与色块边界模糊
渲染器替换为 CLIF (浅层 CNN)	—	—	缺乏全局长程语义注意，高分辨率外推出现结构失真

关键发现¶

语义蒸馏是连续隐空间生成能力的基石：单纯依靠像素级重建损失训练的 NIF 隐空间仅能进行被动的插值重构，无法支持自底向上的文本引导扩散去噪；注入 DINOv2 几何与语义约束后，隐空间才真正具备生成完备性。
时间步调度对全分辨率密集隐空间至关重要：常规 VAE 存在下采样（如 8× 或 16×），其信息密度较低，适用 $s \in [1, 3]$；而全分辨率 NIF 密集隐表征包含大量高频空间信息，必须使用 $s=32$ 强行偏置去噪轨迹，才能在早期充分拟合高阶拓扑结构。
推理效率实现阶跃式缩减：传统像素级扩散模型在 $4096\times 4096$ 分辨率下的 token 数量达到 65,536，去噪步数累加后耗时均超过 61 秒；RaPD 的流匹配去噪 token 数量固定为 1,024（耗时约 0.23s），随分辨率提升仅 CQAR 评估耗时轻微增加，总推理时间在 8 倍尺度下仅需 2.13 秒，展现了无与伦比的高分辨率扩展性。

亮点与洞察¶

将扩散直接施加于连续神经图像场：颠覆了传统“离散网格扩散 + 连续解码超分”的割裂范式，将流匹配直接建立在连续函数空间中，首次验证了端到端连续像素生成的可行性。
动态梯度平衡的自适应多任务蒸馏：通过监控编码器终端卷积层的反传梯度范数比率动态调节蒸馏权重，巧妙解决了底层高保真重建目标与高阶表征对齐目标之间的梯度震荡与相互掣肘。
基于坐标标记构建的跨像素注意力渲染：将连续坐标、像元大小与相对位置偏置深度注入 Swin 风格窗口注意力机制，使解码器兼备神经场的连续尺度外推能力与现代视觉 Transformer 的长程语义理解能力。

局限与展望¶

作者承认的局限：模型仅在约 36M 规模的 BLIP3o 数据集上训练，远低于工业级模型（如 SD3、FLUX）所耗费的数十亿样本规模，限制了其在极复杂开放域场景下的绝对生成上限；文本编码器采用轻量级 Qwen3-1.7B，对超长复杂上下文与细粒度属性绑定的理解能力受限；当前推理栈尚未深度整合 FlashAttention、算子融合以及 FP8 量化加速。
潜在改进方向：可进一步将连续 NIF 隐表征拓展至图像编辑、精确可控生成（如 ControlNet 式布局控制）与可变长宽比连续自适应构图，同时针对高分辨率渲染阶段设计专用的跨窗口融合算子。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出在连续 NIF 密集隐空间直接进行像素流匹配生成，设计了开创性的语义蒸馏与坐标注意力解码机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 512 到 4096 全尺度测试、权威 GenEval 与 DPG-Bench 评测、深度消融实验与显微级特征可视化。
写作质量: ⭐⭐⭐⭐⭐ 论点严密、数学推导清晰规范、问题背景与方法演进叙述极具说服力。
价值: ⭐⭐⭐⭐⭐ 为任意分辨率图像生成与高效像素级扩散开辟了全新的技术路线，具有极高学术影响力与落地潜力。

配置	GenEval ↑	DPG-Bench ↑	说明
RaPD 完整模型 (\(s=32\))	0.85	81.3	包含阶段一语义蒸馏与阶段二 REPA
去掉阶段一语义蒸馏 (w/o distill)	0.83	78.9	仅用重建损失，结构与语义布局稳定性下降
阶段一蒸馏替换为 CLIP (distill-CLIP)	—	—	语义质量劣化，证明 DINOv2 空间几何先验更优
去掉阶段二 REPA (w/o REPA)	0.61	56.6	扩散去噪收敛速度与生成质量发生大幅滑坡
时间步调度过小 (\(s=1\) 或 \(s=4\))	—	—	无法适应密集隐表征，导致物体结构松散破碎
时间步调度过大 (\(s=48\))	—	—	去噪过度偏向宏观，高频纹理与视觉细节严重丢失
渲染器替换为 LIIF (逐点 MLP)	—	—	重建与生成均产生明显高频噪点与色块边界模糊
渲染器替换为 CLIF (浅层 CNN)	—	—	缺乏全局长程语义注意，高分辨率外推出现结构失真