Concurrence of Symmetry Breaking and Nonlocality Phase Transitions in Diffusion Models¶

会议: NeurIPS 2026
arXiv: 2605.04830
代码: https://github.com/zsxqblz/symmetry_nonlocality_transition
领域: 图像生成
关键词: 扩散模型, 相变动力学, 对称性破缺, 非局域性相变, 扩散Transformer

一句话总结¶

本文首次在现代图像扩散 Transformer（DiT-XL 与 SD3 Medium）中通过瞬态分数探针与积分采样探针实证统一了“对称性破缺”与“非局域性”两种相变视角，证明语义引导与全局跨块注意力在相同的临界时间窗内同步激活，为按需裁剪局部注意力与窗口化条件引导提供了定量诊断工具。

研究背景与动机¶

图像扩散模型的逆向去噪轨迹并非在所有时间步上均匀地处理信息，不同生成能力往往在特定的时间区间内被集中激活。近年来，受非平衡统计力学启发的研究将扩散生成过程解释为一种“对称性破缺”（Symmetry Breaking）相变：在高噪声极限 \(t=1\) 处，能量景观仅存在单一的无结构全局极小值；当逆向扩散推进到某个临界时间窗（Critical Window）时，生成轨迹发生分岔并落入对应不同类别或文本提示词的语义势阱中。然而，这一经典的统计力学范式完全忽略了图像数据的二维空间拓扑与局域性偏置（Locality Bias）——无论模型将图像视为打乱的一维像素向量还是结构化的二维网格，对称性破缺理论给出的相变描述都毫无区别。与此同时，量子多体物理与量子纠错领域提出了互补的“非局域性相变”（Nonlocality Phase Transition）视角：通过条件互信息（CMI）衰减尺度即马尔可夫长度（Markov Length）\(\xi(t)\) 来刻画局部去噪的可行性，当噪声水平处于临界区间时马尔可夫长度发散，模型必须依赖覆盖全图的远距上下文才能恢复局部图像块。

这两套相变理论分别从“何时需要注入语义条件”和“何时需要长程全局通信”两个看似独立的维度刻画了扩散临界性，但此前工作从未在真实的现代前沿扩散架构中检验两者的内在关联。直觉上，图像的语义身份天然承载于非局域的全局几何与解剖结构之中——例如区分金毛寻回犬与金色英国短毛猫时，两者的局部毛发纹理统计高度相似，唯有依靠全局轮廓与器官排布等长程上下文才能消除语义歧义；反之，一旦全局语义类别已经锚定，修复狗鼻子等局部区域仅需参考周围口鼻与眼睛的小范围邻域即可完成。若这一物理直觉成立，对称性破缺所预测的语义力场激活窗口，应当与非局域性相变所预测的局部去噪失效窗口在时间轴上高度重合。

为了在真实模型中无需训练指数级复杂的理论解码器即可验证这一假说，作者直接对预训练扩散 Transformer 的内部注意力电路与采样轨迹进行最小化扰动干预。核心 idea：通过截断图像块自注意力半径构造具备强局域偏置的近似局部去噪器，并联合设计模型内部的瞬态分数差距探针与面向下游生成质量的积分干预探针，首次在可操作层面上证实扩散模型的对称性破缺相变与非局域性相变在临界时间窗内同步发生。

方法详解¶

整体框架¶

本文构建了一套无需重新训练模型的双层诊断框架，用于定位并对齐扩散 Transformer（涵盖类别条件模型 Facebook DiT-XL 与文本条件多模态模型 SD3 Medium）中的对称性破缺临界窗与非局域性临界窗。整体流程首先对预训练模型的二维图像块网格施加半径为 \(r\) 的切比雪夫窗口掩码，在保持类别或文本条件全局可见的前提下构造局部去噪器；随后沿扩散时间轴 \(t \in (0, 1]\) 并行展开两类互补探针分析：第一类是直接度量分数向量内部差异的瞬态探针，第二类是通过前向-后向纠错与滑动时间窗干预直接评测最终生成图像语义正确率与保真度的积分探针。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["预训练扩散Transformer<br/>DiT-XL / SD3 Medium"] --> B["切比雪夫窗口局部去噪器构造<br/>限制图像注意力半径 r"]
    B --> C["条件差距与局部性差距瞬态探针<br/>逐时刻对比分数向量差异"]
    C --> D["前向-后向纠错与滑动窗口采样积分探针<br/>评估下游生成语义与FID"]
    D --> E["输出相变对齐相图<br/>诊断模型效率与关键时间窗"]

关键设计¶

1. 切比雪夫窗口局部去噪器构造：在保留全局条件通路的同时截断图像空间感受野

从信息论定义直接计算高维图像的马尔可夫长度 \(\xi(t)\) 或从头训练严格局部的去噪网络计算代价极其高昂，且无法反映预训练模型自身的内部计算机制。为此，作者基于近似马尔可夫性质（当中心块 \(A\) 与远端区域 \(C\) 在给定环形缓冲邻域 \(B\) 下的条件互信息 \(I(A:C \mid B) \approx I_0 \exp(-d_{AC}/\xi)\) 快速衰减时，局部边缘分数 \(\nabla_{x_A}\log p(x_A \mid x_B)\) 即可精确逼近全局分数），直接在预训练 DiT 的每一层注意力模块上施加空间截断。具体而言，模型复用原有的查询、键、值投影权重，但在二维图像 Token 网格上将每个图像 Token 的自注意力范围限制在切比雪夫距离 \(\max(|\Delta x|, |\Delta y|) \le r\) 的局部窗口（边长为 \(2r+1\)）内，并在窗口内部重新归一化 Softmax。

为了将“空间局部性”与“语义条件可用性”彻底解耦，该构造对不同架构采取了精细的通道分离策略：在 Facebook DiT-XL（\(256\times 256\) 分辨率，\(16\times 16\) 像素块，当 \(r=16\) 时退化为全局注意力）中，类别与时间步条件通过 AdaLN 独立注入每个图像块，因此截断图像 Token 自注意力并不会阻断全局条件信号的写入；在多模态架构 SD3 Medium（\(512\times 512\) 分辨率，当 \(r=32\) 时退化为全局注意力）的联合注意力层中，作者仅对“图像-图像”Token 注意力施加半径 \(r\) 的窗口掩码，而保持“文本-文本”与“图像-文本”交叉注意力为全稠密连接。这种最小化架构扰动使每个图像块在任何时刻都能接收完整的条件引导，从而确保后续测得的局部退化纯粹源于缺失远距图像上下文，而非条件信息丢失。

2. 条件差距与局部性差距瞬态探针：在分数函数层面定量对齐两种临界性

为了直接从模型内部读取每一时刻 \(t\) 对语义力场和全局通信的依赖强度，作者定义了两个相互独立的瞬态分数差距指标。首先，针对对称性破缺，利用无分类器引导（CFG）将条件生成视为外部场对无条件能量景观 \(U_{\mathrm{uncond}}\) 的倾斜，定义条件差距（Conditioning Gap）为同一状态 \(x_t\) 下无条件分数与条件分数之差的 \(L_2\) 范数（按图像 Token 数量归一化）：

\[\Delta\vec{s}_{\mathrm{cond}}(x_t, t \mid y) = s_\theta(x_t, t) - s_\theta(x_t, t \mid y)\]

当 \(\|\Delta\vec{s}_{\mathrm{cond}}\|\) 显著增大时，表明外部语义条件正在强烈改变去噪方向，系统正处于轨迹向特定语义势阱分岔的对称性破缺窗口。其次，针对非局域性相变，定义局部性差距（Locality Gap）为原始全局分数与注意力半径为 \(r\) 的截断局部去噪器分数之差：

\[\Delta\vec{s}_{\mathrm{loc}}(x_t, t, r) = s_\theta(x_t, t) - s_{\theta, r}(x_t, t)\]

若时刻 \(t\) 的去噪仅靠局部纹理统计即可完成，则较小的半径 \(r\) 就能使 \(\|\Delta\vec{s}_{\mathrm{loc}}\|\) 迅速衰减至零；反之，若即使增大 \(r\) 该差距依然维持高位，则说明模型此时必须汇总全图范围的长程关联才能算出正确分数。由于条件差距对比的是“有条件与无条件”，而局部性差距对比的是同一条件设置下的“全局与局部注意力”，两者在功能上完全独立；通过检验这两条差距曲线及热力图在时间轴上是否峰值重合，即可直接判定两种相变是否在模型内部同步触发。

3. 前向-后向纠错与滑动窗口采样积分探针：从生成轨迹终点验证临界窗口的因果必要性

瞬态探针仅反映单步分数向量的局部敏感度，而扩散采样是沿时间积分的累积过程，模型在某时刻产生较大的分数差距并不等于该时刻的计算对最终样本质量真正不可或缺。为此，作者设计了三组积分探针来闭环验证下游生成结果。第一组是前向-后向（Forward-Backward）纠错实验：从干净图像出发加噪至时刻 \(t\)，再用无条件去噪器（全局或不同半径 \(r\) 的局部版本）逆向恢复图像，利用预训练 ResNet-50 测量类别翻转率与像素级 MSE。当加噪深度 \(t\) 跨过语义纠错阈值时，类别错误率发生阶跃跳变（而像素级 MSE 仅平滑增长），且局部去噪器的跳变阈值随半径 \(r\) 增大单调逼近全局阈值。

第二组与第三组分别是时间窗口化条件（Windowed Conditioning）与时间窗口化局部/全局去噪（Windowed Local/Global Denoising）实验：在总长 40 步的采样过程中，仅在目标时间窗（如固定区间 \([0.2, 0.7]\)、宽度为 \(0.1\) 的滑动条件窗 \([t_i, t_i+0.1]\)，或宽度为 \(0.4\) 的滑动全局去噪窗 \([t_i-0.2, t_i+0.2]\)）内启用条件引导或全局注意力，而在窗口外切换为无条件去噪或小半径局部去噪（如 DiT-XL 取 \(r=3\)，SD3 Medium 取 \(r=6\)）。通过扫描窗口中心 \(t_i\) 并评测生成样本的 ResNet-50 分类错误率与相对于全全局/全条件基线的 FID，可以精确锁定哪些时间步的语义注入和全局通信对合成全局连贯的完整物体具有决定性因果作用，并进一步揭示瞬态探针与积分探针之间是否存在冗余计算错位。

损失函数 / 训练策略¶

本文为纯分析与免训练推理诊断工作，直接基于公开预训练权重（Facebook DiT-XL-256 与 Stable Diffusion 3 Medium）开展实验，不涉及额外的模型参数训练或损失函数微调。在推理与评测超参数配置上，VAE 潜空间压缩比均为 \(8:1\) 且 Patch 大小为 \(2\times 2\)（对应像素空间 \(16\times 16\)）；CFG 引导强度统一设为 \(w=4.0\)。瞬态探针在潜空间直接计算分数差的 \(L_2\) 范数（DiT-XL 沿训练/采样轨迹取 500 步、每步 20 个样本；SD3 Medium 沿采样轨迹取 100 步、每步 10 个样本）。前向-后向实验采用 40 个线性分布噪声水平 \(t_{\mathrm{norm}} \in [0.1, 1.0]\)，每个噪声水平采样 40 个独立噪声实现。滑动窗口实验统一采用 40 步采样，DiT-XL 每个窗口位置 \(t_i\) 生成 500 个样本（SD3 Medium 局部窗口实验每点取 62 个样本以控制单卡 A100 计算开销），并通过 Bootstrap 重采样计算 FID 的单倍标准差误差。

实验关键数据¶

主实验¶

以下两张表格汇总了本文在 Facebook DiT-XL（ImageNet \(256\times 256\)）与 SD3 Medium（\(512\times 512\)）两大扩散 Transformer 系统上，通过瞬态探针与积分探针测得的相变临界时间窗位置及同步性结论：

模型系统	分辨率与全局半径	探针类型	对称性破缺临界窗	非局域性相变临界窗	探针内与跨探针一致性结论
Facebook DiT-XL	\(256\times 256\) (\(r_{\mathrm{full}}=16\))	瞬态探针（分数差距 \(\\|\Delta\vec{s}\\|\)）	\(t \approx 0.2\) 达到峰值并饱和	\(t \approx 0.2\) 处大半径 \(r\) 下差距仍显著	探针内同步：两类差距在同一早期窗口同步放大
Facebook DiT-XL	\(256\times 256\) (\(r_{\mathrm{full}}=16\))	积分探针：前向-后向纠错	\(t \approx 0.5\) 出现分类错误率急剧跳变	局部阈值随 \(r \to 16\) 收敛至 \(t \approx 0.5\)	跨探针错位：瞬态激活（\(0.2\)）早于实际需求（\(0.5\)），存在低 \(t\) 冗余计算
Facebook DiT-XL	\(256\times 256\) (\(r_{\mathrm{full}}=16\))	积分探针：滑动窗口采样	\(t_i \approx 0.4\)（窗口 \([0.4, 0.5]\)）分类错误与 FID 最低	\(t_i \approx 0.4\)（窗口 \([0.2, 0.6]\)）分类错误与 FID 最低	探针内同步：条件引导与全局去噪的最佳作用区间完全重合
SD3 Medium (MMDiT)	\(512\times 512\) (\(r_{\mathrm{full}}=32\))	瞬态探针（分数差距 \(\\|\Delta\vec{s}\\|\)）	紧贴高噪端点 \(t \approx 1.0\) 集中爆发	紧贴高噪端点 \(t \approx 1.0\) 出现双峰/强峰值	探针内同步：文本语义场与长程图像关联在高噪端同步开启
SD3 Medium (MMDiT)	\(512\times 512\) (\(r_{\mathrm{full}}=32\))	积分探针：前向-后向与滑动窗口	纠错阈值紧贴 \(t \approx 1.0\)，窗口 \([0.6, 1.0]\) 主导语义	局部阈值随 \(r \to 32\) 逼近 \(t \approx 1.0\)，窗口 \([0.6, 1.0]\) 主导全局结构	跨探针高度对齐：瞬态与积分探针均收敛于 \(t \approx 1.0\)，计算效率更高

消融实验¶

下表展示了在采样过程中对条件信号与局部/全局注意力施加不同时间窗口组合干预时的对比结果与实验开销对比：

模型与实验设置	窗口内配置	窗口外配置	视觉生成特征与定量表现	说明
DiT-XL 全局基线	全程全局注意力 (\(r=16\)) + 条件	全程全局注意力 (\(r=16\)) + 条件	生成结构完整、解剖正确的单只金毛寻回犬	完整模型标准上界
DiT-XL 全程局部	全程局部注意力 (\(r=3\)) + 条件	全程局部注意力 (\(r=3\)) + 条件	出现多个尺度与半径 \(r=3\) 相当的小狗局部拼接（多畴奇美拉伪影）	缺失非局域通信导致无法达成全局单一语义共识
DiT-XL 条件窗口正向干预	\(t \in [0.2, 0.7]\) 启用类别条件	\(t \notin [0.2, 0.7]\) 设为无条件	成功恢复可识别的金毛寻回犬语义与主体轮廓	仅在临界窗内注入语义即可完成对称性破缺
DiT-XL 条件窗口反向消融	\(t \in [0.2, 0.7]\) 移除类别条件	\(t \notin [0.2, 0.7]\) 启用类别条件	仅保留局部毛发纹理统计，全局语义类别彻底崩塌	证实临界窗外的条件引导无法弥补窗内语义缺失
DiT-XL 局部/全局正向干预	\(t \in [0.2, 0.7]\) 全局去噪 (\(r=16\))	\(t \notin [0.2, 0.7]\) 局部去噪 (\(r=3\)，有/无条件)	即使窗外为无条件局部去噪，仍能保持全局连贯的狗形态	证实全局跨块通信仅在临界窗内是必需的
DiT-XL 局部/全局反向消融	\(t \in [0.2, 0.7]\) 局部去噪 (\(r=3\))	\(t \notin [0.2, 0.7]\) 全局去噪 (\(r=16\))	生成质量严重退化，主体结构破碎且分类错误率与 FID 飙升	临界窗内缺失长程注意力会导致不可逆的全局结构破坏
SD3 Medium 窗口干预	\(t \in [0.6, 1.0]\) 全局/条件去噪	\(t \notin [0.6, 1.0]\) 局部 (\(r=6\)) / 无条件	在高噪区间 \([0.6, 1.0]\) 保留全局与条件即可维持完整语义，反向配置则完全失败	更强的多模态模型将临界决策大幅推向高噪起点 \(t \to 1\)

关键发现¶

对称性破缺与非局域性相变在所有探针下均表现出严格的同步性：无论是模型内部的瞬态分数差距，还是面向生成结果的滑动窗口干预，条件引导最关键的时间段与全局注意力最不可替代的时间段始终高度重合。这证明扩散模型在决定“生成什么类别”的同时，必须调用全图长程上下文来协调全局几何结构。
瞬态探针与积分探针的错位直接暴露了模型的次优冗余计算：在 Facebook DiT-XL 中，积分探针证明 \(t \approx 0.5\) 附近才是决定语义与全局结构的真实临界期，但瞬态探针却显示模型在 \(t \approx 0.2\) 的接近清晰图像阶段仍在产生剧烈的条件分数修正与长程注意力差异；相比之下，性能更强的 SD3 Medium 在两类探针中均一致聚焦于 \(t \approx 1.0\) 附近，表明更强大的去噪器能更早、更精准地在噪声端完成全局语义锁定，避免在低噪声阶段浪费非局域计算。
像素级失真指标对语义相变完全盲视：在前向-后向实验中，当噪声水平越过临界阈值导致 ResNet-50 分类错误率发生断崖式跳变时，逐像素均方误差（Per-pixel MSE）依然随 \(t\) 平滑且亚线性地增长，毫无相变迹象。这是因为语义信息本质上是非局域的高阶关联，无法被逐像素的局部失真度量所捕获。
全程局部去噪会产生尺度受限于感受野半径 \(r\) 的“多畴拼接”现象：当使用 \(r=3\) 的局部去噪器全程采样时，每个局部区域各自独立发生对称性破缺，最终平滑拼接出多只尺寸与 \(r\) 相当的小狗头部与躯干，直观印证了统计物理中缺乏长程相互作用时无法建立全局长程有序（Long-range Order）的机制。

亮点与洞察¶

用免训练的切比雪夫注意力截断替代高昂的信息论解码器：此前研究非局域性相变需要估算高维条件互信息（CMI）或训练专门的局部解码网络，而本文巧妙地对预训练 DiT 的图像自注意力施加窗口掩码，在保留 AdaLN 和交叉注意力全局条件通路的前提下，将抽象的马尔可夫长度发散转化为可直接测量的局部性分数差距 \(\Delta\vec{s}_{\mathrm{loc}}\)。这一设计既零训练成本，又能直接剖析真实大模型内部的注意力电路运作机制。
“瞬态 vs. 积分”双探针交叉对账揭示模型效率瓶颈（Aha Moment）：本文最令人眼前一亮的洞察在于发现“模型内部努力计算长程/条件信息的时刻（瞬态探针峰值）”不一定等于“下游生成真正需要这些信息的时刻（积分探针峰值）”。DiT-XL 在 \(t \approx 0.2\) 处的瞬态峰值与 \(t \approx 0.5\) 处的积分阈值之间的错位，首次为“为什么在采样后期关闭 CFG 或压缩稀疏注意力不会损害甚至能提升生成质量”提供了坚实的相变动力学解释。
可迁移的架构与采样协同优化范式：这一诊断框架可直接迁移至视频扩散生成（T2V）与 3D 扩散生成等注意力开销呈二次方爆炸的任务中。具体而言，可以先用本文的瞬态与滑动窗口探针测定目标模型的临界时间窗 \([t_{\mathrm{start}}, t_{\mathrm{end}}]\)，在采样阶段仅于该窗口内开启全稠密时空注意力和 CFG 双倍前向评估，而在窗口外切换为极小半径的滑动窗口局部注意力与无条件单步前向，从而在不损失全局语义一致性的前提下大幅削减推理 FLOPs。

局限与展望¶

局域去噪器的多层信息渗漏限制：作者在文中明确指出，仅在每一层 Transformer 中将自注意力限制在半径 \(r\) 的切比雪夫窗口内，并不能构造出严格意义上的局部去噪器——随着网络层数堆叠，距离超过 \(r\) 的远端图像块信息仍可通过多层局部注意力的级联逐步向外传播（即有效感受野随层数线性扩张）。因此，当前的截断模型只是具有强局域偏置的近似算子，未来需要探索严格局部受限的架构或独立训练的局部去噪器来验证结论的普适性。
潜空间与像素空间失真放大的偏差及有限样本统计噪声：所有的分数差距均在 VAE 潜空间中直接计算，作者观察到当 \(t \to 0\) 接近干净图像流形时，潜空间的微小分数扰动会在像素空间被显著放大，导致瞬态分数差距曲线向低 \(t\) 端倾斜（例如 DiT-XL 在 \(t \approx 0.2\) 处的偏移可能部分受此流形效应影响）。此外，滑动窗口实验（尤其是 SD3 每点仅 62 个样本）处于样本稀疏区间，导致 FID 绝对值被明显高估，目前仅能用于判断相对极小值位置，尚无法给出临界窗口宽度的精确热力学标度律（Scaling Law）。
面向自适应高效采样与相变对齐训练的具体改进方向：基于本文发现，未来可从两方面推进：一是在推理端开发动态自适应采样器，实时监测瞬态条件差距 \(\|\Delta\vec{s}_{\mathrm{cond}}\|\)，仅在差距超过阈值时动态开启全局注意力与 CFG；二是在训练端引入时间依赖的局域性正则化，在远离临界窗的时间步上强制掩码远距注意力并重加权损失函数，迫使模型像 SD3 一样将对称性破缺与非局域计算紧密收敛并对齐到高噪区间。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 将统计力学中的“对称性破缺”与量子信息论中的“非局域性马尔可夫长度发散”两大独立相变假说在现代扩散 Transformer 中首次巧妙统一。
实验充分度: ⭐⭐⭐⭐ 在 DiT-XL 和 SD3 Medium 上完成了瞬态分数差距、前向-后向纠错、条件窗口与局部注意力窗口四重相互印证的实验，但受限于算力仅覆盖两个模型且部分 FID 样本量偏小。
写作质量: ⭐⭐⭐⭐⭐ 物理图像极其清晰（如金毛犬与英短猫的局部纹理与全局解剖对比、多畴拼接伪影分析），从理论背景到可操作探针的过渡流畅严密。
价值: ⭐⭐⭐⭐⭐ 不仅深化了对扩散模型生成动力学黑箱的科学理解，更为设计时间自适应的稀疏注意力和区间 CFG 采样策略提供了直接的诊断指标。