On the Limits of Latent Reuse in Diffusion Models¶

会议: NeurIPS 2026
arXiv: 2605.13448
OpenReview: https://openreview.net/forum?id=9eRD2Dppl5
领域: 图像生成
关键词: 扩散模型, 潜空间复用, 分布偏移, 主角未对齐, 混合域表征学习

一句话总结¶

本文首次从统计与几何理论层面严格刻画了扩散模型在分布偏移下冻结复用源潜空间表征的不可消除得分误差极限，证明了该误差受主角度未对齐与时间尺度放大的环境噪声共同支配，并给出了混合域联合表征消除错配的充要几何条件。

研究背景与动机¶

现代扩散模型为了降低高维数据建模的高昂计算开销，普遍采用潜空间扩散（Latent Diffusion Models）范式：先借助预训练好的自编码器（如 VAE 编码器）将高分辨率图像或视频映射至低维潜空间，随后在该潜空间坐标系下训练连续时间得分网络。在实际工程与迁移学习中，行业内广泛采用一种便捷的“潜空间复用（Latent Reuse）”策略，即直接冻结预训练好的源域特征提取器或投影矩阵，仅在目标域数据投影后的固定潜坐标下重新拟合下游得分模型。

然而，现有低维扩散模型理论几乎全部局限于单分布设定，仅能证明当数据分布严格位于未知低维子空间或光滑流形附近时，得分估计与采样收敛速度取决于内在维度而非环境维度；这类理论完全回避了跨域迁移时的关键问题。当源分布与目标分布存在域偏移时，源域提取的低维坐标系未必能完整保留目标域得分匹配所需的全部敏感方向。更关键的是，即使源域与目标域数据均具有良好的低维内在几何结构，二者内在低维子空间的旋转对齐偏差以及正交补空间上的高维环境噪声，仍会导致潜特征投影发生本质的信息丢失。

这种信息丢失无法单纯通过增加目标域样本量或增强下游得分网络的表达容量来弥补。核心 idea：冻结复用源潜空间表征将在目标域产生由「子空间主角度未对齐（Principal-angle Misalignment）」与「扩散时间尺度放大的环境噪声」共同主导的不可消除理论下界；而基于混合域投影的联合表征学习在包含源与目标子空间并集时能彻底消除信号错配残差。

方法详解¶

整体框架¶

本文构建了一个带各向同性高维环境噪声的源-目标双域线性子空间生成模型：源域与目标域数据分别由相互独立的正交基矩阵 $A_i \in \mathbb{R}^{D \times d_i}$、低维潜变量 $z_i \sim p_{i,z}$ 及环境高斯噪声 $\varepsilon_i \sim \mathcal{N}(0, \sigma_i^2 I_D)$ 叠加生成（$x = A_i z_i + \varepsilon_i, i \in \{1, 2\}$）。通过正向 Ornstein–Uhlenbeck（OU）扩散过程驱动数据加噪，模型将全空间真实得分严格正交分解为低维支撑内得分 $s_{\parallel}$ 与正交补空间得分 $s_{\perp}$。研究随后系统对比了“冻结源域投影算子 $V_1 \in \mathbb{R}^{D \times d_1}$ 的单向复用”与“学习共享 $k$ 维投影算子 $W_k \in \mathbb{R}^{D \times k}$ 的混合域联合训练”两类范式。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["高维目标域观测样本 Xt<br/>源空间 V1 (d1维) 与 目标空间 A2 (d2维)"] --> B["带噪得分正交分解<br/>真实得分严格拆为支撑内与正交补两项"]
    B --> C["冻结潜空间复用下界与比较器<br/>推导主角对齐项与环境噪声放大项"]
    C --> D["有限样本 ReLU 估计风险界<br/>解耦估计误差、网络逼近误差与几何误差"]
    D --> E["混合域表征学习与包含准则<br/>联合投影算子 Wk 彻底消除信号截断误差"]

关键设计¶

1. 带噪得分的正交分解与有效扩散方差：解耦内在信号与高维环境扰动

在带噪低维假设下，加噪状态 $X_t | z \sim \mathcal{N}(\alpha(t) A_i z, \tilde{h}_i(t) I_D)$ 的有效扩散方差被修正为 $\tilde{h}_i(t) = \alpha^2(t) \sigma_i^2 + h(t)$，其中 $\alpha(t) = e^{-t/2}, h(t) = 1 - e^{-t}$。基于空间勾股定理分解，目标真实得分严格分解为正交的两个部分： $$\nabla \log p_{i,t}(x) = A_i \nabla \log p_{i,t}^{\rm LD}(A_i^\top x) - \frac{1}{\tilde{h}_i(t)} (I_D - A_i A_i^\top) x$$ 这一分解表明，正交补空间上的得分纯粹由高维环境噪声贡献，其模长反比于有效扩散方差 $\tilde{h}_i(t)$；而内在潜空间得分完全由投影坐标 $A_i^\top x$ 决定。这为后续分析冻结投影 $V_1$ 丢失正交补和错配方向奠定了严密的数学基石。

2. 冻结复用不可消除结构误差下界：主角度未对齐与环境噪声放大

当将源域学习到的正交投影矩阵 $V_1 \in \mathbb{R}^{D \times d_1}$ 冻结并作为目标域得分模型输入的降维坐标系时，哪怕允许下游得分映射 $f$ 在全测度空间中任意取值（即无限表达能力网络），目标域群体得分匹配风险 $\mathcal{B}_{\rm str}(V_1)$ 依然存在严格正下界。令 $r = \min\{d_1, d_2\}$，$\theta_1 \le \cdots \le \theta_r$ 为 $\text{col}(V_1)$ 与 $\text{col}(A_2)$ 之间的主角度（满足 $\sigma_j(V_1^\top A_2) = \cos \theta_j$），定理 2 证明： $$\mathcal{B}_{\rm str}(V_1) \ge \frac{1}{T-t_0} \int_{t_0}^T \left[ \frac{\mu_2(t)}{h^2(t)} \left( d_2 - \sum_{j=1}^r \cos^2 \theta_j \right) + \frac{\sigma_2^4 \alpha^4(t)}{h^2(t) \tilde{h}_2(t)} \left( D - d_1 - d_2 + \sum_{j=1}^r \cos^2 \theta_j \right) \right] \mathrm{d}t$$ 该下界由两项物理意义极为深刻的项组成：第一项度量了因子空间不对齐而在冻结坐标中丢失的目标信号能量，只有当 $\text{col}(A_2) \subseteq \text{col}(V_1)$ 时才可能归零；第二项度量了高维环境噪声泄漏至输出子空间外、被扩散时间尺度 $h^2(t)$ 剧烈放大后的截断残差。这直接确立了冻结复用在本质上的几何局限性。

3. 显式可测比较器与有限样本 ReLU 估计风险界：三元误差解耦机制

为了给出冻结复用在对齐良好时的可达性上界，论文构造了显式的可测比较器 $f_{\rm comp}(z, t) := B g_2(B^{\dagger} z, t)$（其中 $B = V_1^\top A_2$，$B^{\dagger}$ 为伪逆），并分别针对 $d_1 \ge d_2$ 与 $d_1 < d_2$ 建立了风险上界 $\mathcal{U}_{\rm comp}(V_1)$。当 $d_1 \ge d_2$ 且 $B$ 满列秩时，误差受主角度的正切平方和 $\sum \tan^2 \theta_j$ 惩罚；当 $d_1 < d_2$ 时，则额外引入不可消除的维数截断残差。结合 ReLU 深度神经网络逼近论与经验去噪风险极小化理论，定理 5 证明经验解 $\hat{s}_{\rm freeze}$ 的群体风险满足： $$\mathcal{L}_2(\hat{s}_{\rm freeze}) \le \widetilde{\mathcal{O}}\left( \frac{K^2 + R_z^2 + R_{\perp}^2}{N_2 t_0 (T-t_0) \epsilon^2} [\log \mathcal{N}_2(\iota) + \log(8/\delta)] + \iota \right) + \mathcal{O}\left( \frac{(d_1 + 1)\epsilon^2}{t_0 (T-t_0)} \right) + \mathcal{O}(\mathcal{U}_{\rm comp}(V_1))$$ 该结果清晰解耦了三元误差：以 $\widetilde{\mathcal{O}}(1/N_2)$ 随目标样本量收敛的统计估计误差、受网络参数控制的 ReLU 逼近误差 $\mathcal{O}(\epsilon^2)$、以及由几何未对齐决定的固有下界 $\mathcal{O}(\mathcal{U}_{\rm comp}(V_1))$。当几何错配主导时，单纯堆叠目标数据或扩大网络参数无法挽救得分误差。

4. 混合域联合表征学习与子空间包含准则：消除信号错配残差

针对单向冻结复用的固有瓶颈，论文进一步提出了在混合数据分布 $p_{\rm mix} = \omega_1 p_1 + \omega_2 p_2$ 下联合优化 $k$ 维共享投影算子 $W_k$ 的解决方案。通过定义加权信号残差 $\Gamma_k(W) = \sum_{i=1}^2 \omega_i \bar{c}_i \|P_W^\perp A_i\|_F^2$，命题 6 证明最佳共享投影算子 $W_k$ 恰好由混合二阶矩矩阵 $M_{\rm mix} = \omega_1 \bar{c}_1 A_1 A_1^\top + \omega_2 \bar{c}_2 A_2 A_2^\top$ 的前 $k$ 个最大特征向量张成，残差为后 $D-k$ 个特征值之和 $\sum_{j=k+1}^D \lambda_j(M_{\rm mix})$。推论 8 进一步确立：一旦共享维度满足 $\text{span}(A_1) + \text{span}(A_2) \subseteq \text{span}(W_k)$，混合投影即可使信号错配项严格归零（$\Gamma(W_k) = 0$），将残余误差彻底压制在环境高斯白噪声与后验成分分类信息损失的合理范畴内。

损失函数 / 训练策略¶

在算法实现层面，针对目标域有限样本集 $\{x_i\}_{i=1}^{N_2} \sim p_2$，冻结潜空间复用模型通过极小化离散化高斯去噪得分匹配经验损失（Denoising Score Matching）进行参数更新： $$\widehat{\mathcal{R}}_2(s) = \frac{1}{N_2} \sum_{i=1}^{N_2} \frac{1}{T-t_0} \int_{t_0}^T \mathbb{E}_{X_t \sim p_{2,t}(\cdot \mid X_0 = x_i)} \left[ \left\| \nabla_{X_t} \log \phi_t(X_t \mid x_i) - s(X_t, t) \right\|_2^2 \right] \mathrm{d}t$$ 对于混合域联合训练设定，先通过混合样本的协方差或自编码器瓶颈层联合抽取主成分算子 $W_k$（维度 $k \ge \text{rank}(A_1) + \text{rank}(A_2)$），随后在共享坐标 $W_k^\top X_t$ 下联合训练跨域多任务得分网络。

实验关键数据¶

主实验¶

论文以严谨的理论推导为核心，全面分析了不同域迁移几何场景下得分匹配误差对各项系统参数的渐近依赖关系，并对比了冻结复用与混合学习的理论渐近阶与误差界特征：

机制配置	几何对齐条件	目标得分误差界渐近形式 $\mathcal{L}_2$	信号错配项	环境噪声放大依赖项
理想子空间对齐（理论最优）	$\text{col}(A_2) \subseteq \text{col}(V_1)$	$\mathcal{O}\left( \frac{(d_1+1)\epsilon^2}{t_0(T-t_0)} + \frac{\text{StatErr}}{\sqrt{N_2}} \right)$	$0$ (完全对齐)	$\mathcal{O}\left( \frac{\sigma_2^4 (D-d_2)}{t_0} \right)$
冻结潜空间复用（超维 $d_1 \ge d_2$）	$B=V_1^\top A_2$ 满列秩	$\mathcal{O}\left( \sum_{j=1}^{d_2} \sin^2\theta_j + \\|B\\|_{\rm op}^2 \sum_{j=1}^{d_2} \tan^2\theta_j + \frac{\text{StatErr}}{\sqrt{N_2}} \right)$	$\propto \sum \sin^2 \theta_j$ (不可消除)	$\mathcal{O}\left( \frac{\sigma_2^4 (D+d_1-d_2)}{t_0} \right)$
冻结潜空间复用（降维 $d_1 < d_2$）	$B=V_1^\top A_2$ 满行秩	$\mathcal{O}\left( (d_2 - \sum \cos^2\theta_j) + \text{Tr}((I-B^\dagger B) M_Y) + \frac{\text{StatErr}}{\sqrt{N_2}} \right)$	$\ge d_2 - d_1$ (维数截断下界)	$\mathcal{O}\left( \frac{\sigma_2^4 (D+d_1-d_2)}{t_0} \right)$
混合域联合表征 $W_k$（满足包含条件）	$\text{span}(A_1 \cup A_2) \subseteq \text{span}(W_k)$	$\mathcal{O}\left( \sum_{i=1}^2 \bar{n}_i(D-d_i) + 2\mathfrak{P}(W_k) + \frac{(k+1)\epsilon^2}{t_0(T-t_0)} \right)$	$0$ (错配消除)	$\mathcal{O}\left( \sum \omega_i \bar{n}_i(D-k) \right)$

消融实验¶

针对定理中各项误差成分的分解与主导因素进行理论消融与性质对比分析：

误差项组成	物理机制与来源	消除/收敛途径	主导临界工况
信号未对齐残差 $\sum \sin^2 \theta_j$	源域潜空间 $V_1$ 旋转未覆盖目标域特征主轴	扩展潜空间维度至 $k \ge d_1 + d_2$ 进行混合训练	跨模态/跨艺术风格迁移时主角度 $\theta_j \to \pi/2$
逆向映射发散项 $\sum \tan^2 \theta_j$	伪逆 $B^\dagger$ 将冻结坐标映射回目标潜空间时的条件数劣化	确保源与目标子空间正交投影具有足够大的奇异值	主角接近 $90^\circ$ 导致奇异值 $\cos \theta_j \to 0$
正交高维噪声项 $\sigma_2^4 \alpha^4 / (h^2 \tilde{h}_2)$	正交补空间高斯噪声在小时间步 $t \to 0$ 处的反向发散	无法通过下游模型消除，需依赖自编码器高精度重构	扩散终止端 $t \to t_0$（$1/h^2(t)$ 爆炸）与高维 $D \gg d$
混合后验压缩项 $\mathfrak{P}(W_k)$	投影到 $W_k$ 后混合后验概率 $\pi_1(X_t)$ 的辨识度模糊	提升投影维度或两域噪声方差严格相等（$\sigma_1 = \sigma_2$）	源域与目标域环境噪声方差差异显著

关键发现¶

样本无限性无法掩盖几何错配：当主角度 $\theta_j > 0$ 时，即便目标域无标签样本量 $N_2 \to \infty$ 且下游 ReLU 神经网络深度和宽度趋向无穷，得分误差依然存在严格的非零几何下界，颠覆了“预训练潜空间万能复用”的工程经验直觉。
稳定性受正切项严重惩罚：在可达性上界中，误差不仅线性依赖于未对齐角正弦平方 $\sin^2 \theta_j$，更受到正切平方 $\tan^2 \theta_j$ 的剧烈放大；只要存在一个接近正交的方向（$\theta_j \to \pi/2$），比较器映射的数值稳定性就会被彻底摧毁。
混合训练的充要维度约束：学习一个适应两域的共享潜空间，其最小安全维度严格由两域独立信号维度的秩和决定；只有当共享潜空间完整容纳 $\text{span}(A_1) + \text{span}(A_2)$ 时，跨域表征转移才具备无偏理论保证。

亮点与洞察¶

首次建立潜空间扩散模型跨域复用的理论基础：填补了当前扩散模型理论仅局限于“单分布低维流形假设”的重大空白，从矩阵摄动与高维统计物理的角度清晰描摹了表征复用的极限边界。
揭示扩散时间与环境噪声的耦合毒性：明确指出了扩散过程小时间步（$t \to 0$）的奇异性会导致未对齐的高维环境白噪声呈 $1/h^2(t)$ 剧烈发散，阐明了为什么在图像生成中细粒度高频细节更容易在复用潜空间下发生退化。
指导工程实践中的表征重训决策：给出了判断何时可以安全冻结 VAE/DiT 潜空间、何时必须重新训练联合表征的定量几何判据，为工业界大模型领域适配提供了明确的算力分配指导。

局限与展望¶

线性低维子空间假设的理论局限：本文将数据流行近似为带噪声的仿射线性子空间，尚未涵盖非线性黎曼流形或高度复杂的非凸数据拓扑；未来可扩展至局部切空间主角度与流形曲率效应的相互作用。
混合训练表征学习处于 Oracle 层面：混合投影算子 $W_k$ 的推导基于二阶矩已知这一理想 Oracle 条件，未直接计入从离散有限样本中估计自编码器权重时的经验泛化与优化收敛误差。
自适应混合比例的理论空白：当前混合权值 $\omega_1, \omega_2$ 为固定预设，未来可进一步探索根据实测域偏移程度自动动态调整源域与目标域数据配比的自适应机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从主角度对齐与环境噪声放大双重视角严格建立了扩散模型潜空间复用的理论下界与可达性界。
实验充分度: ⭐⭐⭐⭐ 理论推导完备自洽，定理条件界定严密，覆盖了下界、可达界、有限样本逼近及混合表征全链条。
写作质量: ⭐⭐⭐⭐⭐ 概念引出自然，主干定理层次分明，数学符号精炼规范，物理与几何直觉诠释极为透彻。
价值: ⭐⭐⭐⭐⭐ 为潜空间扩散模型的微调、迁移学习以及基础 VAE 编解码器的复用提供了扎实的理论指导与警示。

机制配置	几何对齐条件	目标得分误差界渐近形式 \(\mathcal{L}_2\)	信号错配项	环境噪声放大依赖项
理想子空间对齐（理论最优）	\(\text{col}(A_2) \subseteq \text{col}(V_1)\)	\(\mathcal{O}\left( \frac{(d_1+1)\epsilon^2}{t_0(T-t_0)} + \frac{\text{StatErr}}{\sqrt{N_2}} \right)\)	\(0\) (完全对齐)	\(\mathcal{O}\left( \frac{\sigma_2^4 (D-d_2)}{t_0} \right)\)
冻结潜空间复用（超维 \(d_1 \ge d_2\)）	\(B=V_1^\top A_2\) 满列秩	\(\mathcal{O}\left( \sum_{j=1}^{d_2} \sin^2\theta_j + \\|B\\|_{\rm op}^2 \sum_{j=1}^{d_2} \tan^2\theta_j + \frac{\text{StatErr}}{\sqrt{N_2}} \right)\)	\(\propto \sum \sin^2 \theta_j\) (不可消除)	\(\mathcal{O}\left( \frac{\sigma_2^4 (D+d_1-d_2)}{t_0} \right)\)
冻结潜空间复用（降维 \(d_1 < d_2\)）	\(B=V_1^\top A_2\) 满行秩	\(\mathcal{O}\left( (d_2 - \sum \cos^2\theta_j) + \text{Tr}((I-B^\dagger B) M_Y) + \frac{\text{StatErr}}{\sqrt{N_2}} \right)\)	\(\ge d_2 - d_1\) (维数截断下界)	\(\mathcal{O}\left( \frac{\sigma_2^4 (D+d_1-d_2)}{t_0} \right)\)
混合域联合表征 \(W_k\)（满足包含条件）	\(\text{span}(A_1 \cup A_2) \subseteq \text{span}(W_k)\)	\(\mathcal{O}\left( \sum_{i=1}^2 \bar{n}_i(D-d_i) + 2\mathfrak{P}(W_k) + \frac{(k+1)\epsilon^2}{t_0(T-t_0)} \right)\)	\(0\) (错配消除)	\(\mathcal{O}\left( \sum \omega_i \bar{n}_i(D-k) \right)\)

误差项组成	物理机制与来源	消除/收敛途径	主导临界工况
信号未对齐残差 \(\sum \sin^2 \theta_j\)	源域潜空间 \(V_1\) 旋转未覆盖目标域特征主轴	扩展潜空间维度至 \(k \ge d_1 + d_2\) 进行混合训练	跨模态/跨艺术风格迁移时主角度 \(\theta_j \to \pi/2\)
逆向映射发散项 \(\sum \tan^2 \theta_j\)	伪逆 \(B^\dagger\) 将冻结坐标映射回目标潜空间时的条件数劣化	确保源与目标子空间正交投影具有足够大的奇异值	主角接近 \(90^\circ\) 导致奇异值 \(\cos \theta_j \to 0\)
正交高维噪声项 \(\sigma_2^4 \alpha^4 / (h^2 \tilde{h}_2)\)	正交补空间高斯噪声在小时间步 \(t \to 0\) 处的反向发散	无法通过下游模型消除，需依赖自编码器高精度重构	扩散终止端 \(t \to t_0\)（\(1/h^2(t)\) 爆炸）与高维 \(D \gg d\)
混合后验压缩项 \(\mathfrak{P}(W_k)\)	投影到 \(W_k\) 后混合后验概率 \(\pi_1(X_t)\) 的辨识度模糊	提升投影维度或两域噪声方差严格相等（\(\sigma_1 = \sigma_2\)）	源域与目标域环境噪声方差差异显著