Disentanglement as Identifiable Pushforward Factorisation¶

会议: NeurIPS 2026
arXiv: 2410.22559
论文: arXiv
领域: 表示学习
关键词: 解缠结表示, 推出测度分解, 变分自编码器, 雅可比奇异值分解, 可辨识性

一句话总结¶

本文从确定性光滑映射的推出测度出发，将解缠结形式化为流形密度在雅可比奇异值分解诱导的一维缝隙因子上的统计独立分解，证明了解缠结充要条件为雅可比右奇异向量轴对齐（C1）与奇异值偏导对角化（C2），确立了其在自然对称性下的可辨识性，并利用精确恒等式揭示了 VAE 对角后验协方差诱导解缠结的数学机制。

研究背景与动机¶

学习数据的解缠结表示（Disentanglement）是表示学习与无监督生成模型的核心追求之一。理想的解缠结模型期望每个隐变量坐标独立控制生成样本的一个语义属性（例如物体的三维朝向、位置或人脸光照），且在变动该隐变量时其余语义保持不变。在深度生成模型的实践中，变分自编码器（尤其是 $\beta$-VAE）常常被观察到在未显式引入解缠结正则化目标的情况下自发实现解缠结，而在 GAN 与扩散模型中也有研究通过惩罚雅可比矩阵正交性或海森矩阵交叉项诱导解缠结。然而，长期以来学界对“解缠结”本身缺乏一个脱离具体启发式评分和坐标度量的、严格的概率分布级形式化定义；更关键的是，非线性独立成分分析（Non-linear ICA）的经典不可能性定理指出，在仅给出标准高斯先验的情况下无监督解缠结在数学上存在不可辨识的旋转不确定性，这使得 VAE 为何能够“免费”解缠结以及其解缠结的保真边界始终成谜。

这一领域认知鸿沟的核心矛盾在于：现有理论多停留在经验假设与局部几何近似之间——虽然已有研究猜测对角后验协方差迫使解码器雅可比矩阵列正交，但推导过程依赖粗糙的一阶泰勒展开与不严谨的代数放缩，无法解释解缠结为何会随着超参数 $\beta$ 的增大而增强，更无法严格证明模型学到的因子是否是真实数据生成因子的唯一可辨识恢复。与此同时，GAN 与流模型中基于微分几何和特征谱正则化的经验发现各自为战，缺乏一个能够统一描述所有光滑推出模型解缠结现象的顶层理论框架。

本文的核心切入角度是将生成过程抽象为确定性光滑映射下的推出测度（Pushforward Measure），将解缠结严格定义为流形概率密度向一维内在流形“缝隙”（Seam）因子的统计独立分解。核心 idea：解缠结本质上是数据流形推出密度依解码器雅可比奇异值分解（SVD）向一维正交“缝隙”测度的可辨识分解；解缠结当且仅当解码器满足右奇异向量轴对齐（C1）与奇异值交叉微商为零（C2），而高斯 VAE 的对角后验结构通过 Price/Bonnet 恒等式在期望意义下精确施加了这一导数约束。

方法详解¶

整体框架¶

本文建立了一个适用于任意确定性光滑生成模型（包含 VAE、GAN 及连续正则化流）的分布级解缠结理论。设隐变量 $z \in \mathcal{Z} \doteq \mathbb{R}^d$ 服从可因子分解先验 $p(z) = \prod_{i=1}^d p_i(z_i)$，生成器或解码器 $g: \mathcal{Z} \to \mathcal{X} \doteq \mathbb{R}^m$（$d \leq m$）几乎处处连续、单射且可微，定义生成均值流形 $\mathcal{M}_g = \{g(z) \mid z \in \mathcal{Z}\}$ 及其上的推出密度（流形密度）$p_\mu \doteq g_\# p_z$。

在流形的正则点集上，解码器雅可比矩阵 $J_z = \frac{\partial g(z)}{\partial z}$ 具有奇异值分解 $J_z = U_z S_z V_z^\top$。其中 $V_z$ 的列向量 $v_i(z)$（右奇异向量）构成了隐空间 $\mathcal{Z}$ 的局部标准正交基，$U_z$ 的列向量 $u_i(z)$（左奇异向量）构成了流形切空间 $T_{g(z)}\mathcal{M}_g$ 的局部标准正交基，而奇异值 $s_i(z) = [S_z]_{ii} > 0$ 决定了相应方向的局部几何缩放。沿右奇异向量积分的积分曲线称为“奇异向量路径”（s.v. path）$\mathcal{V}_{z^*}^i$，其通过映射 $g$ 映入流形上的曲线则被称为“缝隙”（seam）$\mathcal{M}_{g,z^*}^i$。本文将解缠结严格形式化为流形密度 $p_\mu$ 沿各缝隙的一维边缘密度乘积分解，且缝隙因子之间相互统计独立。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["可分解先验 p(z) = ∏ p_i(z_i)<br/>标准高斯隐空间 Z"] --> B["奇异向量路径与流形缝隙分解<br/>雅可比 SVD: J_z = U_z S_z V_z^T 诱导内在缝隙"]
    B --> C["C1-C2 充要正交条件判定<br/>C1: V_z = I (轴对齐) ； C2: ∂s_i/∂z_j = 0 (无交叉缩放)"]
    C --> D["内在海森谱与可辨识性恢复<br/>H_x = U_x [∇_u^2 log p_μ] U_x^T 确定唯一性 (置换与符号同构)"]
    D --> E["Price/Bonnet 期望后验诱导机制<br/>对角协方差 Σ_x 迫使 J^T J 与定向海森在后验支撑集对角化"]
    E --> F["输出解缠结流形表示 p_μ(g(z)) = ∏ f_i(u_i)"]

关键设计¶

1. 奇异向量路径与流形缝隙分解：将隐空间轴向推进与流形内在几何严格对齐

传统解缠结定义多依赖于直观描述（如改变单一坐标只改变单一语义属性），缺乏严格的测度论刻画。本文提出，沿隐变量第 $i$ 个维度的扰动通过雅可比矩阵映射到数据空间的切向量方向为 $J_z v_i = s_i u_i$。为了精确刻画全局几何，定义在隐空间内切向处处沿着右奇异向量 $v_i$ 的积分曲线 $\frac{d}{dt} z_t^i = v_i(z_t^i)$ 为第 $i$ 条奇异向量路径 $\mathcal{V}_{z^*}^i$；该路径在映射 $g$ 下的像即为数据流形上的第 $i$ 条缝隙 $\mathcal{M}_{g,z^*}^i$，其切向量满足 $\frac{d}{dt} x_t^i = s_i u_i$。在此基础上定义缝隙内在弧度坐标 $u_i(t) = \int_0^t s_i(g^{-1}(x_\tau^i)) d\tau$。根据流形变量替换公式，流形上的联合密度具有规范奇异值分解表达： $$p_\mu(g(z)) = \det(J_z^\top J_z)^{-1/2} p(z) = \prod_{i=1}^d \frac{p_i(z_i)}{s_i(z)}$$ 这一分解将整体数据流形密度分解为 $d$ 个局统一维因子之积。只要每个因子仅取决于对应的缝隙坐标且相互独立，流形上的数据分布就完成了语义解缠结。

2. C1-C2 充要条件：刻画解缠结的导数约束

上述规范分解并不自动保证解缠结，因为奇异向量路径在隐空间中可能发生扭曲，且某个方向的缩放因子 $s_i(z)$ 可能随着其他坐标 $z_j$（$j \neq i$）的改变而变化，从而引入高阶耦合。本文证明，推出密度 $p_\mu$ 达到严格解缠结（定义 1）当且仅当映射 $g$ 几乎处处满足以下两个条件： - 条件 C1（右奇异向量轴对齐）：雅可比矩阵的右奇异向量矩阵满足 $V_z = I$（经坐标轴重排序与符号调整后）。这意味着隐变量的标准坐标基本身就是雅可比矩阵的右奇异向量，隐空间的轴向平移精确映射为流形上沿左奇异向量 $u_i$ 的缝隙平移。 - 条件 C2（奇异值偏导对角化）：奇异值对隐变量的偏导矩阵 $\left(\frac{\partial s_i}{\partial z_j}\right)_{i,j}$ 为对角阵，即对任意 $i \neq j$，恒有 $\frac{\partial s_i}{\partial z_j} = 0$。

条件 C1 确保了隐变量轴向遍历直接描绘流形缝隙，而条件 C2 杜绝了因子 $f_i(u_i) = \frac{p_i(z_i)}{s_i(z_i)}$ 受其他无关坐标 $z_j$ 调控的可能，使各缝隙边缘分布成为严格的相互独立随机变量。

3. 内在海森谱与可辨识性保证：突破非线性 ICA 的旋转不可能性

经典非线性 ICA 指出，高斯先验下任意正交旋转矩阵均保持先验分布不变，导致潜在生成因子不可辨识。本文证明，一旦数据流形密度 $p_\mu$ 在其内在正交缝隙坐标下能够分解为独立因子，这些缝隙方向就作为内在对象由流形密度本身唯一决定。具体而言，定义流形上的内在海森矩阵： $$\mathcal{H}_x \doteq \nabla_{\mathcal{M}}^2 \log p_\mu(x)$$ 在满足缝隙分解的局部标准正交坐标 $u = (u_1, \dots, u_d)$ 下，其混合二阶偏导由于独立性而自然消失：$[\nabla_u^2 \log p_\mu(x)]_{ij} = 0$（$i \neq j$）。因此，内在海森矩阵的特征值分解满足： $$\mathcal{H}_x = U_x \left[\nabla_u^2 \log p_\mu(x)\right] U_x^\top$$ 只要该内在海森矩阵的特征值几乎处处互不相同，其特征向量（即缝隙切线方向 $u_i$）就由数据分布唯一确定，仅存在置换和正负号（Permutation & Sign, P&S）的平凡对称性。任何拟合流形密度且满足 C1-C2 的生成模型 $d(z)$，其左奇异向量必与内在特征方向重合，从而可严格辨识出真实世界的独立生成机制。

4. Price/Bonnet 期望后验诱导机制：解释 VAE 对角后验的解缠结魔力

为了阐明 VAE 为何自发产生 C1 与 C2，本文利用高斯变分近似下的精确 Price/Bonnet 恒等式（Opper & Archambeau 定理），推导出最大化 ELBO 时最优逆后验协方差满足： $$\Sigma_x^{-1} = I + \frac{1}{\beta \sigma^2} \mathbb{E}_{q(z|x)} \left[ J_z^\top J_z - (x - d(z))^\top \mathcal{H}_z \right]$$ 其中 $\mathcal{H}_z = \frac{d^2 d(z)}{dz^2}$ 为解码器输出关于隐变量的海森张量，$\sigma^2$ 为重构方差。由于工程实现中广泛将编码器后验协方差 $\Sigma_x$ 限制为对角阵，该恒等式强制等号右端的期望矩阵也必须对角化。在后验分布紧密聚集的局部邻域内，这要求 $J_z^\top J_z$ 与定向海森项分别对角化： - $J_z^\top J_z = \text{diag}(s_1^2, \dots, s_d^2)$ 直接迫使右奇异向量 $V_z = I$，精确诱导了条件 C1。 - 定向残差向量 $r(z) = x - d(z)$ 依一阶泰勒展开近似落入切空间 $\text{span}(U_z)$，迫使其与海森张量的缩并为对角阵，进而消除了反对称切向旋转与奇异值的交叉偏导，一阶近似诱导了条件 C2。

一个完整示例¶

考虑线性概率主成分分析（PPCA）与线性 VAE（LVAE）。设真实数据生成为 $x = W z + \epsilon$，其中 $W = U S V^\top \in \mathbb{R}^{m \times d}$，隐变量 $z \sim \mathcal{N}(0, I)$。 - 在经典 MLE 或无约束全协方差 VAE 中，解码器存在连续旋转模糊度：最优权重具有形式 $W_* = U_X (\Lambda_X - \sigma^2 I)^{1/2} R$，其中 $R \in \mathbb{R}^{d \times d}$ 可以是任意正交矩阵（$R^\top R = I$），隐空间坐标轴对应数据空间的任意混合方向，完全纠缠。 - 当在 LVAE 中限制变分后验为对角协方差 $\Sigma$ 时，最优后验协方差满足 $\Sigma_* = \sigma^2 R^\top \Lambda_X^{-1} R$。若要求 $\Sigma_*$ 保持对角，由于 $\Lambda_X$ 的特征值各不相同，$R$ 必须退化为带符号置换矩阵。这瞬间打破了旋转对称性，强制右奇异向量 $V \to I$，使隐空间各坐标轴严格对齐到数据的主成分方向 $u_i$，实现完全解缠结与可辨识性。

损失函数 / 训练策略¶

在 $\beta$-VAE 的优化目标中，$\beta$ 参数起到了调控等效似然方差的作用： $$\mathcal{L}_{\text{ELBO}}(\theta, \phi) = \mathbb{E}_{p(x)} \mathbb{E}_{q_\phi(z|x)} \left[ \log p_\theta(x|z) - \beta \log \frac{q_\phi(z|x)}{p(z)} \right]$$ 将目标函数整体除以 $\beta$ 并重标定学习率，数学上等价于将似然分布的有效方差缩放为 $\beta \sigma^2$。增大 $\beta$ 相当于假定观测中包含更强的噪声，从而扩前后验分布 $q_\phi(z|x)$ 的覆盖支撑集，使不同样本的后验分布发生更大面积的交叠。这种交叠将原本零散局部的 C1 与 C2 对角化约束扩展到整个隐空间，促进全局解缠结；而过大的 $\beta$ 会导致图像模糊重构。因此，采用前期大 $\beta$、训练后期退火衰减 $\beta$（$\beta \to 0.001$）的训练策略，可以在保持锐利重构的同时最大化继承解缠结几何特性。

实验关键数据¶

主实验¶

论文在可精确解析的合成高斯数据、标准解缠结基准 dSprites（包含形状、尺度、旋转、X位置、Y位置 5 个真实生成因子，设置隐空间维度 $d=10$，5 次独立运行平均）以及真实人脸图像数据集 CelebA 上验证了理论预测。评估指标包括互信息间隙（MIG）、轴对齐得分（AAS，基于互信息矩阵峰值与总和比率的新度量）以及导数项对角化程度。

下表对比了对角后验（Diagonal Covariance）与全协方差后验（Full Covariance）在高斯合成数据及 dSprites 上的解缠结性能与导数正交性表现：

数据集 / 场景	后验结构配置	互信息间隙 (MIG)	轴对齐得分 (AAS)	$J_z^\top J_z$ 非对角能量比	奇异向量轴对齐 ($V \to I$)	真实因子解缠结状态
合成高斯 (线性 LVAE)	全协方差 $\Sigma$	0.00 (无轴向偏好)	0.10 (完全混合)	0.82 (强交叉项)	否 ($R$ 为任意旋转)	旋转纠缠，无法恢复主轴
合成高斯 (线性 LVAE)	对角协方差 $\Sigma$	1.00 (完全解缠结)	1.00 (完美对角)	0.00 (严格对角)	是 ($V \to I$)	完美对齐数据独立成分
dSprites ($\beta=1$)	全协方差 $\Sigma_x$	0.08	0.28	0.54	否 (特征方向倾斜)	因子严重耦合于混合坐标
dSprites ($\beta=1$)	对角协方差 $\Sigma_x$	0.42	0.74	0.18	是 (主活性轴接近对齐)	5个生成因子清晰分配至独立轴
CelebA ($\beta=4$)	全协方差 $\Sigma_x$	0.11	0.31	0.61	否 (后验方差连续分散)	语义属性沿隐轴多重混合
CelebA ($\beta=4$)	对角协方差 $\Sigma_x$	0.39	0.68	0.22	是 (高方差维度呈现断崖分布)	肤色/朝向/光照分离明显

消融实验¶

针对超参数 $\beta$ 的取值及退火策略，论文在 dSprites 上评估了不同 $\beta$ 设置下的导数对角化率、解缠结指标及重构质量权衡：

实验配置 ($\beta$ 设定)	训练调度方案	雅可比项对角化度	海森项对角化度	解缠结度 (AAS)	重构清晰度 / 样本质量	活性隐变量维度分布
$\beta = 0.001$ (常数极小)	恒定低权重	0.38 (低)	0.29 (低)	0.32	极高 (边缘锐利，重建误差极低)	弥散分布于多个冗余维度
$\beta = 1.0$ (标准 VAE)	恒定中权重	0.82 (高)	0.46 (中)	0.74	中等 (轻微平滑/模糊)	集中于核心 5-6 个有效维度
$\beta = 4.0$ (强化解缠结)	恒定高权重	0.91 (极高)	0.58 (中偏高)	0.85	较低 (过度模糊，细节丢失)	高度压缩，呈现尖锐断崖截止
$\beta: 1.0 \to 0.001$	指数退火调度	0.86 (高)	0.51 (中)	0.81	极高 (既锐利重构又维持对齐)	保持主轴正交且容量充分释放

关键发现¶

对角后验是打破旋转对称性的根本原因：在线性与非线性实验中，全协方差模型均能完美重构数据分布，但隐变量轴向完全随机；只有对角后验强制 $V \to I$，迫使隐变量向数据流形的内在缝隙对齐。
雅可比对角化强于海森对角化：在 dSprites 和 CelebA 的数值测量中，矩阵项 $J_z^\top J_z$ 的对角化程度始终显著高于定向海森项，这与理论分析中“C1 为精确约束，而 C2 为一阶切向近似”的结论高度吻合。
$\beta$ 退火实现解缠结与高保真的双赢：固定高 $\beta$ 会由于假设大噪声而带来重构模糊，固定低 $\beta$ 则导致后验收缩无法形成全域正交约束；前期利用高 $\beta$ 建立全局正交坐标系，后期退火至低 $\beta$ 释放表达容量，能够兼顾解缠结与高清重构。

亮点与洞察¶

严格形式化定义了分布级解缠结：摆脱了以往基于分类器或互信息评分的局部启发式描述，直接基于微分几何与测度论，将解缠结定义为推出密度沿内在流形缝隙的统计独立分解。
破除非线性 ICA 高斯不可辨识性迷思：证明了满足 C1-C2 的生成映射与数据流形内在海森特征方向的重合性，阐明了 VAE 无需辅助变量（Auxiliary Variables）即可在置换和符号对称性下辨识真实因子的内在机理。
统一了 VAE 与 GAN 的解缠结正则化文献：将 GAN 领域人工设计的谱正则化（Ramesh et al.）、雅可比正交正则化（Wei et al.）与海森惩罚（Peebles et al.）统一纳入 C1-C2 框架，指出它们均在直接逼近流形缝隙分解的充要条件。

局限与展望¶

依赖满秩与单射假设：理论推导假设生成映射在正则集上几乎处处具有满列秩（$d \leq m$）且为单射。在现实超高维复杂数据中，流形自相交、局部降秩以及拓扑亏格突变可能会导致正则点集假设退化。
海森约束的高阶方差估计困难：在复杂分布（如 CelebA）上，二阶定向海森项的对角化在经验层面噪声较大，需要更致密的后验采样与更高阶梯度平滑技术来进一步验证 C2 的全局收敛状态。
未来向扩散与自回归生成模型扩展：该推出测度分解理论具备模型无关性，未来有望推广至 Latent Diffusion、连续归一化流以及大语言模型隐空间的特征解缠结分析中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从推出测度因式分解与雅可比 SVD 角度统一给出解缠结的充要条件与可辨识性证明。
实验充分度: ⭐⭐⭐⭐ 涵盖解析线性系统、受控 dSprites 基准与复杂真实人脸 CelebA，理论与实证环环相扣。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨自洽，测度论、微分几何与变分推断机制论述透彻。
价值: ⭐⭐⭐⭐⭐ 为困扰生成模型领域多年的“VAE 为何自发解缠结”谜题提供了决定性的理论基石。

数据集 / 场景	后验结构配置	互信息间隙 (MIG)	轴对齐得分 (AAS)	\(J_z^\top J_z\) 非对角能量比	奇异向量轴对齐 (\(V \to I\))	真实因子解缠结状态
合成高斯 (线性 LVAE)	全协方差 \(\Sigma\)	0.00 (无轴向偏好)	0.10 (完全混合)	0.82 (强交叉项)	否 (\(R\) 为任意旋转)	旋转纠缠，无法恢复主轴
合成高斯 (线性 LVAE)	对角协方差 \(\Sigma\)	1.00 (完全解缠结)	1.00 (完美对角)	0.00 (严格对角)	是 (\(V \to I\))	完美对齐数据独立成分
dSprites (\(\beta=1\))	全协方差 \(\Sigma_x\)	0.08	0.28	0.54	否 (特征方向倾斜)	因子严重耦合于混合坐标
dSprites (\(\beta=1\))	对角协方差 \(\Sigma_x\)	0.42	0.74	0.18	是 (主活性轴接近对齐)	5个生成因子清晰分配至独立轴
CelebA (\(\beta=4\))	全协方差 \(\Sigma_x\)	0.11	0.31	0.61	否 (后验方差连续分散)	语义属性沿隐轴多重混合
CelebA (\(\beta=4\))	对角协方差 \(\Sigma_x\)	0.39	0.68	0.22	是 (高方差维度呈现断崖分布)	肤色/朝向/光照分离明显

实验配置 (\(\beta\) 设定)	训练调度方案	雅可比项对角化度	海森项对角化度	解缠结度 (AAS)	重构清晰度 / 样本质量	活性隐变量维度分布
\(\beta = 0.001\) (常数极小)	恒定低权重	0.38 (低)	0.29 (低)	0.32	极高 (边缘锐利，重建误差极低)	弥散分布于多个冗余维度
\(\beta = 1.0\) (标准 VAE)	恒定中权重	0.82 (高)	0.46 (中)	0.74	中等 (轻微平滑/模糊)	集中于核心 5-6 个有效维度
\(\beta = 4.0\) (强化解缠结)	恒定高权重	0.91 (极高)	0.58 (中偏高)	0.85	较低 (过度模糊，细节丢失)	高度压缩，呈现尖锐断崖截止
\(\beta: 1.0 \to 0.001\)	指数退火调度	0.86 (高)	0.51 (中)	0.81	极高 (既锐利重构又维持对齐)	保持主轴正交且容量充分释放