A Spectral Framework for Closed-Form Relative Density Estimation¶

会议: NeurIPS 2026
arXiv: 2605.10668
论文: https://arxiv.org/abs/2605.10668
领域: 优化/理论
关键词: 相对密度估计, f-散度, 谱分解, 闭式解, 互信息估计

一句话总结¶

本文提出一种基于广义特征值分解的谱分析框架，将KL散度等算子凸f-散度的变分估计转化为加权卡方散度的积分，仅凭一阶与二阶特征矩即可闭式估计相对对数密度势函数，无需迭代优化与显式归一化常数计算。

研究背景与动机¶

从经验样本中估计两概率分布 $p$ 与 $q$ 之间的相对对数密度（或KL散度）是机器学习和统计学的基础问题。传统的变分估计方法基于凸对偶（Fenchel共轭），将KL散度表达为对势函数 $v(x)$ 的变分优化问题。然而，KL散度的Fenchel共轭包含指数项 $e^{v(x)}$，在经验均值近似下会导致极高的方差与数值不稳定性，且当面对未归一化模型（如高维配分函数难以计算的能量模型）或连续条件密度时，优化过程极难收敛。与之形成鲜明对比的是Pearson卡方散度，其共轭仅为二次函数，在固定特征映射下可以直接通过求解线性方程组得到基于一阶矩和二阶矩的解析闭式解（最小二乘相对密度估计），不仅稳定快速，还具有严谨的非渐进收敛界。

然而，Pearson散度对应的线性密度比估计在密度比较小或接近零时极易出现负值，无法真实反映KL散度所蕴含的对数几何结构与信息论性质。长期以来的核心理论矛盾在于：我们能否在保留最小二乘法的闭式解形式与优秀数值稳定性的同时，紧致逼近并估计本质上具有非线性指数几何的KL散度及其他任意通用f-散度？换言之，能否摆脱牛顿法等迭代优化，直接用固定特征矩的谱变换闭式完成逻辑回归与相对对数密度估计？

本文的切入角度是借助凸分析中的算子凸（Operator-Convex）函数积分表示理论，发现包括KL散度在内的一大类重要f-散度均可精确表示为加权卡方散度族在权重参数 $\rho \in [0, 1]$ 上的连续凸组合积分。核心 idea：将KL散度松弛为加权卡方散度的连续积分，利用两组二阶矩矩阵的广义特征值分解将积分坍缩为显式谱求和公式，仅依赖特征的一阶与二阶矩即可直接导出相对对数密度势函数的二次闭式估计。

方法详解¶

整体框架¶

本文构建的谱估计框架整体流程包括四个步骤：首先利用算子凸函数的测度表示将目标f-散度展开为加权卡方散度的积分；接着在每个加权卡方分量上引入线性特征参数化并求解闭式最小二乘问题，得到下界泛函；然后通过特征协方差矩阵对的广义特征值分解消去参数积分，导出谱下界与对偶势函数；最后利用该下界作为代理目标，在特征空间或神经网络参数上执行特征表征学习。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据样本<br/>分布 p 与 q 的特征向量"] --> B["算子凸测度分解<br/>f-散度表示为加权卡方积分"]
    B --> C["矩矩阵计算与广义谱分解<br/>求解二阶矩对的广义特征值分解"]
    C --> D["闭式谱估计与二次势函数<br/>输出相对对数密度估计与散度下界"]
    D --> E["特征表征学习与互信息扩展<br/>次梯度MM优化与条件密度估计"]

关键设计¶

1. 算子凸积分松弛：将KL散度映射为加权卡方最小二乘族

传统变分公式对KL散度直接利用 $f(t) = t \log t - t + 1$ 的共轭 $f^*(u) = e^u - 1$，在经验期望中引入指数项导致优化不稳定。本文基于Loewner矩阵序下的算子凸函数理论，指出满足规范化条件 $f(1) = f'(1) = 0$ 和 $f''(1) = 1$ 的算子凸函数在区间 $[0, 1]$ 上存在唯一的概率测度 $\nu$，使得 $f(t)$ 恒等于加权卡方核函数 $\frac{1}{2}\frac{(t-1)^2}{\rho t + 1 - \rho}$ 对测度 $\nu(\rho)$ 的积分。对于KL散度，该测度具有极为简洁的密度形式 $d\nu(\rho) = 2(1-\rho) d\rho$。由此，双函数约束变分问题： $$D(p\|q) = \sup_{u: \mathcal{X}\to \mathbb{R}} \int_{\mathcal{X}} \left[ u(x)\left(\frac{dp}{dq}(x)-1\right) - \frac{u(x)^2}{2}\left(\rho \frac{dp}{dq}(x) + 1 - \rho\right) \right] dq(x)$$ 在特征映射 $\varphi(x) \in \mathbb{R}^m$ 下参数化为 $u_\rho(x) = \theta_\rho^\top \varphi(x)$。此时对每个 $\rho$ 均成为标准二次最小二乘问题，其解析解使散度下界转化为一阶矩差与加权二阶矩逆矩阵的积分二次型： $$F(p\|q, \varphi) = \frac{1}{2} \int_0^1 (\mu_p - \mu_q)^\top (\rho \Sigma_p + (1-\rho)\Sigma_q)^{-1} (\mu_p - \mu_q) d\nu(\rho)$$ 这一松弛将非线性凸变分问题完全规约为族内最小二乘问题，继承了最小二乘估计极佳的凸性、单调性与无偏矩估计基础。

2. 广义特征值谱分解：消除积分并给出解析二次对数密度势

式中的参数 $\rho$ 积分若通过数值离散求解不仅计算代价高昂，且难以显式求导。本文的关键洞察是利用二阶矩矩阵对 $(\Sigma_p, \Sigma_q)$ 的广义特征值分解：寻找非奇异基矩阵 $V = [v_1, \dots, v_m]$ 满足 $v_i^\top \Sigma_q v_j = \mathbf{1}_{i=j}$ 以及 $\Sigma_p v_i = \lambda_i \Sigma_q v_i$。在此特征坐标系下，加权矩阵 $\rho \Sigma_p + (1-\rho)\Sigma_q$ 被完美对角化为 $\rho \lambda_i + 1 - \rho$。利用算子凸测度对核函数的积分恒等式，积分项精确还原为标量谱函数： $$F(p\|q, \varphi) = \sum_{i=1}^m \frac{f(\lambda_i)}{(\lambda_i - 1)^2} \big( (\mu_p - \mu_q)^\top v_i \big)^2$$ 更关键的是，对偶变分势函数 $v(x) \approx \log(dp/dq(x))$ 和 $w(x)$ 亦可在此谱坐标下闭式写为关于特征向量 $\varphi(x)$ 的显式二次型：$v(x) = \varphi(x)^\top M \varphi(x) + 2c^\top \varphi(x)$。其中向量 $c$ 和对称矩阵 $M$ 的谱展开系数完全由一阶差矩与特征值的差商决定： $$c = \sum_{i=1}^m \frac{f(\lambda_i)}{(\lambda_i - 1)^2} v_i v_i^\top (\mu_p - \mu_q), \quad M = \sum_{i,j=1}^m (\mu_p - \mu_q)^\top v_i v_j^\top (\mu_p - \mu_q) \frac{\frac{f(\lambda_i)}{(\lambda_i-1)^2} - \frac{f(\lambda_j)}{(\lambda_j-1)^2}}{\lambda_i - \lambda_j} v_i v_j^\top$$ 这一结论从理论上打破了传统对数密度估计必须依赖指数族归一化或配分函数近似的壁垒，首次实现了未归一化模型下KL散度与对数密度势函数的纯闭式谱求解。

3. 特征学习与去偏差估计：从经验矩到神经流形的端到端扩展

由于 $F(p\|q, \varphi)$ 始终是真实散度 $D(p\|q)$ 的紧致下界且关于特征矩阵对应的核函数呈凹性，该目标可以直接作为无监督特征学习或降维的损失函数。针对高维或连续空间，本文设计了两套可扩展机制：其一是无偏化修正（Debiasing）。经验二次型由于样本协方差的随机涨落天然存在上偏，通过引入基于U统计量/V统计量方差估计的修正算子 $\hat{C} = (\hat{\Sigma}_p - \hat{\mu}_p\hat{\mu}_p^\top)/(n_p-1) + (\hat{\Sigma}_q - \hat{\mu}_q\hat{\mu}_q^\top)/(n_q-1)$，在谱目标中减去 $\frac{1}{2}\int_0^1 \mathrm{tr}(\hat{C}\hat{M}(\rho)^{-1}) d\nu(\rho)$，将泛函估计的渐进收敛阶从 $O(n^{-t/(t+d/2)})$ 提升至信息论最优的 $O(n^{-t/(t+d/4)})$。其二是低秩投影与神经网络联合训练。针对特征维数过大导致的立方复杂度问题，引入紧凑投影 $\Gamma \in \mathbb{R}^{m \times r}$（如 $r=4$）或将单隐层ReLU网络 $\Psi(x) = (W^\top x + b)_+$ 与权重衰减相组合。利用次梯度极大微元化（MM算法）或在线EM样式的随机梯度上升，仅需在线维护 $r \times r$ 维的降维矩并交替执行谱更新，即可在隐变量维度 $d_{\rm eff} \ll d$ 的高维分布中完全摆脱维数灾难。

损失函数 / 训练策略¶

对于线性低秩降维 $\psi(x) = \Gamma^\top \varphi(x)$，正则化二阶矩记为 $\hat{\Sigma}_p + \lambda \Gamma^\top \Gamma$。在MM算法框架下，目标函数被其一阶切平面严格下界包络，局部替代损失为： $$\mathcal{L}(\Gamma) = \mathrm{tr}\left[ M \Gamma^\top \hat{\Sigma}_p \Gamma \right] + \mathrm{tr}\left[ N \Gamma^\top \hat{\Sigma}_q \Gamma \right] + 2 c^\top \Gamma^\top (\hat{\mu}_p - \hat{\mu}_q)$$ 在每轮迭代中先利用当前 $\Gamma$ 提取样本矩并通过广义特征值分解更新 $(M, N, c)$，再通过共轭梯度法以 $O(rmn)$ 复杂度更新 $\Gamma$。对于神经网络端到端训练，则采用微批次随机梯度上升联合反向传播更新隐藏层权重 $(W, b)$，周期性重新同步特征矩。

实验关键数据¶

主实验¶

论文在控制维度的合成数据集及高维流形密度估计上，系统对比了本文提出的闭式谱估计器（KL谱法与去偏差Debiased谱法）、传统变分对偶估计器（优化指数共轭）、Pearson卡方闭式估计器以及核密度估计（KDE）。下表展示了二维周期流形（$n=4096$，测试集 $1024$ 样本）上的归一化势函数测试误差 $1 - \hat{D}/D(p\|q)$（越低越好，评估对真实对数密度的拟合精度），以及不同样本规模 $n$ 下的误差收敛速率指数 $\sigma$（满足误差 $\propto n^{-\sigma}$）：

方法	模型类型	归一化势函数误差 ($n=4096$)	收敛速率指数 $\sigma$ (理论/实测)	求解方式
KL Spectral (本文)	算子凸二次势	0.042	0.67 / 0.66	矩阵广义谱分解（闭式）
KL Debiased (本文)	去偏差谱估计	0.021	0.80 / 0.78	闭式谱分解 + 迹修正
Variational (经典对偶)	线性参数化	0.118	0.50 / 0.48	牛顿法迭代优化（非闭式）
Variational-Square	二次特征扩展	0.054	0.50 / 0.51	高维非线性优化（计算昂贵）
Pearson Chi-Squared	线性密度比	0.285	0.50 / 0.49	最小二乘线性系统（闭式）
KDE Plug-in	高斯核密度比	0.162	0.33 / 0.32	非参数核带宽度优化

消融实验与高维隐变量适应性¶

针对神经网络特征学习（$m=50$ 个隐藏神经元，降维秩 $r=4$）在隐变量低维投影流形（环境维度 $d \in \{2, 4, 8, 16\}$，真实低维子空间 $d_{\rm eff}=2$，$n=10000$ 样本）下的归一化估计误差消融结果如下表所示：

环境维度 $d$	固定特征-KL谱	固定特征-变分对偶	神经网络-变分对偶 (m=100)	神经网络-KL谱 (KL-NN, 本文)	说明
$d=2$	0.082	0.145	0.065	0.038	低维基线，谱估计全面优于变分法
$d=4$	0.164	0.231	0.092	0.051	固定特征开始受维数扩散影响
$d=8$	0.312	0.428	0.138	0.076	神经网络自适应提取低维有效子空间
$d=16$	0.547	0.683	0.215	0.094	KL-NN误差增幅极小，有效打破维数灾难

关键发现¶

相比于传统变分优化中指数期望导致的梯度爆炸和高样本方差，谱估计器完全规避了优化失败问题，在未归一化模型和有限样本下的样本效率显著优于变分对偶基线。
去偏差（Debiased）修正项在小样本和中等样本下优势显著，将均方误差的经验收敛指数从约 $0.66$ 大幅拉升至 $0.78$，贴合理论推导的最优收敛界。
引入神经网络隐层特征学习后，谱估计器展现出对低维线性隐变量结构的自适应性（Adaptivity to linear latent variables），在环境维度扩大至16维时，估计误差仍保持在 $0.1$ 以下，而固定核方法已彻底失效。

亮点与洞察¶

将非线性指数几何转化为算子凸线性代数：巧妙借助算子凸函数的Loewner积分表示，将KL散度从充满非线性指数期望的困难对偶空间拉回至由加权卡方散度构成的最小二乘几何中，使复杂的信息几何问题获得了精确的矩阵谱解法。
纯闭式二次对数密度势函数：打破了经典最小二乘密度比估计（如LSIF/KMM）只能输出线性密度比且经常输出负密度的缺陷，导出的势函数直接对应对数密度 $\log(dp/dq)$ 且在特征空间呈二次型，无需归一化常数即可直接用于能量模型与连续条件密度建模。
自适应降维与互信息条件估计：将互信息估计形式化为张量积二阶矩的分块对角化，在离散标签下以 $O(m^2 n + k m^3)$ 的闭式特征值分解直接媲美乃至超越昂贵的Softmax逻辑回归迭代求解，为无监督特征选择与分类器设计提供了全新范式。

局限与展望¶

二阶矩计算与特征分解的复杂度瓶颈：尽管相比变分优化更稳定，广义特征值分解的单次时间复杂度仍为 $O(m^3)$，当固定特征维度 $m$ 达到上万时直接计算面临内存与计算压力，必须依赖低秩投影（如 $r=4$）或随机特征近似。
理论收敛性与非凸特征优化的鸿沟：虽然固定特征下的谱估计器具有严格的凸下界与非渐进统计误差界，但端到端联合训练神经网络时交替更新矩矩阵与权重的动力学系统仍缺乏全局收敛的理论证明。
未来方向：未来有望将此闭式谱密度估计拓展至扩散模型（Diffusion Models）中的得分匹配（Score Matching）替代、大规模对比学习（NCE）以及变分推断的后验逼近中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次将算子凸测度表示与广义谱分解结合，实现通用f-散度与对数密度的解析闭式估计]
实验充分度: ⭐⭐⭐⭐☆ [合成流形与条件密度实验扎实完备，深入验证了收敛率与低维自适应性，缺大规模真实视觉文本基准]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严密优美，概念结构清晰，理论与算法脉络高度自洽]
价值: ⭐⭐⭐⭐⭐ [为信息论估计、未归一化模型建模以及自监督表征学习提供了坚实的闭式代数工具]

环境维度 \(d\)	固定特征-KL谱	固定特征-变分对偶	神经网络-变分对偶 (m=100)	神经网络-KL谱 (KL-NN, 本文)	说明
\(d=2\)	0.082	0.145	0.065	0.038	低维基线，谱估计全面优于变分法
\(d=4\)	0.164	0.231	0.092	0.051	固定特征开始受维数扩散影响
\(d=8\)	0.312	0.428	0.138	0.076	神经网络自适应提取低维有效子空间
\(d=16\)	0.547	0.683	0.215	0.094	KL-NN误差增幅极小，有效打破维数灾难