Approximation in Contrastive Representation Learning¶

会议: NeurIPS 2026
arXiv: 2610.15388
论文: https://arxiv.org/abs/2610.15388
代码: https://github.com/YuanfanLi2233/approximation_CRL_LCGM_NIPS2026
领域: 自监督学习
关键词: 对比表示学习, 逐点互信息, 紧算子谱分解, 深度神经网络逼近, Tsybakov低噪声条件

一句话总结¶

本文从泛函与逼近论视角系统回答了为何内积形式评分函数能逼近不可分的点对互信息（PMI），建立了紧算子谱截断误差界、通用及结构化深度神经网络（DNN）逼近速率，并证明了密度比Tsybakov噪声下向上游对比超额风险到下游检索误差的快速校准不等式。

研究背景与动机¶

对比表示学习（Contrastive Representation Learning, CRL）已成为现代基础模型与多模态预训练的核心基石。近期理论研究（如 Li et al., 2026）揭示了对比损失函数在总体分布上的极小值点严格对应于两种模态之间的逐点互信息（Pointwise Mutual Information, PMI）$\log \frac{p(\mathbf{x}, \mathbf{y})}{p_{\mathcal{X}}(\mathbf{x})p_{\mathcal{Y}}(\mathbf{y})}$。然而，经典统计学习理论分析 CRL 时，大多聚焦于经验风险与总体风险之间的泛化误差界（Generalization Gap），而将假设空间中的逼近误差（Approximation Error）作为黑盒略去。

这一盲区引出了一个根本性的理论矛盾：在实际系统（如 CLIP、SimCLR）中，双塔编码器通常强制采用内积打分机制 $s(\mathbf{x},\mathbf{y}) = f(\mathbf{x})^\top g(\mathbf{y})$，但真实数据分布的联合密度比函数在数学上通常是高度非可分（nonseparable）的，没有任何显式因子分解形式。为什么低维且分离的双塔内积结构能够有效拟合复杂的不可分 PMI？深度神经网络的双塔假设空间究竟需要多大的宽度、深度与表示维度才能保证逼近一致性？

本文切入角度正是填补这一逼近论层面的理论空白。作者将连续域上的点对互信息关联到一个紧致积分算子，并研究神经网络在内积约束下的逼近表达能力。核心 idea：将双塔对比学习在总体层面的打分过程严格刻画为对 PMI 紧算子的低秩谱截断逼近，证明表示维度直接受谱尾衰减控制；并在潜类别生成模型（LCGM）下证明中等规模双塔 DNN 可规避维数灾难，进而借助密度比 Tsybakov 低噪声条件导出向上游超额风险到下游检索排名的快速校准界。

方法详解¶

整体框架¶

本文构建的对比表示学习逼近论框架，沿着「总体目标定义 → 紧算子谱截断与泛函逼近 → 深度神经网络双塔实现与复杂度控制 → 下游检索任务快速标定」的逻辑链展开。给定联合分布 $P_{\mathcal{X}\mathcal{Y}}$ 及其边际分布 $P_{\mathcal{X}}, P_{\mathcal{Y}}$，双塔编码器 $f:\mathcal{X}\to\mathbb{R}^D$ 和 $g:\mathcal{Y}\to\mathbb{R}^D$ 构成假设空间 $\mathcal{S}_D$ 或参数化的 ReLU 神经网络空间 $\mathcal{F}_{\mathtt{S}}$。

方法核心表明：对比损失的最小化等价于在加权 Hilbert 空间中逼近积分核算子 $T$ 的前 $D$ 个主奇异函数；在具有潜在语义标签的结构化数据（LCGM）中，两路编码器分别退化为学习语义后验概率与对数后验概率比；最终通过构造密度比差值边缘分布，推导下游检索 AUC 指标的严格传递保证。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态联合分布对 (x, y) ~ p"] --> B["PMI紧致积分算子谱截断<br/>T(f)(y) 对应前 D 阶奇异系统"]
    B --> C["有限维内积假设空间逼近<br/>误差受特征值尾和控制"]
    C --> D["双塔ReLU网络真实参数化实现<br/>通用Hölder光滑界与LCGM低秩界"]
    D --> E["密度比Tsybakov低噪声校准<br/>对比超额风险快速传递至下游检索"]

关键设计¶

1. PMI紧致积分算子谱截断：将内积分解映射为紧算子SVD 针对连续模态下点对互信息不可分解的问题，作者假设 $\text{PMI}(\mathbf{x},\mathbf{y}) \in L_2(P_{\mathcal{X}}\otimes P_{\mathcal{Y}})$，并定义线性积分算子 $T: L_2(P_{\mathcal{X}}) \to L_2(P_{\mathcal{Y}})$ 为 $(Tf)(\mathbf{y}) = \int_{\mathcal{X}} \text{PMI}(\mathbf{x},\mathbf{y})f(\mathbf{x})\,dP_{\mathcal{X}}(\mathbf{x})$。复合算子 $T^*T$ 与 $TT^*$ 共享非负递减特征值序列 $\lambda_1 \geq \lambda_2 \geq \dots \searrow 0$。根据 Hilbert-Schmidt 算子的谱定理，PMI 可以在张量乘积空间中展开为正交正规系统 $\{\psi_i\}$ 与 $\{\phi_i\}$ 的级数和： $$ \text{PMI}(\mathbf{x},\mathbf{y}) = \sum_{i=1}^\infty \sqrt{\lambda_i}\,\psi_i(\mathbf{x})\,\phi_i(\mathbf{y}). $$ 对于任意 $D$ 维内积打分函数族 $\mathcal{S}_D$，最优的 $L_2$ 逼近打分函数 $s_D(\mathbf{x},\mathbf{y}) = \tau \sum_{i=1}^D \sqrt{\lambda_i}\psi_i(\mathbf{x})\phi_i(\mathbf{y})$ 恰好截断保留了前 $D$ 个主要奇异分量。在密度比上界条件 $p(\mathbf{x},\mathbf{y}) / (p_{\mathcal{X}}(\mathbf{x})p_{\mathcal{Y}}(\mathbf{y})) \leq \alpha$ 与打分函数一致有界性 $\|s_D\|_\infty \leq B$ 下，作者通过对对比损失沿直线路径进行二阶 Taylor 积分余项估计，建立了对比超额风险与算子谱尾和之间的严格上界： $$ \inf_{s\in\mathcal{S}D} [\mathcal{L}(s) - \mathcal{L}(s^*)] \lesssim \sum^\infty \lambda_i. $$ 当特征值呈多项式衰减 $\lambda_i \asymp i^{-\gamma}\;(\gamma > 1)$ 时，逼近误差以 $(D+1)^{1-\gamma}/(\gamma-1)$ 的速率收敛，说明只要数据分布所诱导的互信息核具有充分光滑性，有限维表示维度便能捕获大部分互信息。

2. 双塔ReLU网络真实参数化实现：通用逼近与结构化去维数灾难 明确了泛函意义上的最优截断后，核心挑战转向可实现性：实际双塔深度神经网络编码器是否能够逼近这一结构。作者首先证明了在仅满足极弱可积性条件 $\mathbb{E}_{(\mathbf{x},\mathbf{y})\sim p}[|\text{PMI}(\mathbf{x},\mathbf{y})|] < \infty$ 下，双塔 ReLU 网络具备通用逼近一致性。

进而，在 Hölder-$\beta$ 光滑性假设下，作者运用基于 bit extraction 技术的最优逼近论工具以及 Hoeffding 引理，建立了网络结构（深度 $L_1, L_2$、宽度 $N_1, N_2$、表示维数 $D$）与逼近误差 $\epsilon$ 之间的全定量标度率。针对通用情形下维度指数依赖（维数灾难）的问题，作者提出了潜在类别生成模型（Latent-Class Generative Model, LCGM）：假定存在隐语义变量 $z \in [K]$，条件独立性 $p(\mathbf{x},\mathbf{y}|z=k) = p(\mathbf{x}|z=k)p(\mathbf{y}|z=k)$ 成立，且纯净锚点模态满足低噪声确定性映射 $p(z=z_{\mathbf{x}}|\mathbf{x})=1$。

在 LCGM 条件下，作者证明算子 $T$ 严格降为有限秩 $K$，且奇异函数张成空间精确对应于后验概率与对数后验概率比： $$ \text{span}{\psi_1, \dots, \psi_K} = \text{span}{p(z=k|\mathbf{x})}{k=1}^K, \quad \text{span}{\phi_1, \dots, \phi_K} = \text{span}\left{\log \frac{p(z=k|\mathbf{y})}{\pi_k}\right}^K. $$ 此时，双塔编码器尺寸大幅削减：表示维数只需常数 $D=K$，锚点编码器 $f$ 的网络尺寸深度与宽度仅对数级依赖 $O(\log \frac{1}{\epsilon})$，彻底消除了针对输入维度 $d_1$ 的指数诅咒。

3. 密度比Tsybakov低噪声校准：上游风险向下游检索的高效传递 对比学习预训练的核心落脚点在于下游检索（AUC 排序）。已知分布自由条件下的校准不等式通常仅保证亚线性速率 $\mathcal{E}^* - \mathcal{E}(s) \lesssim \sqrt{\mathcal{L}(s) - \mathcal{L}^*}$。为了刻画真实分布中候选对之间的可分性，作者引入了密度比 Tsybakov 低噪声条件： $$ \mathbb{P}\left(\left|\frac{p(\mathbf{y}\mid\mathbf{x})}{p_{\mathcal{Y}}(\mathbf{y})} - \frac{p(\mathbf{y}'\mid\mathbf{x})}{p_{\mathcal{Y}}(\mathbf{y}')}\right| \leq t\right) \leq c t^\mu, \quad \forall t > 0. $$ 该条件度量了在给定查询 $\mathbf{x}$ 时，两个随机选取的候选样本 $\mathbf{y}$ 与 $\mathbf{y}'$ 的密度比接近程度。当噪声指数 $\mu > 0$ 时，平局或临界混淆样本的发生概率显著受抑，贝叶斯排序决策边界具有大间隔。结合 Hellinger 距离与 KL 散度的局部比较技术，作者证明了加速的校准不等式： $$ \mathcal{E}^* - \mathcal{E}(s) \lesssim \left(\mathcal{L}(s) - \mathcal{L}^*\right)^{\frac{\mu+1}{\mu+2}}. $$ 当噪声指数 $\mu \to \infty$ 时，收敛指数由经典无序分布下的 $1/2$ 提升趋近至 $1$，揭示了为什么高质量低噪声的预训练分布能够以更少的数据与更低的对比损失直接兑现为下游近乎最优的检索性能。

损失函数 / 训练策略¶

论文分析的总体对比损失基于标准自监督 InfoNCE 的全样本极限形态： $$ \mathcal{L}(s) = \mathbb{E}{(\mathbf{x},\mathbf{y})\sim p} \left[ \tau \log \mathbb{E} \right) \right], $$ 其中温度超参数 }'\sim p_{\mathcal{Y}}} \exp\left( \frac{s(\mathbf{x}, \mathbf{y}') - s(\mathbf{x}, \mathbf{y})}{\tau$\tau > 0$ 调节难负样本的梯度加权锐度。在数值实验验证环节中，双塔架构采用 3 层多层感知机（MLP，隐层维度 128），激活函数为 ReLU，温度设为 $\tau = 0.5$；采用 AdamW 优化器，在批量大小为 512 的设置下训练 20 个周期。

实验关键数据¶

主实验¶

论文在无限秩高斯混合模型（GMM）以及潜类别生成模型（LCGM）合成数据上进行了理论命题的严格数值验证。首先在平衡二元无限秩 GMM（$\mu_x=\mu_y=1.2, \sigma_x=\sigma_y=1.0$）下，比较不同截断维度 $D$ 下的理论谱尾衰减、谱截断打分逼近误差以及实际训练的 MLP 编码器的 $L_2$ 距离与对比逼近误差。

维度 $D$	谱尾和 $\sum_{i>D} \lambda_i$	谱截断对比逼近误差	MLP $L_2$ 逼近距离	MLP 对比超额风险逼近误差
$D=1$	$4.902 \times 10^{-1}$	$3.808 \times 10^{-2}$	$3.763 \times 10^{-1}$	$9.941 \times 10^{-3}$
$D=2$	$1.397 \times 10^{-2}$	$9.984 \times 10^{-4}$	$4.607 \times 10^{-2}$	$4.616 \times 10^{-4}$
$D=4$	$6.822 \times 10^{-4}$	$5.638 \times 10^{-5}$	$3.952 \times 10^{-3}$	$1.877 \times 10^{-5}$
$D=8$	$6.165 \times 10^{-6}$	$5.587 \times 10^{-7}$	$1.529 \times 10^{-3}$	$9.188 \times 10^{-6}$

消融实验¶

在理论消融与性质验证中，论文对比了通用 Hölder 空间设置与 LCGM 结构化数据设置下，双塔神经网络要达到 $\epsilon$ 逼近误差所需的网络尺寸规模，揭示了结构先验对抑制模型复杂度的本质作用。

模型假设类别	表示维度 $D$	锚点编码器参数量 $L_1 \cdot N_1$	目标编码器参数量 $L_2 \cdot N_2$	伪维度复杂度 $\widetilde{\mathtt{PD}}$
通用连续情形 (General Case)	$\epsilon^{-\frac{\min\{d_1, d_2\}}{2\beta}}$	$\epsilon^{-(4+\frac{2d_1}{d_2})\frac{\min\{d_1, d_2\}}{8\beta}}$	$\epsilon^{-(4+\frac{2d_2}{d_1})\frac{\min\{d_1, d_2\}}{8\beta}}$	$\widetilde{O}\left(\epsilon^{-\frac{\min\{d_1, d_2\} + d_1 + d_2}{2\beta}}\right)$
潜在类别模型 (LCGM)	$K$ (常数)	$\log^2 \frac{1}{\epsilon}$ (对数)	$\epsilon^{-\frac{d_2}{4\beta}}$ (多项式)	$\widetilde{O}\left(\epsilon^{-\frac{d_2}{2\beta}}\right)$

关键发现¶

双塔编码器自然拟合奇异基底：在 LCGM 实验中（$K=8, d_1=d_2=16$），通过对学习到的特征进行线性探测，$f(\mathbf{x})$ 对后验语义概率 $p(z=k|\mathbf{x})$ 的预测判定系数达到了 $R^2 \approx 0.97$，而 $g(\mathbf{y})$ 对对数后验概率比的拟合达到 $R^2 \approx 0.93$，完美印证了 Proposition 5.6 预测的谱子空间重合。
维度饱和肘点精确锁定潜在类别数：特征表示的对齐质量随着表征维度 $D$ 的增加迅速提升，并在 $D=K=8$ 处发生明显的平截肘点（Elbow），表明超过内在类别秩数的多余维度在总体逼近层面上带来边际增益迅速递减。
密度比边缘经验校验：在高斯混合样本下通过蒙特卡洛抽样检验 Tsybakov 条件，密度比差值概率在对数-对数坐标系下高度线性拟合，测得真实噪声指数 $\widehat{\mu} = 0.878890$，实证验证了超额风险收敛速率指数 $(\mu+1)/(\mu+2) \approx 0.6528$，显著优于无条件下的 $0.5$ 速率。

亮点与洞察¶

解开内积形式拟合非可分PMI的谜题：首次从紧算子奇函数展开的观点，将双塔点乘分解本质上对标为无穷维空间的截断 SVD，从数学根源上消除了“为何不可分的目标函数能用点乘表征”的理论困惑。
揭示双塔编码器结构的互耦效应：在通用逼近定理中证明了 $\mathcal{X}$ 端编码器的深度与宽度设计必须明确依赖对端模态的维度 $d_2$，表明多模态特征提取器的容量配置天然存在模态协同制约，不可割裂设计。
将低噪声分析拓展至密度比检索：将分类问题中经典的 Tsybakov 间隔噪声条件巧妙推广至连续密度比排序场景，为自监督对比预训练向实际下游检索转移提供了紧致的理论保证。

局限与展望¶

余弦归一化打分机制的理论扩展留白：本文主要基于无约束内积形式进行算子与神经网络逼近推导，然而工业界与主流大模型广泛采用单位超球面余弦相似度（Cosine Similarity），单位球非线性归一化带来的紧算子结构畸变尚待更具针对性的数学分析。
优化动力学未解：本文专注统计逼近论与假设空间表达界，并未探究一阶梯度优化方法（如 SGD / AdamW）在非凸非凹对比损失曲面上能否在多项式时间内收敛到最优奇异特征。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次完整建立基于 PMI 紧算子谱展开的双塔内积逼近论与密度比低噪声校准]
实验充分度: ⭐⭐⭐⭐ [提供理论完全对应的解析合成实验与数值谱分析，但缺少大规模实际基准评测]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严密精炼，泛函分析与学习理论工具结合自洽，结构层次清晰]
价值: ⭐⭐⭐⭐⭐ [为对比学习理论奠定了关键的逼近论拼图，对多模态双塔网络架构容量设计具有理论指导意义]

维度 \(D\)	谱尾和 \(\sum_{i>D} \lambda_i\)	谱截断对比逼近误差	MLP \(L_2\) 逼近距离	MLP 对比超额风险逼近误差
\(D=1\)	\(4.902 \times 10^{-1}\)	\(3.808 \times 10^{-2}\)	\(3.763 \times 10^{-1}\)	\(9.941 \times 10^{-3}\)
\(D=2\)	\(1.397 \times 10^{-2}\)	\(9.984 \times 10^{-4}\)	\(4.607 \times 10^{-2}\)	\(4.616 \times 10^{-4}\)
\(D=4\)	\(6.822 \times 10^{-4}\)	\(5.638 \times 10^{-5}\)	\(3.952 \times 10^{-3}\)	\(1.877 \times 10^{-5}\)
\(D=8\)	\(6.165 \times 10^{-6}\)	\(5.587 \times 10^{-7}\)	\(1.529 \times 10^{-3}\)	\(9.188 \times 10^{-6}\)

模型假设类别	表示维度 \(D\)	锚点编码器参数量 \(L_1 \cdot N_1\)	目标编码器参数量 \(L_2 \cdot N_2\)	伪维度复杂度 \(\widetilde{\mathtt{PD}}\)
通用连续情形 (General Case)	\(\epsilon^{-\frac{\min\{d_1, d_2\}}{2\beta}}\)	\(\epsilon^{-(4+\frac{2d_1}{d_2})\frac{\min\{d_1, d_2\}}{8\beta}}\)	\(\epsilon^{-(4+\frac{2d_2}{d_1})\frac{\min\{d_1, d_2\}}{8\beta}}\)	\(\widetilde{O}\left(\epsilon^{-\frac{\min\{d_1, d_2\} + d_1 + d_2}{2\beta}}\right)\)
潜在类别模型 (LCGM)	\(K\) (常数)	\(\log^2 \frac{1}{\epsilon}\) (对数)	\(\epsilon^{-\frac{d_2}{4\beta}}\) (多项式)	\(\widetilde{O}\left(\epsilon^{-\frac{d_2}{2\beta}}\right)\)