Rethinking Learning from Label Proportions via Moment Matching¶
会议: NeurIPS 2026
arXiv: 2610.21262
OpenReview: https://openreview.net/forum?id=BjxyNdu4tO
代码: https://github.com/TianhaoMa5/LLP-MM
领域: 其他
关键词: 标签比例学习, 泊松多项分布, 矩匹配, 弱监督学习, 状态压缩动态规划
一句话总结¶
针对非随机结构化分组下标签比例学习的理论缺陷与优化困境，本文揭示了包级标签统计服从泊松多项分布（PMD），提出利用多阶阶乘矩匹配训练分类器的高效框架 LLP-MM，在规避指数复杂度似然计算的同时实现渐进紧致的解空间约束。
研究背景与动机¶
在隐私保护计算、计算广告点击聚合以及区域选举民调等诸多实际场景中，获取实例级精细标注往往受制于严格的合规性与高昂成本，促使弱监督学习分支中的标签比例学习（Learning from Label Proportions, LLP）备受关注。传统 LLP 方法普遍建立在“随机包生成假说”之上，即假设所有样本从联合分布独立同分布采样后被均匀随机划分到各个数据包中。然而现实世界的数据包几乎都具备内生关联结构，例如同选区选民因地理与人口统计特征呈现行为相关性，广告系统按用户群体属性进行分桶聚合。现有基线在面对此类基于特征聚类或特定先验划分的“结构化包”时，性能急剧退化，部分无偏风险估计方法甚至因经验损失出现负值而陷入严重的单类别塌陷。
结构化包带来的核心矛盾在于：包内样本不再满足同分布与均匀无偏性质，但若直接引入包级似然进行极大似然估计（MLE），标签计数的概率模型会退化为条件独立的非同分布分类求和——即泊松多项分布（Poisson Multinomial Distribution, PMD）。PMD 的精确似然计算复杂度随类别数呈指数爆炸增长（即便最先进的算法复杂度亦达 \(\mathcal{O}(m^{q-1}\log m)\)），在常见的多分类与大包尺寸下完全不可行；而广为流传的均值比例匹配方法（Proportion Matching, PM）仅利用了一阶统计量，无法刻画样本间的非同分布协方差结构。
针对该难题，研究者们转换了思路：既然全概率似然计算不可逾越，但统计矩却能绕过排列枚举。本文发现包级类别计数的任意阶阶乘矩均可直接从观测到的包标签比例中通过降阶乘解析求解，从而构建出兼顾丰富统计结构与多项式可解性的矩匹配目标。核心 idea：将结构化包设定下的包级标签统计建模为泊松多项分布（PMD），规避指数复杂度的极大似然估计，提出多阶阶乘矩匹配框架（LLP-MM），通过状态压缩动态规划高效对齐分类器诱导矩与观测比例导出的阶乘矩，以多阶矩约束渐进紧致化贝叶斯最优解空间。
方法详解¶
整体框架¶
LLP-MM 的核心思想是建立从已知包级标签比例向量到理论多阶阶乘矩的解析映射，并让神经网络分类器在无实例真值的情况下，使其在包内样本上诱导的高阶联合预测矩逼近该目标矩。输入为包含 \(m\) 个无标签实例的结构化数据包 \(\mathbf{B}=(x_1,\dots,x_m)\) 及其对应的类别比例向量 \(\bm{\alpha} \in \Delta^{q-1}\)。模型通过神经网络映射输出每个实例的类别概率分布 \(p_j = \bm{f}(x_j)\)。在损失计算阶段，框架同时在比例端与预测端构造 \(1\) 至 \(s\) 阶归一化阶乘矩张量，借助多元母函数的状态压缩动态规划算法，将高维张量降维至多重态直方图空间，最后计算多阶交叉熵/均方误差损失以端到端更新网络参数。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：结构化数据包 B 与观测类别比例 α"] --> B["PMD 视角与闭式阶乘矩导出<br/>根据观测比例解析计算 target 阶乘矩"]
A --> C["分类器概率预测<br/>网络输出实例后验 pj = f(xj)"]
C --> D["状态压缩动态规划<br/>母函数递推计算预测矩的压缩多重态"]
B --> E["多阶矩匹配约束紧致化<br/>逐阶多重态分布对齐与多任务联合优化"]
D --> E
E --> F["输出：逼近 Bayes 最优的实例级分类器 f*"]关键设计¶
1. PMD 视角与闭式阶乘矩导出：从标签比例精确提取高阶统计信息
传统方法在处理非随机包时缺乏概率分布层面的理论支撑，单纯最小化均值误差会丢失类别间共现等高阶约束。本文证明，在给定数据包 \(\mathbf{B}\) 的条件下，虽然样本特征之间存在依赖，但标签序列条件独立，包级标签计数向量 \(\bm{z} = m\bm{\alpha} = \sum_{j=1}^m \bm{e}^{y_j}\) 服从泊松多项分布（PMD）。为此，框架引入归一化 \(r\) 阶阶乘矩张量： $$ \widehat{\mathbf{M}}^{(r)}{\bm{\alpha}} := \frac{1}{(m)r} \sum{(j_1,\dots,j_r)\in[m] $$ 其中 }^r} \bm{e}^{y_{j_1}} \otimes \cdots \otimes \bm{e}^{y_{j_r}\((m)_r = m(m-1)\cdots(m-r+1)\) 为降阶乘，\([m]_{\neq}^r\) 表示无重复索引的有序 \(r\) 元组。关键突破在于，虽然未观测到单个实例标签，但利用指示函数的排列组合性质，该阶乘矩张量的任意条目完全可由观测比例 \(\bm{\alpha}\) 闭式写出。对于任意类别索引元组 \((i_1,\dots,i_r)\)，设 \(k_c\) 为类别 \(c\) 在该元组中出现的重数，则该张量位置的理论值为： $$ \left[\widehat{\mathbf{M}}^{(r)}{\bm{\alpha}}\right]{(m)} = \frac{m^rr} \prod\right) $$ 这一设计使任意高阶真实矩完全无需排列采样或伪标签近似，实现了零方差的闭式真值重构，涵盖了一阶比例匹配（}^q \prod_{t=0}^{k_c-1} \left(\alpha_c - \frac{t}{m\(r=1\) 时即为 \(\bm{\alpha}\)）并无缝外推至更高阶。
2. 状态压缩动态规划：多重态空间聚合规避指数级张量展开
若直接在网络预测端计算分类器诱导矩 \(\widehat{\mathbf{M}}^{(r)}_{\bm{f}}(\mathbf{B}) = \frac{1}{(m)_r} \sum_{[m]_{\neq}^r} p_{j_1}\otimes\cdots\otimes p_{j_r}\)，其张量尺寸为 \(q^r\)，当类别数 \(q=100\)、阶数 \(r=3\) 时包含百万量级元素，显存与计算开销不可承受。作者发现，由于阶乘矩具有完全置换对称性，所有具有相同类别多重态向量 \(\bm{k} = (k_1,\dots,k_q)\)（满足 \(\sum_{c=1}^q k_c = r\)）的张量位置数值严格相等。因此，可以将全量张量压缩至状态空间 \(\mathcal{K}_{q,r}\)，其状态数仅为组合数 \(N_r = \binom{q+r-1}{r}\)。
为了高效递推得到各状态系数，算法定义了截断多元母函数 \(G_t(u_1,\dots,u_q) = \prod_{j=1}^t (1 + \sum_{c=1}^q p_{j,c} u_c)\)，并设计了前向动态规划状态转移方程： $$ A_t^{(d)}(\bm{k}) = A_{t-1}^{(d)}(\bm{k}) + \sum_{c: k_c > 0} p_{t,c} A_{t-1}^{(d-1)}(\bm{k} - \bm{e}^c) $$ 通过该递推式，在处理完包内所有 \(m\) 个样本后，单包计算最高 \(s\) 阶全部矩的时间复杂度大幅压降至 \(\mathcal{O}\left(mq\binom{q+s}{s}\right)\)，空间复杂度仅为 \(\mathcal{O}\left(\binom{q+s}{s}\right)\)。在 CIFAR-10 上即使取 \(s=8\)，也能在毫秒级内完成单包前向与梯度回传。
3. 多阶矩匹配约束紧致化：多尺度联合对齐渐进逼近贝叶斯最优
低阶统计量往往对应极其广阔的非凸解空间，导致模型容易陷入过拟合于包均值的伪最优解。理论层面，本文给出了严密证明：在假说空间包含贝叶斯最优分类器 \(\bm{f}^*\) 且使用严格分类校准损失时，多阶矩极小化解集满足单调嵌套性： $$ \mathcal{F}{\mathrm{MM}}^{(s_2)} \subseteq \mathcal{F}, \quad \forall 1 \le s_1 < s_2 \le m $$ 这意味着每增加一阶矩约束，解空间便受到进一步剪枝与紧致化，逼近唯一的 }}^{(s_1)\(\bm{f}^*\)。同时，在样本坐标可交换的条件下，给出了基于向量收缩不等式的 Rademacher 复杂度泛化界，证明多阶加权误差的上界能够以 \(\mathcal{O}(1/\sqrt{n})\) 随包数量收敛。该机制从数学上解释了高阶矩在应对不同包划分偏置时的优异泛化性与鲁棒性。
损失函数 / 训练策略¶
定义归一化张量在展平后等价于多重态上的概率分布，LLP-MM 采用多阶离散分布距离作为联合训练目标。对于阶数 \(r \in \{1,\dots,s\}\)，使用交叉熵（或均方误差）度量经验阶乘矩分布 \(\widehat{\mathbf{M}}^{(r)}_{\bm{\alpha}}\) 与模型预测诱导矩分布 \(\widehat{\mathbf{M}}^{(r)}_{\bm{f}}(\mathbf{B})\) 之间的差异： $$ \mathcal{L}{\mathrm{MM}}^{(s)}(\bm{f}) = \sum}^s \lambda_r \mathcal{L}^{(r)}\left(\widehat{\mathbf{M}}^{(r){\bm{\alpha}}, \widehat{\mathbf{M}}^{(r)})\right) $$ 实验中权重均等分配，即 }}(\mathbf{B\(\lambda_r = 1/s\)。在实际优化配置上，CIFAR-10 设定最高阶数 \(s=8\)；对于细粒度或大类别数数据集 CIFAR-100 与 miniImageNet，设定 \(s=3\) 以在计算性能与收敛速度间取得平衡。网络采用标准 SGD（动量 0.9，权重衰减 0.0005），学习率设置 0.05，配合 8% 步数的线性预热及余弦退火策略。
实验关键数据¶
主实验¶
在合成基准评估中，涵盖 CIFAR-10、CIFAR-100 以及 miniImageNet，测试了三种包构造机制：Random Bag（随机均匀分配）、Cluster Bag（基于特征聚类的狄利克雷分布抽取，真实模拟同类/同特征聚集）和 \(\bm{\alpha}\)-First Bag（先采样比例后抽取样本）。包大小设定为 \(m \in \{16, 32, 64, 128\}\)。下表展示了在极具挑战的非随机结构化场景（Cluster Bag）下各种代表性方法的测试准确率对比（%）：
| 数据集 | 指标 | LLP-MM (本文) | LLP-FC (Prev. SOTA) | PM (经典基线) | ROT (最优传输) | 表现分析 |
|---|---|---|---|---|---|---|
| CIFAR-10 (\(m=32\)) | Test Acc (%) | 92.33 ± 0.10 | 39.49 ± 0.69 | 91.29 ± 0.11 | 92.05 ± 0.10 | 领先次优 0.28%，大幅领先噪声修正方法 |
| CIFAR-10 (\(m=64\)) | Test Acc (%) | 89.12 ± 0.43 | 34.29 ± 0.19 | 86.30 ± 0.45 | 87.14 ± 0.15 | 优势扩大至 1.98%，大包下抗退化能力显著 |
| CIFAR-10 (\(m=128\)) | Test Acc (%) | 75.19 ± 2.14 | 72.65 ± 1.04 | 72.94 ± 1.64 | 59.96 ± 2.21 | 极大包尺寸下唯一维持在 75%+ 水平 |
| CIFAR-100 (\(m=32\)) | Test Acc (%) | 67.89 ± 0.67 | 66.59 ± 0.50 | 66.21 ± 0.68 | 66.68 ± 0.28 | 100类结构化包下稳定领先 1.2%~1.6% |
| CIFAR-100 (\(m=64\)) | Test Acc (%) | 58.84 ± 0.65 | 58.44 ± 1.02 | 57.78 ± 0.72 | 48.45 ± 0.12 | 领先次优 0.40%，而 ROT 下降至 48.45% |
| miniImageNet (\(m=32\)) | Test Acc (%) | 59.65 ± 0.97 | 56.41 ± 0.61 | 56.37 ± 0.10 | 58.16 ± 0.87 | 领先次优 baseline 1.49 个百分点 |
| miniImageNet (\(m=64\)) | Test Acc (%) | 45.91 ± 1.63 | 44.26 ± 1.01 | 44.06 ± 1.78 | 33.94 ± 1.89 | 复杂视觉场景中鲁棒性最佳 |
在全部 9 组（3 数据集 × 3 包生成机制）综合平均排名中，LLP-MM 在所有设定下均斩获平均准确率 Rank 1。
消融实验¶
为了验证多阶矩参数 \(s\) 的有效性与高阶监督的增益，下表给出了在半真实场景——13 类外周血细胞数据集 KU-Optofil PBC（以患者真实 ID 分组构包，平均包大小 104.98）上的消融实验结果（%）：
| 配置 / 阶数 | Accuracy ↑ | Macro-F1 ↑ | Balanced Acc ↑ | Weighted-F1 ↑ | 阶数提升影响说明 |
|---|---|---|---|---|---|
| PM (\(s=1\), 一阶均值) | 77.35 ± 13.10 | 29.11 ± 10.74 | 32.70 ± 10.01 | 74.46 ± 15.73 | 方差极大，出现严重漏检罕见细胞类别 |
| LLP-MM (\(s=3\)) | 91.88 ± 1.20 | 51.79 ± 5.80 | 53.23 ± 7.41 | 91.88 ± 0.48 | 引入二/三阶共现约束后 Macro-F1 跃升 +22.68% |
| LLP-MM (\(s=5\)) | 93.40 ± 0.84 | 66.40 ± 2.22 | 69.81 ± 0.91 | 94.20 ± 0.55 | 解空间进一步紧致，稀有类召回率全面改善 |
| LLP-MM (\(s=8\)) (完整) | 93.93 ± 0.58 | 69.75 ± 1.47 | 70.73 ± 2.74 | 94.57 ± 0.22 | Macro-F1 达到最优，显著超越次优 SOTA (58.42%) |
| LLP-PVC (对比基线) | 92.82 ± 1.94 | 58.42 ± 4.31 | 61.63 ± 4.27 | 91.58 ± 2.33 | 二分类 OVA 分解难以应对不平衡多分类 |
| ROT (对比基线) | 94.05 ± 0.65 | 56.11 ± 7.56 | 56.82 ± 7.74 | 93.35 ± 1.17 | 虽整体 Acc 略高但平衡度不足 |
关键发现¶
- 阶数的边际效益递减规律：从 \(s=1\) 增加至 \(s=3\) 和 \(s=5\)，模型性能呈现爆发式提升，证实高阶协方差与多阶矩信息对于破除包内样本混淆至关重要；当阶数进一步升至 \(s \ge 8\) 后，性能趋于平稳，而计算开销随阶数呈多项式增长。因此在工业部署中，选择 \(s=3\) 或 \(s=5\) 即可在计算与精度之间获得最佳折中。
- 结构化包下传统理论基线的缺陷：以 EasyLLP 和 GeneralUPM 为代表的经典无偏风险估计方法在 Cluster Bag 设定下频繁崩塌为单类别输出（准确率跌至 10.86% 与 0.90%），其根本原因在于这些方法严重依赖均匀随机抽样假设来推导无偏损失权重，一旦样本分布与包分组存在非随机相关性，经验损失即出现剧烈负值导致发散。
- 与生成对抗模型的正交兼容性：在结合 GAN 的表征学习实验中，将原版 LLP-GAN 的一阶匹配损失直接替换为 8 阶矩匹配目标（MM+GAN），在 CIFAR-10 的所有 12 组测试场景中均取得持续增益，平均提升幅度达数个百分点，最高涨幅达 13.37%。
亮点与洞察¶
- 将复杂的弱监督似然计算降维为解析矩匹配：避开了传统对离散隐变量或排列空间进行 MCMC 采样与动态规划求和的巨大开销，利用降阶乘的组合恒等式直接从包比例向量中解析计算任意阶阶乘矩真值，构思精巧且数学闭环严密。
- 母函数状态压缩在概率张量中的迁移运用：充分挖掘完全对称张量在置换群下的多重态不变性，用多项式母函数前向 DP 将计算复杂度从指数级 \(q^r\) 压制至组合数 \(mq\binom{q+s}{s}\)，使多阶矩联合优化在深度网络中具备端到端高效训练的实用价值。
- 打通了经典方法与高阶统计的理论脉络：不仅指出了沿用多年的 Proportion Matching（PM）仅是本文多阶框架在 \(s=1\) 时的特例，而且从数学上证明了高阶矩对可行解集合的逐级收缩效应，为弱监督学习算法设计提供了范式级参考。
局限与展望¶
- 类别扩展规模受限：尽管状态压缩使计算显著加速，但复杂度中依然包含组合项 \(\binom{q+s}{s}\)。当处理极端多分类任务（如 ImageNet-1K 或百万级词表）时，即便 \(s=3\) 计算代价依旧沉重，目前需限制在数十至数百类别场景。
- 样本条件独立假设的潜在违背：理论分析依赖“给定数据包时样本标签条件独立”的温和假定；在高度集成的时序关联、多细胞团簇微环境等强耦合场景中，包内实例标签可能存在隐式因果交互，未来需进一步扩展至马尔可夫或图相关结构。
- 自适应阶数与权重学习：当前实现中对所有阶数损失采取等权平均策略（\(\lambda_r = 1/s\)），未能根据训练进程动态调整各阶约束的侧重点，探索基于梯度方差或曲率的多阶动态加权机制是极具价值的改进方向。
相关工作与启发¶
- vs Proportion Matching (PM)：PM 仅匹配包内预测的算术平均与观测标签比例，等价于一阶矩约束。当数据包非随机聚集时，解空间极度欠定；LLP-MM 是一阶 PM 的严格高阶推广，引入高阶协方差消除模糊性。
- vs LLP-PVC (Proportional Value Classification)：LLP-PVC 采用 One-vs-Rest 策略将问题分解为多个二分类泊松二项分布，依赖 FFT 计算极小概率值容易出现浮点截断与舍入误差，且破坏了多类别的联合约束；LLP-MM 直接在全类别联合多项分布上进行多阶矩对齐，计算更稳定且全局一致。
- vs EasyLLP / GeneralUPM：无偏经验风险估计器在理论上要求随机包均匀独立同分布假设，遇到特征聚集包时经验损失常出现负值并引起模型崩溃；LLP-MM 基于 PMD 充分考虑了样本特异性条件概率，展现出对各类复杂包构造机制的高度鲁棒性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从泊松多项分布视角审视 LLP 并构建高阶阶乘矩匹配框架，解析矩与母函数 DP 构思极为出色。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 种基准、3 种构包机制、4 种包尺寸及真实病理细胞数据，与 10 余种代表性基线进行了细致对标。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰严谨，命题与泛化界完备，图表展现丰富直观。
- 价值: ⭐⭐⭐⭐⭐ 彻底打破了 LLP 领域长期对随机包假设的病态依赖，为弱监督学习及隐私计算中的统计对齐提供了通用理论工具。