Uncertainty-Aware Probabilistic Constrained Clustering from Entangled Pairwise Supervision¶

会议: NeurIPS 2026
arXiv: 2608.12027
代码: https://github.com/shaojiezhang/ECI-PP
领域: 学习理论
关键词: 约束聚类, 概率成对监督, 不确定性建模, 角度约束嵌入, 估计-校正-集成框架

一句话总结¶

针对现实成对监督中内在偶然模糊性、专家认知偏差与随机记录噪声纠缠的难题，本文提出不确定性感知概率约束聚类（UPCC）形式化表征、建立角度空间成对目标 ProbPair，并构建估计器-校正器-集成器（ECI-PP）迭代框架，显著超越现有深度约束聚类 SOTA。

研究背景与动机¶

聚类分析是无监督发现数据结构的核心方法，但无监督目标往往与具体领域知识存在先验偏差，因此成对约束聚类（Constrained Clustering, CC）引入成对先验以引导表征学习。近年来，深度约束聚类（DCC）发展出端到端伪分类与深度约束嵌入两大范式，后者将成对关系映射到角度（超球面）空间，在很大程度上缓解了硬正负锚点的优化冲突。然而，现有 DCC 方法的监督设定大多高度理想化：它们普遍假设成对监督是确切的二元硬标签（Must-Link 与 Cannot-Link），即使接受连续实值，也仅将标签作为数值权重或启发式惩罚，缺乏对连续关系背后不确定性机制的语义建模。

在现实场景（如临床病例对比或主观标注）中，成对监督往往呈现连续实值，并且深度纠缠了三重本质不同的不确定性来源：数据内在固有的偶然模糊性（Aleatoric Ambiguity，如两种相似疾病本身的临床特征重叠）、受标注专家知识背景与样本特征共同调控的认知判断偏差（Epistemic Judgment，如资浅医生系统性高估相似度），以及记录或数据传输过程中偶发的随机损毁（Stochastic Corruption，如录入笔误）。现有带噪约束聚类方法通常仅假设均匀翻转或依赖全局混淆矩阵，既无法处理连续实值，也无法解耦专家异质性与样本依赖的系统性畸变。直接使用高容量深度网络拟合此类纠缠标签，极易将认知偏差与随机噪声强行吸收到潜空间几何中，导致表征结构严重畸变。

面对这种内在模糊性、专家认知偏差与随机破坏相互混杂的现实挑战，关键难题在于如何从单次观测的纠缠标签中分离出数据本身的客观关系，并防止网络对噪声自确认过拟合。核心 idea：将观测过程显式分解为规范偶然关系、专家认知扰动与随机损毁三重阶段并证明其条件可辨识性；进而构建包含非共享交叉拟合估计器（Estimator）、概率空间结构化校正器（Corrector）与可靠性感知集成器（Integrator）的 ECI-PP 框架，通过样本外信念校正系统偏差、过滤残差破坏，迭代精炼出逼近真实偶然共类的代理监督。

方法详解¶

整体框架¶

ECI-PP 面向含有专家索引的连续成对观测集合 \(\mathcal{C}=\{(a_i,b_i,e_i,y_i)\}_{i=1}^{|\mathcal{C}|}\)，其中 \(y_i\in[0,1]\)。系统首先建立基于余弦相似度的角度概率读出模型 ProbPair 作为基础表示学习目标。为了避免单个网络在有偏监督上自我强化与过拟合，ECI-PP 将训练过程分为三个协同角色：\(K\) 折交叉拟合的 Estimator 负责生成不受自身训练样本污染的样本外模型信念 \(\hat{y}_i^{\text{oof}}\)；专属于各专家的轻量 Corrector 结合成对描述子预测概率空间的系统性均值偏移 \(\hat{\Delta}_i\)；Integrator 计算校正后的未解释残差作为可靠性筛选权重 \(w_i\)，将先验观测与校正信号通过贝叶斯置信融合为高质量代理标签 \(y_i^{\text{BC}}\)，并以此更新主表征。Integrator 的输出再反馈回 Estimator 展开有限轮迭代精炼，最终在 Integrator 学习到的归一化嵌入空间上执行聚类。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    IN["纠缠成对监督<br/>(x_a, x_b, e, y)"] --> DEC["决断度加权与K折划分<br/>计算KL决断度权重 κ_i"]
    DEC --> EST["折内无交互交叉拟合<br/>非共享估计器生成样本外信念 y_oof"]
    EST --> COR["专家专属概率空间校正<br/>轻量MLP预测结构化系统偏差 Δ_hat"]
    COR --> SCR["残差可靠性筛查与贝叶斯置信融合<br/>计算未解释gap与权重 w_i，融合生成代理标签 y_BC"]
    SCR --> INT["集成器表征学习与聚类划分<br/>最小化ProbPair损失，反馈精炼或K-means输出"]
    INT -.->|反馈 y_int 与 w_i 迭代精炼| EST

关键设计¶

1. 基础表示学习与角度空间概率读出：消除硬二元锚点崩溃并保留连续关系强度

针对传统 DCC 采用分类交叉熵导致锚点未对齐、或二元度量学习将特征强行坍缩为两极的问题，本文提出直接在角度空间建模连续概率关系的 ProbPair。编码器 \(f_\psi\) 将样本映射至潜空间 \(z_j=f_\psi(x_j)\)，利用有界余弦相似度构建概率读出层：

\[\hat{y}_{ab} = \sigma\left(\frac{\cos(z_a, z_b) - m}{T}\right) \in (0,1)\]

其中 \(m\in\mathbb{R}\) 与 \(T>0\) 分别为可学习的工作点与锐度参数。成对损失函数采用连续伯努利交叉熵：

\[\mathcal{L}_{\text{PP}} = -\frac{1}{|\mathcal{C}|}\sum_{i=1}^{|\mathcal{C}|} \left[ y_i \log \hat{y}_{a_i b_i} + (1-y_i) \log(1 - \hat{y}_{a_i b_i}) \right]\]

同时配合从 \(\ell_2\) 归一化潜向量解码的自编码重构损失 \(\mathcal{L}_{\text{rec}}\)，防止隐空间发生退化并保留数据的全局几何拓扑。在初始 Warm-up 阶段，算法根据观测值相对于全局均值 \(\bar{y}\) 的 KL 散度构造决断度权重 \(\kappa_i\)，使模型优先吸收高确信度的标注，稳定初始空间。

2. 折内无交互交叉拟合：阻断高容量网络对含噪监督的自确认与过拟合

高容量深度模型极易在训练集上将随机标签损坏或局部偏置强行拟合，导致由自身预测产生的关系评估失去参考价值。借鉴双重/去偏机器学习（Debiased Machine Learning）的思想，ECI-PP 将约束集划分为 \(K\) 个不相交子集 \(\{\mathcal{C}^{(k)}\}_{k=1}^K\)，实例化 \(K\) 个完全独立的 Estimator 副本 \(\text{Est}^{(k)}\)。每个副本仅在排除了 \(\mathcal{C}^{(k)}\) 的子集上训练，随后仅对留出的 \(\mathcal{C}^{(k)}\) 预测关系值，拼合为完整的样本外置信度序列 \(\{\hat{y}_i^{\text{oof}}\}_{i=1}^{|\mathcal{C}|}\)。这种样本外机制在结构上阻断了高容量网络将训练集中的随机损坏作为先验“自我证实”的通道，为后续识别专家的系统性偏差提供了纯净的模型侧参照。

3. 专家专属概率空间校正：低维流形匹配消除可预测认知畸变

根据本文建立的理论观测模型，专家评定在 logit 空间受系统性偏移 \(m_e(\phi_{ab})\) 影响，但实际训练若在未有界 logit 空间回归，在 0 与 1 附近微小的概率扰动会导致极大的梯度动荡。因此，校正器选择在概率空间拟合残差 \(\Delta_i = \hat{y}_i^{\text{oof}} - y_i\)。对于专家 \(e\)，构建轻量双层 MLP 模块 \(\text{Cor}_e = q_{\nu_e}\)，输入为特征交互描述子 \(\phi_i = [x_{a_i} \odot x_{b_i}; |x_{a_i} - x_{b_i}|]\) 与模型信念 \(\hat{y}_i^{\text{oof}}\)，以 Huber 损失结合 \(\ell_2\) 正则项进行优化：

\[\mathcal{L}_{\text{cor}}^{(e)} = \frac{1}{|\mathcal{I}_e|} \sum_{i\in\mathcal{I}_e} \left[ \rho(\hat{\Delta}_i - \Delta_i) + \lambda_{\text{cor}} |\hat{\Delta}_i|^2 \right]\]

由于校正器容量故意设计得远小于表征主干，它只能捕捉跨样本可复现的专家系统性偏差，而无法过度拟合随机扰动，从而平滑滤除标注者的认知倾向。

4. 残差可靠性筛查与贝叶斯置信融合：软裁剪边界下的抗损毁监督精炼

在获得校正预测后，关系值经过软平滑截断映射到开区间：\(y_i^{\text{cor}} = \text{softclip}_\xi(y_i + \hat{\Delta}_i)\)。由于校正后依然可能残留不可预测的均匀随机损毁或模型拟合误差，系统定义残差间隙 \(\text{gap}_i = |\text{softclip}_\xi(\hat{y}_i^{\text{oof}}) - y_i^{\text{cor}}|\)，并将其转化为敏感度可调的可靠性权重 \(w_i = (1 - \text{gap}_i)^\gamma\)。当未解释的间隙极大时，该样本权重急剧衰减。随后，将原始观测 \(y_i\) 视作固定先验，校正值作为证据强度为 \(n_i = n_0 w_i\) 的新观测，执行共轭式的贝叶斯置信融合：

\[y_i^{\text{BC}} = \frac{y_i + n_i y_i^{\text{cor}}}{1 + n_i}\]

Integrator 最终以加权损失 \(w_i \mathcal{L}_{\text{PP}}(y_i^{\text{BC}}, \hat{y}_i)\) 进行优化。通过将 Integrator 产生的新关系预测 \(y_i^{\text{int}}\) 与 \(w_i\) 反馈回 Estimator 进行周期性再训练，整个系统实现了从粗糙纠缠监督向真实偶然共类关系的单向渐进逼近。

损失函数 / 训练策略¶

系统总损失由带权 ProbPair 损失与自编码重构损失构成：\(\mathcal{L} = \mathcal{L}_{\text{PP}} + \lambda_{\text{rec}} \mathcal{L}_{\text{rec}}\)。在预训练和 Warm-up 阶段（\(N_{\text{wu}}\) 轮），Estimator 采用决断度加权 \(\kappa_i\)；进入迭代精炼阶段（共 \(N_{\text{ep}}\) 轮），Integrator 将其生成的嵌入关系 \(y_i^{\text{int}}\) 作为新的监督目标反馈给各个 Estimator，带动 Corrector 重新拟合，动态更新 \(w_i\) 和 \(y_i^{\text{BC}}\)。全阶段超参数保持全局统一默认配置：\(K=5\) 折交叉拟合，Corrector 网络维度 64–16，\(\lambda_{\text{cor}}=0.5\)，\(\gamma=10\)，\(n_0=10\)，\(\xi=20\)，\(\lambda_{\text{rec}}=0.02\)。

实验关键数据¶

主实验¶

主实验在 6 个图像基准和 2 个文本基准上进行，对比了基础概率对数损失模型（VanillaDCC）、显式噪声混淆矩阵模型（VolMaxDCC）、前沿端到端 DCC（CIDEC）以及前沿角度度量学习 SOTA（SpherePair）。监督设定采用单专家低标注量（lv0.01）与三专家异质混合（multi3），均注入概率为 0.3 的均匀随机损毁，总约束量固定为 9k 条。

数据集	指标	ECI-PP (本文)	SpherePair (前沿SOTA)	VolMaxDCC (带噪SOTA)	相对 SpherePair 提升
CIFAR100-20 (单专家 lv0.01)	ACC (%)	52.9	50.5	45.9	+2.4%
CIFAR100-20 (单专家 lv0.01)	NMI (%)	49.9	44.2	46.1	+5.7%
CIFAR100-20 (单专家 lv0.01)	ARI (%)	36.5	32.6	30.5	+3.9%
CIFAR10 (单专家 lv0.01)	ACC (%)	87.8	85.7	82.5	+2.1%
CIFAR10 (单专家 lv0.01)	NMI (%)	79.1	74.1	72.2	+5.0%
ImageNet10 (单专家 lv0.01)	ACC (%)	93.1	89.1	88.1	+4.0%
ImageNet10 (单专家 lv0.01)	NMI (%)	88.5	79.2	79.2	+9.3%
Reuters (单专家 lv0.01)	ACC (%)	86.6	81.8	76.8	+4.8%
Reuters (单专家 lv0.01)	NMI (%)	64.4	56.3	43.4	+8.1%
STL10 (多专家 multi3)	ACC (%)	87.7	71.4	71.1	+16.3%
STL10 (多专家 multi3)	NMI (%)	78.5	59.7	69.9	+18.8%
Reuters (多专家 multi3)	ACC (%)	89.6	69.9	68.0	+19.7%
Reuters (多专家 multi3)	NMI (%)	68.7	37.2	46.5	+31.5%
CIFAR100-20 (多专家 multi3)	ACC (%)	48.8	44.4	42.5	+4.4%
CIFAR100-20 (多专家 multi3)	NMI (%)	48.5	41.5	43.8	+7.0%

消融实验¶

消融实验在具有代表性的大类别图像基准（CIFAR100-20）和长尾文本基准（Reuters）上进行，评估 ECI 核心组件在 multi3 异质设定（损毁率 0.3，9k 约束）下的作用：

配置	CIFAR100-20 ACC (%)	CIFAR100-20 NMI (%)	CIFAR100-20 ARI (%)	Reuters ACC (%)	Reuters NMI (%)	Reuters ARI (%)
ECI-PP (完整模型)	49.1 ± 0.9	48.1 ± 0.6	33.5 ± 0.6	89.5 ± 1.1	69.7 ± 2.3	76.5 ± 2.5
1-pass ECI (单轮无反馈)	48.8 ± 1.2	47.7 ± 0.6	33.4 ± 0.9	87.9 ± 0.4	65.5 ± 0.6	73.2 ± 0.9
w/o 筛查 (去掉可靠性权重 \(w_i\))	45.8 ± 1.9	45.7 ± 0.7	30.6 ± 1.3	88.1 ± 1.6	68.0 ± 2.0	74.5 ± 3.1
w/o 校正器 (去掉 Corrector 模块)	48.2 ± 1.5	46.3 ± 0.6	31.9 ± 1.2	85.7 ± 0.8	61.0 ± 1.9	67.7 ± 1.8
w/o 交叉拟合 (使用单模型自身预测)	45.8 ± 2.5	42.1 ± 1.1	28.4 ± 1.7	81.6 ± 2.2	53.5 ± 3.7	60.4 ± 3.9
Weighted ProbPair (纯基线加权)	46.4 ± 1.9	43.2 ± 0.6	28.4 ± 1.0	83.7 ± 4.0	59.2 ± 3.8	65.0 ± 5.7

关键发现¶

交叉拟合机制是框架稳定性的基石：在消融实验中，去掉 Cross-fitting（即允许模型在自身训练过的样本上提取信念）引发了最剧烈的性能暴跌，在 Reuters 上的 NMI 从 69.7% 跌落至 53.5%（下降 16.2%），在 CIFAR100-20 上跌落 6.0%。这证实了强容量模型对有偏噪声的“自我确认（self-confirmation）”是误导表征几何的头号元凶。
异质专家环境下的优势更显著：在多专家存在盲区（multi3）的情况下，SpherePair 等传统几何度量模型由于缺乏专家层面的畸变校正，其聚类性能严重退化，而 ECI-PP 在多专家 STL10 和 Reuters 上的 NMI 相比 SpherePair 产生了高达 18.8% 和 31.5% 的绝对优势，说明将异质偏置隔离在轻量级校正器中极具必要性。
真实人类不确定性下的泛化能力：在 CIFAR-10H 真实人类软标注数据集中，ECI-PP 在无预训练的情况下达到了 87.1% ACC、78.1% NMI 和 75.3% ARI，持续领先所有无预训练对比基线，证明模型对于脱离纯数学模拟的真实复杂不确定性同样具有极强鲁棒性。

亮点与洞察¶

首个形式化解耦三重成对不确定性的理论框架：将模糊标注严格划分为客观规范关系（Aleatoric）、专家主观判断（Epistemic）与系统偶发破坏（Stochastic），并严谨给出了在可观测集合上的条件可辨识性充要条件，为连续约束聚类奠定了理论基石。
解耦的“估计-校正-集成”三阶段协同设计：利用大模型折内交叉预测防自拟合、轻量小模型匹配专家偏置防过参数化、贝叶斯置信与非线性截断过滤残差噪声，以工程可行的代理机制替代了极其棘手的全联合概率后验推断。
免调参的全局稳健性：在涵盖图像、长文本、极端类别不平衡和真实人类标注的 9 个基准测试中，无需针对特定数据集调整超参数即可稳定取得最优性能，具备极高的实际落地复用价值。

局限与展望¶

依赖单对特征描述子的局部校正：当前 Corrector 的输入 \(\phi_{ab}\) 仅为简单的逐元素乘积与差值绝对值，对于高阶非线性交互或复杂流形拓扑的偏置表征能力受限。
稀疏专家场景下的参数估计方差：若专家数量极多但每位专家标注的对数过少（\(|\mathcal{I}_e|\) 过小），独立训练的 Corrector 容易欠拟合；未来可通过构建专家共享表征与层级贝叶斯部分池化（Partial Pooling）加以改进。
理论辨识性与单次观测估计之间的代数落差：定理 3.5 证明的条件可辨识性基于无限大样本极限下的分布匹配，而实际框架采用的是代理残差回归与经验启发式筛选，两者的数学桥梁未来值得进一步严密化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出连续概率成对约束聚类（UPCC）并完成规范偶然关系的可辨识性理论证明与体系化解耦。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 8 个通用图文基准与 CIFAR-10H 人类标注集，提供系统的消融、内部收敛诊断及免预训练对比。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰，理论推演详尽规范，从严谨测度论建模到工程代理方案的过渡逻辑极为自然。
价值: ⭐⭐⭐⭐⭐ 彻底打破了约束聚类长期局限于二元硬标签的理想化假设，对医疗、金融等存在高度主观不确定性的弱监督挖掘极具启发。