CASL-VAE: Learning Structured Latent Variables from Unpaired Data for Semi-supervised Clustering and Paired Sample Generation¶

会议: NeurIPS 2026
arXiv: 2607.08254
OpenReview: https://openreview.net/forum?id=j3bc77a6Gn
论文: https://arxiv.org/abs/2607.08254
领域: 医学图像
关键词: 对比变分自编码器, 无配对数据, 结构化潜变量, 半监督聚类, 成对样本生成

一句话总结¶

针对临床与科学研究中缺乏配对观测且目标群体异质性强的难题，提出 CASL-VAE，通过解耦连续共有因子与包含离散亚型与连续亚型内因子的分层显著隐变量，在无配对数据下实现半监督聚类与跨域成对样本生成。

研究背景与动机¶

在临床医学、基因组学与神经影像学等领域，研究的核心往往在于刻画目标人群（如患病群体）相对于参考基准人群（如健康对照组）的特异性变异模式。然而，现有的对比分析与生成建模方法在无配对数据下进行跨域分析时面临三重核心阻碍：一是目标域的特异性病理变异通常与参考域固有的生理差异（如年龄、性别、个体解剖差异或扫描仪效应）严重纠缠，使得微弱的病理信号极易被背景生理噪声掩盖；二是目标人群内部通常具有高度的多模态异质性（Heterogeneity），不同患者可能属于不同的疾病亚型或病理阶段，标准模型缺乏层次结构去细分亚型；三是跨域配对数据（例如同一个体在完全健康状态与患病状态的同步配对影像）在现实中根本不可得，导致缺乏跨域对应的直接监督信号。

现有的对比分析（Contrastive Analysis, CA）和传统变分自编码器（VAE）方案大多仅学习平铺的连续显著特征，在面对微妙的多模态异质性时容易发生后验坍塌（Posterior Collapse），通常只能依赖后置聚类（Post-hoc Clustering），从而无法保证亚型的清晰分离与跨域生成的语义一致性。此外，单纯的深度聚类算法虽然能划分亚型，但往往只优化离散目标，无法学习到兼具可解释性与生成能力的紧致表征。

面对无配对数据下如何联合建模多模态亚型离散结构与连续变异的矛盾，本文的切入点是为生成模型引入显式的分层结构化归纳偏置，并通过后验解耦假定将跨域联合似然的变分下界转化为仅用无配对边际观测即可优化的目标。核心 idea：将隐空间显式解耦为捕捉跨域共性的连续共享隐变量与建模目标特异性异质性的分层显著隐变量（离散亚型类别与条件连续亚型内变异），并通过后验解耦正则化在无配对数据下逼近联合似然优化，实现无监督亚型发现与配对参考样本的跨域保真生成。

方法详解¶

整体框架¶

CASL-VAE 的核心任务是利用无配对的目标域样本 $X = \{x_i\}_{i=1}^{N_x}$ 和参考域样本 $Y = \{y_j\}_{j=1}^{N_y}$，构建端到端的生成式对比表示模型。模型由共有编码器 $e_{\phi_z}$、显著编码器 $e_{\phi_s}$ 以及加性解码器结构（共有解码器 $d_{\theta_z}$ 与显著解码器 $d_{\theta_s}$）组成。针对目标样本 $x$，共有编码器推断连续共有隐变量 $z$，显著编码器则推断分层显著隐变量 $s = (s_{\text{cat}}, s_{\text{cont}})$，其中 $s_{\text{cat}}$ 捕获离散亚型类别，$s_{\text{cont}}$ 捕获亚型内连续变异；针对参考样本 $y$，仅由共有编码器推断 $z$，而显著隐变量被硬性锚定在无信息的基准预设状态 $s' = (s'_{\text{cat}}=1, s'_{\text{cont}}=0)$。输入重建通过共有与显著解码器输出的线性相加完成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    InX["目标样本 x / 参考样本 y"] --> EncZ["共有编码器 e_ϕz<br/>推断共有隐变量 z"]
    InX -->|目标样本 x| EncS["分层显著编码器 e_ϕs<br/>离散亚型 s_cat 与连续变异 s_cont"]
    InX -->|参考样本 y| SetS["预设固定显著基准<br/>s'_cat = 1, s'_cont = 0"]
    EncZ --> DecZ["共有解码器 d_θz<br/>重构跨域共享背景"]
    EncS --> DecS["显著解码器 d_θs<br/>重构目标特异性病理偏离"]
    SetS --> DecS
    DecZ --> Add["加性融合解码<br/>x_hat = d_θz(z) + d_θs(s)"]
    DecS --> Add
    Add --> Out["域变分下界与跨域正则约束"]

关键设计¶

1. 分层显著隐变量分解：解耦亚型宏观类别与微观连续演进 针对传统对比 VAE 无法有效分离亚型多模态结构、易发后验坍塌的痛点，CASL-VAE 构建了分层的先验与变分后验体系。先验分布被分解为 $p(z, s_{\text{cat}}, s_{\text{cont}}) = p(z) p(s_{\text{cat}}) p(s_{\text{cont}} \mid s_{\text{cat}})$，其中共有变量遵循标准高斯先验 $p(z) = \mathcal{N}(0, I)$，离散显著变量遵循均匀分布 $p(s_{\text{cat}}) = \text{Uniform}(1, \dots, M)$，而连续显著变量以离散类别为条件遵循 $p(s_{\text{cont}} \mid s_{\text{cat}}) = \mathcal{N}(\mu_\psi(s_{\text{cat}}), I)$，其中 $\mu_\psi$ 为可学习的亚型先验中心嵌入网络。在变分后验中，离散亚型采用 Gumbel-Softmax 重参数化松弛，保证离散类别选择在训练期可微端到端传播；同时将采样得到的类别向量与浅层特征拼接，输入连续显著分支推断亚型内连续均值 $\mu_s(s_{\text{cat}}, x)$。该设计允许模型在粗粒度上以离散类别将异质性目标划分为不同病理簇，在细粒度上用低维连续坐标刻画病理萎缩程度与严重度轨迹。

2. 无配对联合似然下界优化与后验解耦约束：跨越配对监督缺失障碍 由于缺乏跨域配对样本 $(x, y)$，直接优化真实的联合对数似然 $\log p(x, y)$ 是不可行的。本文在理论上证明：若引入后验解耦（Posterior Decoupling）假设，即共有潜变量对于参考域与目标域具有完全的域不变性 $q(z \mid x, y) = q(z \mid x) = q(z \mid y)$，则联合似然的证据下界（ELBO）可以严格解耦为目标边际下界 $\mathcal{L}_x$ 与参考边际下界 $\mathcal{L}_y$ 之和。为了在无配对训练中强力诱导这一后验解耦属性，本文提出了全局与样本级互补的双重正则： $$R_{\text{MMD}} = \text{MMD}^2(q_{\phi_z}(z \mid x), q_{\phi_z}(z \mid y))$$ $$R_{\text{LC}} = \mathbb{E}_{x \sim p(x), z \sim q_{\phi_z}(z \mid x)} \|\mu_z(\tilde{y}) - \mu_z(x)\|_1, \quad \tilde{y} = d_{\theta_z}(z) + d_{\theta_s}(s'_{\text{cat}}, s'_{\text{cont}})$$ 其中 MMD 采用多尺度 RBF 核对齐全域分布，而隐空间一致性损失 $R_{\text{LC}}$ 强制要求将目标样本 $x$ 的共有变量 $z$ 与基准显著状态合成伪配对参考样本 $\tilde{y}$ 后，重新编码得到的共有特征均值必须与原始 $x$ 的特征保持一致，从机制上锁死 $z$ 的域不变性。

3. 弱监督域约束与互信息抑制：严防参考域信息渗漏 为了迫使显著隐空间专一性地表达目标域特异性病理、防止其偷跑编码健康参考域的共性生理结构，模型施加了弱监督二元交叉熵损失 $R_{\text{BCE}}$ 与连续参考正则 $R_{\text{ref}}$。利用仅有的域级别标签（参考域 vs 目标域），$R_{\text{BCE}}$ 驱使所有参考样本 $y$ 坍缩到第 1 个固定离散类别 $s'_{\text{cat}} = 1$，同时严禁目标样本分配到该类，从而将剩余的 $M-1$ 个类别留作目标内部的纯无监督亚型划分。进一步地，$R_{\text{ref}}$ 惩罚参考样本在连续显著空间的后验与先验向零均值对齐： $$R_{\text{ref}} = \frac{1}{2} \|\mu_s(y, s'_{\text{cat}})\|_2^2 + \frac{1}{2} \|\mu_\psi(s'_{\text{cat}})\|_2^2$$ 从信息论视角看，$R_{\text{BCE}}$ 压缩离散通道的信息熵，$R_{\text{ref}}$ 最小化连续通道的 KL 散度，二者联合极小化了参考域 $Y$ 与显著变量 $s$ 之间的互信息上界 $I(Y; s_{\text{cat}}, s_{\text{cont}})$，从源头上杜绝了显著潜空间被参考域背景方差污染的可能。

损失函数 / 训练策略¶

CASL-VAE 的完整训练目标函数 $J$ 综合负 ELBO 与四个正则化惩罚项： $$J = -\mathcal{L}_{\text{ELBO}} + \lambda R_{\text{MMD}} + \eta R_{\text{LC}} + \zeta R_{\text{BCE}} + \gamma R_{\text{ref}}$$ 其中 $\mathcal{L}_{\text{ELBO}} = \mathcal{L}_x + \mathcal{L}_y$。目标样本与参考样本各自计算重构均方误差（连续脑区体积假设观测为高斯分布）与隐变量 KL 项。在具体超参数设置上，基准权重设定为 $\lambda = 100$、$\eta = 10$、$\zeta = 1$、$\gamma = 1$。优化器采用 Adam，学习率为 $1 \times 10^{-3}$，批大小为 128，最大训练 500 个 epoch。Gumbel-Softmax 温度 $\tau$ 从 1.0 开始指数退火，仅当 $\tau < 0.5$ 且聚类分配与损失函数均收敛时触发早停机制。

实验关键数据¶

主实验¶

实验基于 iSTAGING 联盟的真实脑部 T1w-MRI 数据（145 个脑区体积，经年龄、性别及颅内体积回归去混淆并标准化），在半合成基准上评估亚型发现精度（ARI）以及条件生成跨域配对参考样本的语义余弦相似度。对比模型包括经典聚类（K-means, GMM）、深度聚类（GMVAE）、半监督对抗聚类（Smile-GAN）以及代表性生成模型（cVAE, SepVAE）。

模型	轻度萎缩 (10–20%) ARI (目标) ↑	典型萎缩 (10–30%) ARI (目标) ↑	联合 ARI (目标+参考) (10–20%) ↑	联合 ARI (目标+参考) (10–30%) ↑
GMM	0.001 (-0.005, 0.007)	0.232 (0.070, 0.394)	0.001 (-0.006, 0.008)	0.043 (0.009, 0.076)
K-means	-0.002 (-0.009, 0.004)	0.533 (0.423, 0.643)	0.006 (0.001, 0.012)	0.112 (0.093, 0.130)
GMVAE	0.038 (0.006, 0.069)	0.284 (0.129, 0.439)	—	—
Smile-GAN	0.183 (0.097, 0.293)	0.657 (0.508, 0.750)	—	—
cVAE	0.183 (0.124, 0.242)	0.654 (0.581, 0.726)	0.009 (0.000, 0.019)	0.041 (0.018, 0.064)
SepVAE	0.251 (0.196, 0.306)	0.611 (0.558, 0.664)	0.159 (0.130, 0.188)	0.451 (0.380, 0.523)
CASL-VAE (本文)	0.468 (0.371, 0.564)	0.620 (0.535, 0.706)*	0.587 (0.521, 0.653)	0.697 (0.672, 0.722)

注：*在典型萎缩下 CASL-VAE 与最优基线置信区间重叠，统计差异不显著。但在更具挑战性的轻度萎缩场景中，CASL-VAE 的 ARI 领先第二名接近一倍（0.468 vs 0.251）。在联合区分参考与亚型上更是展现出绝对优势（0.697 vs 0.451）。

下表汇报在不同萎缩病理强度下，模型根据目标样本生成的对应配对参考样本与真实配对基准之间的余弦相似度（Cosine Similarity）：

模型	配对参考余弦相似度 (10–20% 萎缩) ↑	配对参考余弦相似度 (10–30% 萎缩) ↑
cVAE	0.5471 (0.5428, 0.5514)	0.5208 (0.5170, 0.5247)
SepVAE	0.5287 (0.5188, 0.5387)	0.5409 (0.5326, 0.5493)
CASL-VAE (本文)	0.5835 (0.5777, 0.5894)	0.5816 (0.5747, 0.5885)

消融实验¶

在半合成数据集上针对正则化损失项及超参数权重缩放比例（0% ~ 200%）进行消融分析：

配置	目标聚类 ARI (10–20% 萎缩)	联合聚类 ARI (10–20% 萎缩)	说明
完整模型 ($\lambda=100, \eta=10, \zeta=1, \gamma=1$)	0.468	0.587	默认超参数基线
去除 MMD 损失 ($w/o\ R_{\text{MMD}}, \lambda=0$)	~0.26	~0.38	共有空间无法实现域对齐，目标病理向共有空间泄漏
去除隐空间一致性 ($w/o\ R_{\text{LC}}, \eta=0$)	~0.42	~0.53	样本级伪配对反推缺乏稳定性约束
去除域二元交叉熵 ($w/o\ R_{\text{BCE}}, \zeta=0$)	~0.45	~0.12	无法有效隔离参考样本类别，联合聚类急剧崩溃
去除连续参考正则 ($w/o\ R_{\text{ref}}, \gamma=0$)	~0.43	~0.54	连续显著通道被参考域固有方差污染
极度微弱萎缩工况 (0–10% Atrophy Rate)	~0.02	~0.05	目标分布与参考分布重叠过大，对比机制失效

关键发现¶

MMD 与 BCE 贡献最为核心：去除 $R_{\text{MMD}}$ 会导致共有表征丧失域不变性，病理异质性泄漏进 $z$，使亚型聚类 ARI 显著下滑；而去除 $R_{\text{BCE}}$ 则使模型彻底丧失将参考样本与目标亚型解耦的能力，联合 ARI 直接暴跌到接近随机的水平。
超参数宽容度极高：消融曲线表明，在超参数处于默认值的 0.25 倍至 2.0 倍区间内，模型的聚类 ARI 呈现高度平稳的平台期，证明 CASL-VAE 对正则权重并不敏感，唯独 $\lambda$（MMD 强度）若被大幅调低会损害域不变性。
真实临床验证一致性强：在 ADNI 真实阿尔茨海默病数据集上，模型经交叉验证选定最佳亚型数 $M=3$，精准学出“弥漫性皮层萎缩”与“内侧颞叶/海马集中萎缩”两大经典病理亚型。基于显著偏移计算的偏差指数（Deviation Index, DI）与记忆功能（ADNI-MEM, $r=-0.469, p<10^{-36}$）、认知障碍评分（ADAS-COG-13, $r=0.473$）及 APOE $\varepsilon4$ 基因型显著相关，证明学到的潜变量具备极强的临床生物学解释力。

亮点与洞察¶

后验解耦理论严密支撑：在无配对数据条件下，严谨地通过引入后验解耦假设将联合数据分布的对数似然下界拆分为两个边际下界，为对比分析方法提供了坚实的变分推断理论基石。
分层显著隐变量的精妙设计：巧妙采用“离散亚型 + 条件连续坐标”的层次结构，既利用 Gumbel-Softmax 端到端自适应聚类，又用低维高斯潜变量刻画个体疾病严重度，避免了后置聚类的割裂感与信息损失。
加性解码与反事实反推：解码端采用共有与显著因子的显式加法结构，使得通过将显著潜变量重置为基准状态即可直接生成个体对应的无病反事实“配对参考样本”，为个性化医学比较研究提供了直接可落地的生成工具。

局限与展望¶

假设局限与极微弱信号瓶颈：当目标域特异性病理效应极度微弱（如脑萎缩程度低于 10%）时，对比信号严重被参考域正常生理波动淹没，聚类 ARI 会急剧退化为随机猜测。
纵向时序演化未建模：当前模型基于单时间截面横断面（Cross-sectional）数据设计，无法原生捕捉个体在随访过程中的纵向病理演进轨迹。
未来方向：可进一步将 CASL-VAE 扩展至纵向动态时序建模与多模态联合对比分析，同时探索结合贝叶斯非参数化方法实现亚型数量 $M$ 的自适应确定。

评分¶

新颖性: ⭐⭐⭐⭐☆ 提出将分层显著隐变量与后验解耦对比变分下界结合的框架，理论与结构设计兼备新意。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖半合成多病理强度评测、全面消融、超参敏感性分析以及真实 ADNI 脑部 MRI 临床指标关联验证。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，结构与图表逻辑严密。
价值: ⭐⭐⭐⭐⭐ 为无配对复杂表型分析、疾病亚型无监督划分与反事实生成提供了极具实用价值的范式。

配置	目标聚类 ARI (10–20% 萎缩)	联合聚类 ARI (10–20% 萎缩)	说明
完整模型 (\(\lambda=100, \eta=10, \zeta=1, \gamma=1\))	0.468	0.587	默认超参数基线
去除 MMD 损失 (\(w/o\ R_{\text{MMD}}, \lambda=0\))	~0.26	~0.38	共有空间无法实现域对齐，目标病理向共有空间泄漏
去除隐空间一致性 (\(w/o\ R_{\text{LC}}, \eta=0\))	~0.42	~0.53	样本级伪配对反推缺乏稳定性约束
去除域二元交叉熵 (\(w/o\ R_{\text{BCE}}, \zeta=0\))	~0.45	~0.12	无法有效隔离参考样本类别，联合聚类急剧崩溃
去除连续参考正则 (\(w/o\ R_{\text{ref}}, \gamma=0\))	~0.43	~0.54	连续显著通道被参考域固有方差污染
极度微弱萎缩工况 (0–10% Atrophy Rate)	~0.02	~0.05	目标分布与参考分布重叠过大，对比机制失效