Learning Subspace-Preserving Sparse Attention Graphs from Heterogeneous Multiview Data¶

会议: NeurIPS 2026
arXiv: 2605.11881
代码: https://github.com/chenjie20/SAGL
领域: LLM效率
关键词: 异构多视图数据, 无监督迁移学习, 稀疏注意力图, 子空间学习, entmax投影

一句话总结¶

针对利用多样化预训练模型提取异构多视图特征时子空间结构破坏与密集连接噪声问题，提出稀疏注意力图学习方法（SAGL），通过双线性不对称注意力分解、动态稀疏门控与基于 $\alpha$-entmax 的概率单纯形投影，构建严格保持块对角子空间结构的稀疏有向图并执行残差稀疏信息聚合，在无需高开销迭代求解器的情况下实现高精度的无监督知识迁移。

研究背景与动机¶

随着多模态大模型与各类自监督预训练骨干网络（如 DINOv3、SigLIP 2、CLIP、ConvNeXt V2 等）的爆发式发展，针对海量无标注数据直接提取高维迁移特征构建异构多视图数据，已成为下游聚类与无监督迁移学习的核心手段。这些从不同预训练目标模型中提取的高维表征通常天然分布在对应潜在语义类别的低维子空间联合体中，同类子空间内部样本应当具有紧密的内在相关性。

然而，现有的无监督知识迁移与多视图自表示学习面临着显著的方法论瓶颈。一方面，传统的子空间聚类算法高度依赖 $\ell_0$ 范数或低秩核范数松弛，需要借助交替方向乘子法（ADMM）等复杂的迭代代数优化求解器，在大规模无标注数据上计算开销巨大、根本无法端到端可微训练；另一方面，现有的自监督图表征学习（如 MSRL、TURTLE 等）多采用标准内积注意力或对比机制，其计算出的相似度矩阵是密集全连接且天然对称的。全连接使得注意力权重不可避免地扩散到属于不同潜在子空间的异类样本上，引入严重的跨子空间语义纠缠与拓扑噪声；同时，真实语义依赖往往具有单向有向性，强制对称的拓扑图无法刻画特征间的不对称关系。

针对这一矛盾，本文的切入点是将高维特征的 $\ell_0$ 稀疏自表示形式化为带有概率单纯形约束的可微连续优化问题，利用连续阈值算子精确滤除跨子空间冗余。核心 idea：通过引入双线性投影矩阵打破注意力对称性瓶颈，并设计动态稀疏门控与 $\alpha$-entmax 连续阈值单纯形投影，自适应学习保持块对角子空间特性的稀疏有向图，从而在完全端到端可微的框架下实现纯净的同子空间局部信息聚合。

方法详解¶

整体框架¶

SAGL 的核心目标是从 $L$ 个异构预训练模型抽取的特征中学习出保子空间的稀疏相似度图，并基于此图完成高效的纯净表征聚合与跨视图对齐。整体流程包含四个阶段：线性维度映射、双线性不对称注意力分解、动态稀疏门控缩放、以及基于 $\alpha$-entmax 的结构化稀疏投影与局部信息聚合。

首先，针对给定的无标注样本，冻结的预训练骨干网络提取出不同维度的多视图特征，通过视图特异的线性投影层映射至类别维度的统一特征空间。随后，针对每个视图内部的样本集，双线性投影矩阵生成捕获全局非对称关联的相似度矩阵；动态稀疏门预测样本级别的压缩因子，对拓扑不确定度高的样本施加更强抑制；紧接着，利用带有 Tsallis 熵正则的 $\alpha$-entmax 算子将相似度向量投影至概率单纯形上，将所有跨子空间的细微相似度严格截断为绝对零，诱导出块对角拓扑图；最后，样本通过残差稀疏聚合算子汇聚同一子空间内的邻居语义，经 Softmax 获得软伪标签分布并进行跨视图协同一致性训练。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视图异构特征输入<br/>多骨干网络高维表征"] --> B["双线性注意力分解<br/>非对称双投影矩阵"]
    B --> C["动态稀疏门控<br/>特征自适应压缩因子"]
    C --> D["结构化稀疏投影<br/>alpha-entmax 单纯形截断"]
    D --> E["稀疏信息聚合<br/>同子空间残差聚合表征"]
    E --> F["无监督多视图对齐与伪标签优化"]

关键设计¶

1. 双线性注意力分解：打破相似度矩阵的对称性瓶颈

传统自注意力或核相似度方法通常直接计算特征向量的点积或距离，其拓扑邻接关系天然满足无向对称性。然而在异构高维表征空间中，样本之间的依赖关系往往是有向的（例如典型样本到边缘样本的相似度感知不同于边缘到典型的单向推导），对称约束强制限制了图结构的拓扑表达能力。为此，SAGL 针对第 $l$ 个视图引入两组独立的、可学习的投影矩阵 $\mathbf{U}^{(l)}, \mathbf{V}^{(l)} \in \mathbb{R}^{C \times C}$，将线性变换后的特征矩阵 $\mathbf{Z}^{(l)} \in \mathbb{R}^{n \times C}$ 映射到两组不同的潜在语义子空间，并据此构造原始相似度矩阵： $$\mathbf{S}^{(l)} = \frac{(\mathbf{Z}^{(l)}\mathbf{U}^{(l)})(\mathbf{Z}^{(l)}\mathbf{V}^{(l)})^{\top}}{\sqrt{C}}$$ 缩放因子 $1/\sqrt{C}$ 避免了高维内积数值过大导致梯度饱和。由于 $\mathbf{U}^{(l)} \neq \mathbf{V}^{(l)}$，所得到的相似度矩阵 $\mathbf{S}^{(l)}$ 具备严格的不对称性（即 $S_{ij}^{(l)} \neq S_{ji}^{(l)}$）。理论分析表明，只要特征矩阵满列秩，双线性矩阵分解具备精确逼近任意目标有向邻接矩阵 $\mathbf{A}^*$ 的通用表征能力。

2. 动态稀疏门控：自适应调节局部拓扑不确定度

在无监督聚类和知识迁移中，由于样本在特征流形上的密度分布不均，位于决策边界附近或具有高拓扑不确定性的样本更容易与异类子空间发生混淆；若对所有样本施加全局统一的相似度阈值，必然导致部分边界样本连接断裂或引入跨子空间虚假边。为此，SAGL 设计了一个轻量级两层多层感知机（MLP）作为动态稀疏门，输入单样本特征 $\mathbf{z}_i^{(l)}$，预测标量压缩因子 $\omega_i^{(l)} \in [0, 1]$： $$\omega_i^{(l)} = \sigma\left(\mathbf{W}_2 \text{ReLU}\left(\mathbf{W}_1 \mathbf{z}_i^{(l)}\right)\right)$$ 随后利用该压缩因子对相似度矩阵的列向量进行特征特异的尺度衰减调制： $$\tilde{\mathbf{s}}_i^{(l)} = \mathbf{s}_i^{(l)} \cdot (1 - \omega_i^{(l)})$$ 或者采用显式破坏对称性的非线性变换 $\tilde{s}_{ij}^{(l)} = s_{ij}^{(l)} / (1 - \omega_i^{(l)} + \epsilon)$。当样本的拓扑不确定度较高时，模型学习出较大的 $\omega_i^{(l)}$，显著压缩其相似度数值分布，从而在后续的稀疏投影截断步骤中迫使模型仅保留置信度极高的近邻，严防跨子空间污染。

3. 结构化稀疏投影：基于 $\alpha$-entmax 的连续单纯形截断

即便经过动态门控调整，有向相似度矩阵依然属于全连接稠密图，标准 Softmax 激活由于指数函数的平滑性永远无法输出绝对为零的权重，导致不同类别子空间的表征相互纠缠。传统子空间聚类采用不可微的 $\ell_0$ 范数或迭代 $\ell_1$ 范数求解，难以融入端到端深度学习。SAGL 引入 $\alpha$-entmax（选定 $\alpha = 1.5$）作为连续单纯形投影算子： $$\mathbf{a}_i^{(l)} = \text{entmax}_{\alpha}(\tilde{\mathbf{s}}_i^{(l)}) = \left[(\alpha - 1)(\tilde{\mathbf{s}}_i^{(l)} - \tau_i^{(l)}\mathbf{1})\right]_{+}^{\frac{1}{\alpha - 1}}$$ 其中 $[x]_+ = \max(x, 0)$，$\tau_i^{(l)}$ 为单纯形归一化约束 $\sum_j a_{ij}^{(l)} = 1$ 所唯一决定的动态阈值。数学证明表明，该投影本质上等价于带有 Tsallis 熵正则的凸优化问题的解析解。当子空间之间满足相似度分离间隔条件时，$\alpha$-entmax 能够严格将低于阈值的所有跨子空间连接截断为绝对的零值，仅保留置信度极高且同属同一潜在子空间的紧邻样本，从而在无需额外正则损失或启发式规则的情况下，直接自适应析出精确的块对角结构图 $\mathbf{A}^{(l)}$。

4. 稀疏信息聚合：同子空间流形降噪与表征提炼

构建出严格保子空间的稀疏有向图 $\mathbf{A}^{(l)}$ 后，模型通过稀疏信息聚合算子对样本特征进行同质平滑与去噪。对于样本 $\mathbf{z}_i^{(l)}$，其聚合表征 $\mathbf{p}_i^{(l)}$ 结合了稀疏邻域加权与原始特征残差连接： $$\mathbf{p}_i^{(l)} = \sum_{j=1}^n a_{ij}^{(l)} \mathbf{z}_j^{(l)} + \mathbf{z}_i^{(l)}$$ 由于 $\mathbf{a}_i^{(l)}$ 的支撑集（非零元素集合）严格被限制在与 $\mathbf{z}_i^{(l)}$ 同属同一潜在子空间的极小邻域样本内（即 $|\text{supp}(\mathbf{a}_i^{(l)})| \ll n$），该算子彻底规避了异类噪声的干扰，并强化了同一子空间内部流形的连贯性。随后通过 Softmax 激活函数 $\rho(\cdot)$ 映射得到概率分布 $\mathbf{q}_i^{(l)} \in \Delta^{C-1}$，作为跨视图无监督对齐的基础。

损失函数 / 训练策略¶

SAGL 采用端到端自监督协同训练范式，冻结预训练骨干网络，仅更新投影层和稀疏图生成模块的轻量参数。总体损失函数包含三项： $$\mathcal{L}_{total} = \mathcal{L}_{pseudo} + \gamma \mathcal{L}_{div} + \beta \mathcal{L}_{align}$$ - 伪标签预测损失 $\mathcal{L}_{pseudo}$：通过对多视图预测概率取均值获取软分配的共识伪标签 $\hat{y}_i = \arg\max_k \frac{1}{L} \sum_{l=1}^L q_{ik}^{(l)}$，随后使用多分类负对数似然损失拉近各独立视图与共识伪标签的分布一致性； - 聚类多样性正则 $\mathcal{L}_{div}$：最小化全局平均预测概率向量 $\bar{\mathbf{q}}_j^{(l)} = \frac{1}{n} \sum_{i=1}^n q_{i,j}^{(l)}$ 的负熵（即最大化边际熵），强力防止所有样本退化坍缩至少数单一子空间或簇中； - 跨视图一致性对齐损失 $\mathcal{L}_{align}$：通过交叉熵惩罚不同异构视图之间预测分布的偏离程度，促使异构模型抽取的特征在共享语义维度上对齐。

超参数网格搜索推荐设定 $\gamma \in [5.0, 10.0]$，$\beta = 1.0$，采用 Adam 优化器在 mini-batch 上训练 600 个 epoch。

实验关键数据¶

主实验¶

论文在八个公开标准基准数据集上进行了全面的自监督迁移学习评测，比较指标包括聚类准确率（ACC）、归一化互信息（NMI）与调整兰德指数（ARI）。基线方法包括经典的自表示学习 SRLF、速率缩减原理 PRR、对比掩码建模 MIM、多视图自表示 MSRL 以及无监督迁移 SOTA 方法 TURTLE。所有方法均利用 DINOv3 与 SigLIP 2 构建双视图。

数据集	指标	SAGL（本文）	MSRL（次优）	TURTLE	SRLF	提升幅度
Pets	ACC / NMI / ARI	97.57 / 97.33 / 95.35	97.38 / 97.18 / 95.00	96.05 / 96.14 / 92.79	95.45 / 95.76 / 91.97	+0.19 / +0.15 / +0.35
KITTI	ACC / NMI / ARI	56.95 / 24.73 / 26.12	53.74 / 19.39 / 16.94	45.59 / 16.51 / 11.88	42.18 / 13.64 / 8.60	+3.21 / +5.34 / +9.18
Flowers	ACC / NMI / ARI	99.76 / 99.80 / 99.65	99.72 / 99.76 / 99.59	99.59 / 99.66 / 99.40	94.06 / 98.48 / 95.74	+0.04 / +0.04 / +0.06
Caltech101	ACC / NMI / ARI	91.54 / 95.35 / 89.01	90.38 / 94.69 / 86.92	90.14 / 94.59 / 88.16	65.27 / 87.69 / 46.27	+1.16 / +0.66 / +2.09
EuroSAT	ACC / NMI / ARI	99.92 / 99.80 / 99.82	99.88 / 99.67 / 99.73	96.38 / 91.61 / 92.17	95.68 / 90.25 / 90.76	+0.04 / +0.13 / +0.09
SUN397	ACC / NMI / ARI	73.34 / 86.29 / 62.27	70.26 / 85.33 / 59.61	71.18 / 85.13 / 59.01	63.68 / 82.89 / 53.59	+2.16 / +0.96 / +2.66
Food101	ACC / NMI / ARI	97.68 / 97.42 / 95.53	95.07 / 95.13 / 91.09	95.02 / 94.97 / 90.95	91.53 / 92.20 / 85.72	+2.61 / +2.29 / +4.44
ImageNet-1K	ACC / NMI / ARI	79.34 / 90.98 / 70.50	74.65 / 89.17 / 65.14	71.98 / 88.12 / 61.72	69.41 / 85.07 / 56.09	+4.69 / +1.81 / +5.36

在全标签监督线性探针（Linear Probe，即冻结骨干仅训练单视图分类头）对比中，SAGL 在完全无标注训练的前提下，在 Pets（97.57% vs 97.08%）、Flowers（99.76% vs 99.72%）、EuroSAT（99.92% vs 97.40%）和 Food101（97.68% vs 96.91%）上甚至超越了单视图全监督 Baseline。

消融实验¶

为验证 SAGL 内部三个核心机制的必要性，论文设计了三组变体模型： - $\text{SAGL}_i$：移除自学习图结构，直接用单位矩阵 $\mathbf{I}$ 替代稀疏注意力图（即不发生任何邻域信息聚合）； - $\text{SAGL}_b$：移除结构化稀疏投影 $\alpha$-entmax，仅保留双线性注意力分解生成的稠密全连接图； - $\text{SAGL}_w$：移除动态稀疏门控，使所有样本在投影阶段采用无调节的静态相似度分布。

配置	Pets (ACC/ARI)	KITTI (ACC/ARI)	SUN397 (ACC/ARI)	Food101 (ACC/ARI)	ImageNet-1K (ACC/ARI)	说明
Full SAGL	97.57 / 95.35	56.95 / 26.12	73.34 / 62.27	97.68 / 95.53	79.34 / 70.50	完整模型
w/o 动态门控 ($\text{SAGL}_w$)	97.22 / 94.96	55.08 / 22.98	71.24 / 61.17	95.68 / 92.06	77.54 / 68.32	缺乏拓扑不确定度调节，各数据集均明显回落
w/o 稀疏图聚类 ($\text{SAGL}_i$)	96.18 / 92.95	50.53 / 15.56	70.21 / 58.02	95.13 / 91.11	73.97 / 64.28	无图聚合时性能落后，大规模数据集掉点超 5%
w/o 稀疏截断，保留稠密图 ($\text{SAGL}_b$)	63.61 / 50.04	52.47 / 19.36	31.99 / 2.70	67.72 / 54.66	18.86 / 0.24	稠密全连接引入灾难性跨子空间噪声，性能断崖式坍塌

关键发现¶

稀疏截断是生死攸关的核心操作：从消融对比可见，退化为稠密图的 $\text{SAGL}_b$ 在大规模复杂数据集（如 SUN397 与 ImageNet-1K）上性能发生断崖式崩塌（ImageNet-1K ACC 从 79.34% 暴跌至 18.86%，ARI 仅有 0.24%）。这强力证明，如果不采用连续稀疏截断消除跨类连接，稠密注意力聚合会将大量异类负迁移噪声直接注入表征，彻底破坏特征的流形判别性。
视图组合的同构性显著优于异构拼接：在不同骨干网络组合实验中，ViT 同构组合（如 DINOv3 + SigLIP 2）在所有数据集上大幅领先于 Transformer 与 CNN（ConvNeXt V2）的混合组合（CKA 矩阵证实 CNN 与 ViT 的表征对齐度极低，CKA 仅在 0.05-0.25 之间）。盲目堆砌不相关的视图数量（如 3 视图组合）反而会引入额外优化干扰，降低聚类准确度。
动态稀疏门控为拓扑边界提供自适应保护：$\text{SAGL}_w$ 在 KITTI、SUN397 和 Food101 等场景复杂的任务上性能退化最明显，说明对高不确定度特征进行差异化惩罚有效阻断了边界处模糊样本向异类子空间的误连。

亮点与洞察¶

将 $\ell_0$ 离散优化转化为单纯形上的可微 $\alpha$-entmax 投影：该设计巧妙绕开了传统子空间聚类算法中极其笨重缓慢的代数迭代（ADMM）求解器，在保持严格数学支撑和精确零截断特性的同时，使模型能够进行纯端到端梯度优化。
打破图注意力的对称性牢笼：利用双线性分解 $\mathbf{U}$ 与 $\mathbf{V}$ 代替传统的对称自注意力，赋予网络模拟流形上有向拓扑流动与不对称语义依赖的完备表达能力。
即插即用的多视图特征后处理利器：该范式不仅适用于图像聚类，还可直接迁移至多源跨模态融合、检索增强生成（RAG）长程上下文去噪或多专家模型（MoE）特征路由过滤，具有高度的通用性。

局限与展望¶

对 Mini-batch 内类别充分采样假设的高度敏感：理论证明中要求每个 batch 内部同一子空间必须采样出至少 $d_k$ 个线性无关样本。在真实大规模分布式训练中，一旦 batch size 较小或类别数极多导致某些长尾类在 mini-batch 中只有单一样本孤立存在，$\alpha$-entmax 将无法形成有效的同类支撑集，导致该样本拓扑聚合退化。
大规模数据集计算开销递增：虽然免除了 ADMM 迭代，但对大 batch 执行基于单批样本全两两相似度的排序和阈值求解时，依然带来 $O(B^2)$ 的时间复杂度开销，在 ImageNet 等超大批量训练时耗时显著高于朴素密集注意力。
未来改进方向：可引入跨 batch 的持续动量拓扑记忆库或聚类锚点机制（Anchor Graph），降低批内配对采样依赖并进一步摊薄计算复杂度至 $O(B \times K)$。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 成功将子空间聚类的严格正交/稀疏理论与可微连续 $\alpha$-entmax 概率单纯形结合，打破了注意力对称性瓶颈。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 个公开数据集、3 种无监督与弱监督评估协议、多种骨干网络架构组合及深度的消融与收敛性分析。
写作质量: ⭐⭐⭐⭐⭐ 数学证明严谨连贯，从 $\ell_0$ 离散范数松弛到 Tsallis 熵 KKT 条件推导一气呵成。
价值: ⭐⭐⭐⭐⭐ 为利用异构多模型大特征进行高质量无监督表征聚合提供了极具启发性的可微图学习范式。