Hypernetworks for Dynamic Feature Selection¶

会议: NeurIPS 2026
arXiv: 2605.12278
OpenReview: https://openreview.net/forum?id=Emiobo4BDW
代码: https://github.com/Fuminides/hyper_DFS
领域: 优化/理论
关键词: 动态特征选择, 超网络, 集合变换器, 表征平滑性, 预算约束分类

一句话总结¶

针对传统动态特征选择依赖单一共享模型面临的表达力瓶颈与梯度冲突问题，本文提出 Hyper-DFS，利用 Set Transformer 将特征观测状态编码为平滑几何空间，并驱动超网络按需为每个特征子集动态生成专属分类器参数。

研究背景与动机¶

在实际机器学习部署场景中，数据特征往往是不完整的，且特征获取往往伴随着时间、计算或经济等现实成本约束。动态特征选择（Dynamic Feature Selection, DFS，亦称主动特征获取）应运而生：系统针对每个独立样本，在预算约束下自适应、逐步地决定接下来采集哪些特征。典型的 DFS 架构由负责选择特征的 selector 和负责输出标签预测的 predictor 两大部分协同组成。然而，给定 $M$ 个候选特征，理论上存在高达 $2^M$ 种可能的特征观测组合状态。受限于指数级膨胀的状态空间，现有绝大多数工作（无论是基于强化学习、贪心互信息 CMI 还是生成模型方法）都采用“填补后预测（impute-then-predict）”范式，将当前已观测特征掩码与均值填补后的特征向量拼接，输入给一个单一的全局共享分类器进行摊销训练。

这种单一共享网络摊销机制隐藏着深刻的结构性缺陷。理论上最优的 DFS 预测器需要针对每个特征子集 $S \subseteq [M]$ 达到贝叶斯最优参数 $\theta_S^*$；但在共享单一参数 $\theta$ 时，多任务学习中的梯度冲突极其剧烈——优化某一特定特征子集所产生的梯度更新，往往会直接损害另一个子集的判别性能。更为严重的是，根据 Galanti and Wolf 关于超网络模块化能力的理论分析，将离散 mask 直接作为条件嵌入输入主干网络的“嵌入方法（embedding methods）”，其模型复杂度下界随输入维度 $m_1$ 与任务条件维度 $m_2$ 联合呈指数级发散（至少 $\Omega(\varepsilon^{-(m_1+m_2)})$），难以适配广泛的任务空间；同时，selector 在序列采集过程中很少访问的边缘子集，即便在预训练阶段也很难分得有效梯度，导致非典型特征组合下的预测严重失真。

为了打破指数级子集状态下的共享表征妥协，本文转换了建模范式：既然无法存储 $2^M$ 个独立分类器，也不能退化为单一共享模型，就可以利用函数映射在连续任务空间中按需生成子集专属参数。核心 idea：提出 Hyper-DFS 框架，利用包含存在与缺失双重嵌入的 Set Transformer 将离散特征掩码映射到平滑连续的任务流形，再通过超网络为任意采样的特征子集按需生成专属主分类器参数，从而在单模型存储开销下实现对数百万种特征组合的精确特异化适配。

方法详解¶

整体框架¶

Hyper-DFS 整体由三个核心子系统构成：一是特征状态编码器（Set Transformer Encoder），将当前的二值特征知识状态掩码 $\mathbf{I}_S$ 映射为连续平滑的条件向量 $\tilde{\mathbf{z}}_{\omega,\rho}(\mathbf{I}_S)$；二是超网络（Hypernetwork $g_\phi$），接收该条件向量并直接输出主预测网络（Primary Network $f_\theta$）的全部权重参数 $\theta_S = g_\phi(\tilde{\mathbf{z}}_{\omega,\rho}(\mathbf{I}_S))$；三是特征选择器（Selector $q_\psi$）与主干特征压缩器（Compressor $c_\eta$），配合贪心或序贯采集策略迭代更新观测子集 $S_t \to S_{t+1}$。

在推理过程中，系统面对样本 $\mathbf{x}$ 首先处于初始观测状态 $S_0$。Selector 依据当前均值填补向量 $\tilde{\mathbf{x}}_{S_t}$ 与掩码 $\mathbf{I}_{S_t}$ 评估各候选未观测特征的优先级得分并选取新特征；当达到采集预算或停止条件后，将最终观测掩码输入 Set Transformer 编码生成条件表征，超网络单次前向传播生成专属主分类器权重，直接对经过压缩器处理的观测特征执行高精度分类预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["当前特征状态<br/>观测掩码与填补向量"] --> B["1. 存在/缺失双嵌入与集合注意力编码<br/>将特征掩码映射为连续条件流形"]
    B --> C["2. 超网络按需生成专属主网络参数<br/>输出 primary network 对应子集权重"]
    A --> D["3. 序列特征选择与可微轨迹优化<br/>Straight-Through Gumbel-Softmax 选特征"]
    C --> E["4. 多任务稳定正则与预训练<br/>方差约束、抗坍塌与逐批次掩码控制"]
    D --> E
    E --> F["输出最终预测标签"]

关键设计¶

1. 存在与缺失双嵌入机制与集合注意力编码：构建平滑条件流形 传统方法若直接使用原始二进制掩码向量作为条件输入，会由于汉明距离无法刻画特征间的语义关联而导致条件空间刚性离散；若直接将存在特征的 token 嵌入进行求和池化，编码向量的模长会直接随观测子集大小 $|S|$ 呈线性放大（即 $\mathbb{E}\|\theta_S\|_2^2 = |S| \cdot \kappa$），造成超网络生成权重的方差随子集基数剧烈漂移。针对这一问题，本文为每个特征维度 $i$ 分别学习两个维度为 $d$ 的独立嵌入向量：存在嵌入 $\mathbf{e}_i^1$ 与缺失嵌入 $\mathbf{e}_i^0$。对于任意知识状态 $\mathbf{I}_S \in \{0,1\}^M$，第 $i$ 行 token 表征严格构建为 $\mathbf{t}_i = I_{S,i} \mathbf{e}_i^1 + (1 - I_{S,i}) \mathbf{e}_i^0$，确保无论当前采纳了多少特征，输入 token 矩阵始终具有固定的 $M$ 个元素。随后通过诱导集合注意力块（ISAB）捕获特征之间的互补依赖关系，经由沿 token 维度的求和池化与前馈变换 $f_\rho$ 后，施加 $L_2$ 范数归一化得到最终超网络输入向量： $$\mathbf{z}_{\omega,\rho}(\mathbf{I}_S) = f_\rho\left(\sum_{i=1}^M [f_\omega(\mathbf{T}(\mathbf{I}_S))]_i\right), \qquad \tilde{\mathbf{z}}_{\omega,\rho}(\mathbf{I}_S) = \frac{\mathbf{z}_{\omega,\rho}(\mathbf{I}_S)}{\|\mathbf{z}_{\omega,\rho}(\mathbf{I}_S)\|_2}$$ 双嵌入与 $L_2$ 归一化的结合在数学上保证了初始化及训练过程中主网络权重的二阶矩期望独立于 $|S|$（即 $\mathbb{E}\|\theta_S\|_2^2 = M \cdot \kappa''$），彻底消除了因基数变化引起的权重缩放畸变，使功能相似的特征子集在几何空间中紧密相邻。

2. 超网络按需生成专属分类器参数：打破单模型多任务复杂度壁垒 根据 Galanti and Wolf 的理论，掩码拼接方法必须强行用单一参数主干逼近不同特征缺失模式下的各类边际分布，网络规模下界呈组合爆炸。本文引入超网络 $g_\phi: \mathbb{R}^{d'} \to \mathbb{R}^{|\theta|}$，直接从连续归一化条件编码 $\tilde{\mathbf{z}}_{\omega,\rho}(\mathbf{I}_S)$ 预测主分类器 $f_\theta$ 的全部网络层权重参数。针对图像等高维输入场景，设计特征压缩器 $c_\eta: \mathbb{R}^M \to \mathbb{R}^{M'}$ 预先降低主分类器输入空间，大幅缩小主网络规模（主网络仅需数千参数即可达成高容量），从而使超网络本身的输出层参数量完全受控在 0.68M 至 6.70M 之间。超网络通过端到端反向传播共享参数 $\phi$，在所有子集模型间形成软权重共享机制；依靠神经网络的局部 Lipschitz 连续性，超网络在相近的条件向量之间天然进行平滑泛化插值，不仅无需维护巨大的离散子模型字典，更能自适应零样本推断训练中从未出现过的特征组合。

3. 序列特征选择与可微端到端轨迹优化：兼顾非贪心信息增益 为了在有限的特征预算下高效调度特征采集，特征选择器 $q_\psi$ 采用轻量神经网络建模，输入当前插补向量 $\tilde{\mathbf{x}}_{S_t}$ 与状态掩码 $\mathbf{I}_{S_t}$ 输出每个特征的打分向量 $\mathbf{s}_\psi(\tilde{\mathbf{x}}_{S_t}, \mathbf{I}_{S_t}) \in \mathbb{R}^M$。对于已采集特征，将其分数强制置为 $-\infty$。在训练阶段，针对每个训练样本，首先从离散均匀分布中随机抽取轨迹长度 $\tau \sim \mathrm{Uniform}(\{1,\dots,B_{\max}\})$。为实现贯穿多步序贯决策的梯度回传，在选择阶段采用 Straight-Through Gumbel-Softmax 重参数化技巧近似离散 $\arg\max$ 选元操作，使得下游分类交叉熵损失能够沿着长程决策轨迹无缝反向传播更新 selector 参数 $\psi$ 与超网络参数 $\phi$；在测试推理阶段，直接切换为确定性贪心取最大值，以零额外计算负担执行决策。

4. 结构防坍塌与梯度稀释防护策略：保障训练全周期动力学稳定 针对超网络在多任务 conditioning 下容易退化为输出常数权重的“表征坍塌（representation collapse）”以及多掩码混合时跨子集梯度反向抵消引起的“梯度稀释”顽疾，本文系统构建了双重稳定机制。一方面，引入基于 VICReg 灵感的防坍塌低方差惩罚项 $\mathcal{L}_{\mathrm{collapse}}$，对 mini-batch 内编码向量 $\tilde{\mathbf{z}}$ 的各维度方差与生成权重 $g_\phi(\tilde{\mathbf{z}})$ 的各参数维度方差施加反向最大化约束： $$\mathcal{L}_{\mathrm{collapse}} = -\frac{1}{d'}\sum_{j=1}^{d'}\mathrm{Var}\left[(\tilde{\mathbf{z}}_{\omega,\rho}(\mathbf{I}_S))_j\right] - \frac{1}{|\theta|}\sum_{k=1}^{|\theta|}\mathrm{Var}\left[(g_\phi(\tilde{\mathbf{z}}_{\omega,\rho}(\mathbf{I}_S)))_k\right]$$ 并在条件编码中注入高斯噪声 $\boldsymbol{\varepsilon} \sim \mathcal{N}(\mathbf{0}, \sigma^2 \mathbf{I})$ 惩罚超网络的雅可比范数；另一方面，在预训练阶段采用受限掩码批次策略（每批次仅采纳极少数固定特征掩码，甚至单掩码）消除批内反向梯度的破坏性干涉，配合前 5 个 epoch 的线性学习率预热（Linear LR Warmup），确保超网络输出权重在逼近 Xavier 目标方差前不陷入饱和区。

损失函数 / 训练策略¶

Hyper-DFS 的完整训练过程分为预训练与联合微调两个阶段。在预训练阶段，主干预测器按照平衡基数采样策略 $k \sim \mathcal{U}(\{1,\dots,M\}), S \sim \mathcal{U}\left(\binom{[M]}{k}\right)$ 探索子集空间，综合最小化分类交叉熵、权重尺度正则项以及防坍塌损失： $$\mathcal{L} = \mathcal{L}_{\mathrm{CE}} + \lambda_{\mathrm{scale}}(t)\mathcal{L}_{\mathrm{scale}} + \lambda_{\mathrm{collapse}}\mathcal{L}_{\mathrm{collapse}}$$ 其中权重尺度惩罚项 $\mathcal{L}_{\mathrm{scale}} = \lambda \sum_{l=1}^L \mathbb{E}_S \left[ \left(\frac{1}{n_l}\|g_\phi^{(l)}(\tilde{\mathbf{z}})\|_2^2 - \sigma_{l,\star}^2\right)^2 \right]$ 将每一层生成的权重二阶矩向 Xavier 目标 $\sigma_{l,\star}^2$ 对齐，权重因子 $\lambda_{\mathrm{scale}}(t)$ 在前 50 个 epoch 内逐渐退火至 0；防坍塌系数固定为 $\lambda_{\mathrm{collapse}} = 0.01$。在联合微调阶段，固定预训练良好的预测模型，开启 Selector 的 Gumbel-Softmax 序贯生成，利用轨迹末端交叉熵损失联合微调 selector 与 hypernetwork，优化器采用 Adam，学习率初始化为 $10^{-2}$ 并配合余弦退火策略。

实验关键数据¶

主实验¶

实验在合成数据集、真实世界表格数据集（涵盖医学、金融、物理等 9 个领域）以及图像 Patch 序列分类数据集上全面展开，评价指标为在采集预算 2 到 10 个特征范围内的平均曲线下面积（AUAC-F1，5折交叉验证均值 %）。对比基线涵盖最具代表性的单模型方法（如强化学习 CWCF、INVASE；贪心信息论 DIME、VIP；随机编码 SEFA；重参数化 RePa）及多模型/集成方法（AACO、Card-DFS、Ensemble、MoE）。

数据集类型 / 数据集	最佳单模型 (RePa / VIP)	多模型集成 (MoE / AACO)	Hyper-DFS (单模型)	HyperEns (K=5 超网络集成)	相对最佳基线提升 / 优势说明
Synthetic - Cube (20维/8类)	46.19 (RePa)	39.15 (MoE)	41.42	47.47	集成超网络提升 +1.28%，大幅领先共享模型
Synthetic - Sim1 (11维/线性)	75.99 (VIP)	72.70 (MoE)	75.87	78.19	超网络集成达到 78.19%，超越 VIP (+2.20%)
Synthetic - SynPairs (12维协同)	65.26 (VIP)	60.66 (MoE)	67.08	71.33	零边缘信息强协同任务上单超网络即涨 +1.82%
Tabular - Diabetes (45维/10万样本)	59.18 (VIP)	56.81 (MoE)	62.81	59.24	单超网络显著领先所有单/多模型基线 (+3.63%)
Tabular - Metabric (689维高维基因)	66.51 (VIP)	60.78 (MoE)	67.03	67.49	在极低预算区间展现出巨大的特异化适配优势
Tabular - California (9维房产)	82.25 (VIP)	82.46 (MoE)	81.93	82.92	与顶级多模型及集成方法处于第一梯队
Tabular - Miniboone (50维物理)	85.72 (RePa)	84.38 (MoE)	83.52	84.13	大样本高维场景下在低预算段领先，高预算段收敛
Tabular - 平均 AUAC (%)	70.03 (VIP)	70.98 (MoE)	71.11	71.61	单模型超网络超越所有单模型，集成版总分第一
Image - FashionMNIST (49 patches)	80.80 (VIP)	72.57 (MoE)	81.19	80.25	超越最佳单模型 VIP，显著击败 MoE (+8.62%)
Image - MNIST (49 patches)	90.41 (VIP)	81.56 (MoE)	90.54	90.44	突破 90.5% 瓶颈，在空间网格序列化决策中稳健
Image - PCam (64 patches 病理)	71.13 (SEFA)	70.98 (MoE)	73.39	72.88	复杂组织切片定位任务上单超网络领先基线 >2.2%

消融实验¶

为了严格验证 Set Transformer 编码、超网络专属建模以及训练稳定组件的有效性，作者在表格与图像基准上进行了多维度消融：

配置 / 消融变体	表格全集平均 AUAC (%)	图像 SVHN 训练失败率 (10 epochs)	编码-功能 Spearman $\rho(d_z, d_f)$	核心机制与结论说明
Hyper-DFS 完整模型 (ISAB + 超网络)	71.56	0 / 5 (全成功)	0.976 ~ 0.997	具备平滑任务编码与最优全域泛化能力
编码消融 - RawMask (直接输入0/1掩码)	71.04 (排名2.22)	-	0.537 ~ 0.648	缺乏语义连续性，汉明距离与功能变化严重脱节
编码消融 - DeepSets (无自注意力调制)	70.69 (排名2.44)	-	-	无法捕获特征协同关联，性能显著落后于 ISAB
架构消融 - w/o Hypernetwork (替换为MLP)	70.00 (-1.29%)	-	-	退化为共享MLP后 Metabric 暴跌4.8%，方差激增6倍
训练消融 - baseline (无Warmup & 无受限掩码)	-	5 / 5 (100% 崩溃)	-	混合掩码导致梯度稀释与压缩器表征彻底坍塌
训练消融 - warmup_only (仅学习率预热)	-	4 / 5 (80% 失败)	-	单纯预热无法完全阻断多任务相反梯度的破坏
训练消融 - shared_only (仅受限单掩码预训练)	-	0 / 5 (全成功)	-	彻底消除批内梯度相互抵消，奠定特征提取器基础

关键发现¶

低预算区间展现出巨大的特异化红利：在 Diabetes、Metabric 等典型特征空间中，当采集特征数量较少（如 2-4 个特征）时，Hyper-DFS 相对传统共享模型（VIP、DIME）的优势最大。这是因为在观测极不完全时，不同特征子集所诱导的后验概率分布差异极其剧烈，单一共享模型被拉扯在各子集之间无法两全，而超网络生成的参数能够精准逼近当前观测状态下的局部贝叶斯最优。
零样本未见特征组合泛化能力优异：在严格保留未见特征子集的 Zero-Shot 评测中，传统单模型 VIP 在表格数据上的平均 AUAC 暴跌至 46.55%，而 Hyper-DFS 凭借连续编码流形的插值能力仍高居 64.06%（在图像任务上达到 87.57%，领先 VIP 2.55% 且大幅碾压 MoE 的 83.94%），表明超网络学到了内在的功能连续性，而非死记硬背已知子集。
Set Transformer 编码将几何距离与功能距离高度统一：度量分析显示，利用 ISAB 编码后的特征空间距离与主分类器功能距离（JS 散度）的斯皮尔曼相关系数在各数据集上均稳定在 0.922 至 0.997 之间，而原始汉明距离的相关性仅为 0.537 至 0.694，确证了平滑任务空间假设的成立。

亮点与洞察¶

将离散组合选择重塑为连续超网络参数生成：巧妙地将原本 $2^M$ 指数爆炸的离散模式选择难题，转化为以 Set Transformer 为“任务编码器”、以超网络为“参数映射器”的连续流形学习问题。通过软权重共享机制在单模型存储开销下实现了多模型专属特异化。
正反两面双嵌入（Absence & Presence Embeddings）的方差解耦技巧：发现了传统集合求和池化导致输入模长随特征基数线性放大的隐蔽数学漏洞，通过引入显式缺失嵌入与 $L_2$ 范数归一化，证明了生成权重二阶矩与特征子集大小的完全解耦，为超网络多任务动态输入设计提供了极佳范式。
受限掩码预训练化解跨任务梯度抵消：指出了共享压缩器在上游不断变动、宛如随机投影的主分类器反向传播下极易坍塌的动力学缺陷，利用早期的单掩码批次约束联合梯度预热，无需采用复杂的低秩分解或两阶段冻结即可稳定多任务超网络训练。

局限与展望¶

作者承认的局限性：超网络的训练计算开销显著高于单一普通分类器，全模型包含 0.68M 至 6.70M 参数；同时，由于 Set Transformer 编码空间的平滑约束，利用扰动编码进行超网络集成的多样性受限（HyperEns 在部分图像任务中未能显著超越单超网络）。
潜在的研究局限：在特征基数逐渐接近全集（高预算区间）或某些特征弱相关的极端场景（如 Yeast 数据集）中，超网络相较于轻量重参数化方法（RePa）的边际增益趋于平缓；此外，在超大规模特征空间（如数万维单细胞组学）下，Set Transformer 自注意力矩阵计算仍存在二次方复杂度挑战。
改进方向：可进一步探索将线性注意力机制引入特征状态编码器以扩展到数万维场景，或将超网络输出解耦为主干特征变换与轻量适配头（Adapter），进一步降低超网络输出层的参数生成负担。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从理论与结构复杂度层面厘清 DFS 共享分类器的瓶颈，并以平滑超网络范式成功实现全局连续化参数生成。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖合成、9大真实表格以及5大图像数据集，包含详尽的理论方差证明、Zero-Shot 子集评估与距离相关性度量。
写作质量: ⭐⭐⭐⭐⭐ 理论严密，从 Galanti-Wolf 复杂度分析到 Xavier 方差推导层层递进，消融逻辑清晰自洽。
价值: ⭐⭐⭐⭐☆ 为预算敏感型医疗诊断、工业质检和主动感知场景提供了极具通用性与落地前景的算法框架。