跳转至

Measure Less, Know More: Self-Supervised Test-Time Feature Acquisition

会议: NeurIPS 2026
arXiv: 2610.03454
代码: https://github.com/bunnelab/echo-k
领域: 自监督学习
关键词: 自监督学习, 测试时特征采集, 强化学习, 基础模型, 预算感知推理

一句话总结

针对测试时多模态测量与高维特征采集成本高昂且下游任务先验未知的痛点，本文提出 echo-k 强化学习范式，利用冻结预训练基础模型的全模态表征作为自监督代理目标，实现了无需下游标签的自适应长时程特征采集。

研究背景与动机

多模态基础模型在整合异质、高维输入时能展现出强大的表征与泛化能力，但在实际落地时面临着严峻的测量与推理成本瓶颈。无论是在临床诊断中的复杂分子与成像病理检测、科研探索中的昂贵实验分析，还是遥感监测中的异构传感器调用，获取每个样本的全部视角或模态往往耗时极长、费用不菲甚至不可行。现有测试时主动特征采集（Active Feature Acquisition, AFA）方法绝大多数高度依赖特定下游任务的有监督标签或任务预测损失，这意味着针对分类或回归训练的采集策略与单一任务强耦合，一旦下游目标变换或未提前指定，整套策略便失效且必须重训。

这种强监督依赖与现代基础模型“预训练一次、冻结支持任意多下游任务”的核心范式形成了尖锐矛盾。一方面，多模态基础模型已能将不同视角的信息高度压缩并融合成紧凑通用的隐表征；另一方面，完全脱离下游标签、仅依靠表征模型自身引导测试时按需测量的无监督自适应采集机制此前缺乏系统的理论刻画与有效算法。若能在有限测量预算下，仅根据已采集的部分视角自适应选择最具信息增量的新模态，使诱导出的部分表征快速逼近全视角表征，就能同时保障后续所有下游预测任务的精度。

本文的切入角度是直接将基础模型内部的全局隐表征作为自监督代理目标，通过强化学习策略在测试时自适应感知与采集特征。核心 idea：将特征采集目标从特定下游任务损失转向最小化全视角隐表征的恢复误差，利用理论证明的潜回归界建立强化学习奖励，学习面向长时程规划的无监督自适应视角采集策略 echo-k。

方法详解

整体框架

echo-k 将测试时的序列化特征/模态采集建模为一个在连续状态空间与离散动作空间上演化的有限时程马尔可夫决策过程（MDP）。给定一个具有 \(K\) 个可能视角的样本，系统在每个时间步维护已采集的特征子集与对应的局部隐状态，由强化学习智能体自主决定下一个待测量的视角，并交由预训练基础模型更新表征。

方法的端到端数据流如下：在初始时刻，系统仅拥有极少量初始观测（或全空掩码），特征经由冻结的视角编码器处理后得到初始局部表征；策略网络接收包含当前已采集特征值、二进制掩码、当前表征及剩余预算的状态向量，在非法动作掩码约束下输出下一个采集动作；环境返回新视角的观测值并更新局部表征；在训练期，通过对比局部表征逼近全视角（或部分参考）表征的误差衰减量计算自监督归一化步进奖励，并使用 PPO 算法优化长时程折扣回报；在测试部署阶段，策略网络与下游标签完全解耦，仅依赖当前部分观测即可自适应做出最优采集决策。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本（未观测完整模态）"] --> B["状态构建与非法动作掩码<br/>输入局部表征、观测值、掩码与预算"]
    B --> C["长时程强化学习策略网络<br/>PPO 智能体自适应输出下一待采集视角"]
    C --> D["特征采集与表征更新<br/>调用冻结基础模型重新计算局部表征"]
    D -->|未达终止预算| B
    D -->|预算耗尽| E["高保真局部表征交付下游任意任务"]

关键设计

1. 表征恢复驱动与理论遗憾界：确立无监督特征采集的代理目标合理性

现有方法在缺乏标签时难以量化候选视角的边际贡献。本文从理论上证明，只要下游预测器满足 Lipschitz 连续性，下游任务损失的退化上界即可被局部表征与全视角黄金表征之间的欧氏距离直接控制。为了严格分析部分观测与全知贪心策略的差距，论文在严谨的线性表征模型与 Gumbel 潜变量相关分布下推导出潜表征遗憾界（Latent Regret Bound）：

\[\mathcal{R}_t \leq \left(\sum_{i=1}^{d} M_{(i)} \min(t, d - i + 1)\right)^{1/p} D_t^{1/q} + C' \left(\sqrt{\frac{N_t}{p_{\text{eff}}}} + \frac{N_t}{p_{\text{eff}}}\right) \sqrt{D_t N_t}\]

该上界清晰解耦了两个关键误差源：第一项为策略失配误差，由有限观测导致的错选包络 \(D_t\) 控制，反映了通过后验条件分布推断全局能量排名的信息折损；第二项为近等距几何映射（Near-Isometry）下的谱失配误差，反映了忽略模态间二次交叉作用项的代理损失偏差。该理论不仅解释了遗憾曲线先升后降的倒 U 型分布，更从数学上确立了以“向全视角表征逼近的边际增量”作为通用采集信号的完备性。

2. 归一化自监督奖励设计：稳定驱动长时程决策与异质成本感知

直接采用平方范数差分作为强化学习奖励在训练高维网络时极易导致数值不稳定与极端样本主导梯度。echo-k 构造了基于未平方欧氏距离的步进归一化奖励，定义单步相对改进量为当前步与上一步表征误差的削减值除以初始全空表征误差，同时引入前期放大系数强化早期关键步骤的探索：

\[r_t = (1 + \mathbf{1}\{t < t_0\} \lambda) \left( \frac{\|\bm{z}^* - \bm{z}(S_{t-1})\|_2 - \|\bm{z}^* - \bm{z}(S_t)\|_2}{\|\bm{z}^* - \bm{z}(S_0)\|_2 + \epsilon} \right)\]

其中阈值 \(t_0 = T/2\) 配合系数 \(\lambda = 1.5\) 促使智能体在前几步优先捕获全局方差最大、正交性最强的骨干模态。在面对不同传感器具有非均等耗时或经济成本的实际场景时，奖励函数进一步内嵌线性成本惩罚项 \(r_t^{\text{cost}} = r_t - \lambda_c \cdot c_{a_t}\)，使得智能体在有限总花销约束下实现性价比最优的测量规划。

3. 结合非法动作掩码的长时程 PPO 策略优化：摆脱近视贪心与支持不完整参考

单步贪心算法（如基于互信息的单步启发式）在面对强互相关特征时极易陷入近视陷阱，选出互为冗余的测量组合。echo-k 使用 PPO 算法直接最大化整个采集轨迹的累积折扣回报，并利用非法动作掩码机制将概率空间严格限制在未选特征集合 \(\mathcal{A}_t = \{1,\dots,K\} \setminus S_t\) 内，从根源上杜绝重复采样。更关键的是，在训练阶段如果无全模态金标数据，echo-k 原生支持部分观测参考机制，仅将样本可用的子集表征 \(\bm{z}(R_i)\) 作为嘈杂目标训练，策略依旧表现出极强的平滑退化韧性。

损失函数 / 训练策略

策略优化采用 Actor-Critic 架构的 PPO 算法，在固定特征采集步长 \(T\)（取特征维度的 5% 至 25%）内进行采样。折扣因子针对常规视野设为 \(\gamma=0.98\)、超长序列任务（如单细胞 200 基因）设为 \(\gamma=0.99\)。训练总步数在 20 万至 50 万步之间，整个强化学习训练阶段基础模型权重全部冻结，完全无需任何下游分类或回归标签。

实验关键数据

主实验

论文在三种截然不同的基础模型后端及实际科学场景下进行了系统评测：单细胞转录组（TABULA 骨干，hPancreas 数据集，200 基因）、空间蛋白质组（VirTues 骨干，NSCLC 非小细胞肺癌 IMC 成像，40 标志物，评估亚型与分级任务）、全球多模态遥感（MMEarth-Bench，12 种对齐地理观测模态，评估土壤 pH 预测）。

表 1 展示了当训练参考数据存在不同比例随机模态缺失（\(m\) 从 0% 到 50%）时，echo-k 与强无监督特征选择基线在单细胞细胞类型标注与肺癌病理分级任务上的准确率对比（均使用同一套下游线性探针评测）：

数据集 / 任务 采集预算 echo-k（完整参考） echo-k（\(m=20\%\) 缺失） echo-k（\(m=50\%\) 缺失） 最优无监督基线 Random 随机基线 Oracle 全知贪心
hPancreas (单细胞分型) 20% 预算 0.808 ± 0.003 0.808 ± 0.003 0.733 ± 0.007 0.694 ± 0.000 (MCFS) 0.500 ± 0.007 0.872 ± 0.002
40% 预算 0.880 ± 0.001 0.871 ± 0.002 0.832 ± 0.005 0.823 ± 0.004 (Var) 0.516 ± 0.010 0.872 ± 0.001
60% 预算 0.884 ± 0.002 0.883 ± 0.002 0.861 ± 0.004 0.873 ± 0.001 (Var) 0.566 ± 0.005 0.872 ± 0.001
80% 预算 0.884 ± 0.002 0.883 ± 0.002 0.872 ± 0.002 0.874 ± 0.001 (Var) 0.608 ± 0.013 0.872 ± 0.001
NSCLC (癌症病理分级) 20% 预算 0.658 ± 0.006 0.641 ± 0.009 0.595 ± 0.012 0.607 ± 0.004 (GIR) 0.573 ± 0.012 0.665 ± 0.006
40% 预算 0.671 ± 0.009 0.658 ± 0.009 0.622 ± 0.008 0.649 ± 0.004 (ESM-Max) 0.611 ± 0.008 0.672 ± 0.010
60% 预算 0.674 ± 0.009 0.660 ± 0.010 0.636 ± 0.007 0.678 ± 0.013 (GIR) 0.640 ± 0.011 0.680 ± 0.012
80% 预算 0.683 ± 0.016 0.672 ± 0.010 0.669 ± 0.015 0.683 ± 0.009 (GIR) 0.661 ± 0.005 0.681 ± 0.010

消融实验

表 2 检验了自适应长时程规划策略与近视单步表征增益模型及其他无标签自适应采集算法在 MiniBooNE 粒子物理数据集与单细胞数据集上的分类性能（消融对比）：

算法机制类型 测试配置 / 方法 MiniBooNE (20% 预算) MiniBooNE (40% 预算) MiniBooNE (60% 预算) hPancreas (20% 预算) hPancreas (40% 预算)
自监督长时程 RL echo-k (本文完整模型) 81.70% 86.87% 87.60% 80.81% 88.04%
单步近视表征回归 ALG (共享状态与即时增益) 77.50% 83.60% 86.12% 73.38% 80.16%
生成式替代插补 RL GSMRL-AIR (深度代理模型) 79.18% 84.78% 86.40% 77.23% 81.87%
高斯混合模型互信息 CIG (无监督聚类信息增益) 79.80% 84.87% 86.17% —— ——

在归一化表征恢复指标 \(\rho_t = 1 - \frac{\|\bm{z}(S_t) - \bm{z}^*\|_2}{\|\bm{z}(\emptyset) - \bm{z}^*\|_2}\) 的直接评估中，echo-k 在 20% 预算下即达到 0.41（hPancreas）与 0.41（MiniBooNE），显著领先最强方差基线的 0.38 与 0.35；当预算升至 80% 时分别提升至 0.89 与 0.80。

关键发现

  • 早期采集收益最为显著：在单细胞与遥感模态评测中，echo-k 仅消耗 20%~30% 的模态/特征预算即可达到完整特征 95% 以上的下游预测表现，在 MMEarth-Bench 上用 3~4 个模态即接近土壤 pH 回归的渐近上限。
  • 长时程规划击败近视贪心：在具有高度特征耦合的物理数据 MiniBooNE 上，基于单步贪心估计的 ALG 甚至 Oracle 都容易提前过载冗余变量，而具备折扣因子的长时程 PPO 能够规划跨步协同特征，性能反超近视 Oracle。
  • 异质下游任务零样本迁移：在 NSCLC 空间蛋白质组学中，同一套 echo-k 采集策略未经任何再训练，在癌症亚型分类与极具挑战的病理分级双任务上同时达到前沿水平，且自动学会在初期优先采集 panCK、Ki-67 等权威临床标志物。

亮点与洞察

  • 将表征距离作为通用的任务无关奖励：摆脱了以往特征采集必须绑定下游特定监督标签的严苛限制，让基础模型从被动预测转为具备主动测量推理能力的资源感知系统。
  • 理论推导指导实用的长时程 RL：借助严格建立的潜表征遗憾界与 Plackett-Luce 排序统计模型，为高维稀疏特征的主动测量提供了扎实的理论支柱。
  • 对不完整训练数据的抗噪性：即便训练期只有 50% 的不完整参考视角，echo-k 依然能学到鲁棒的测量规划顺序，极具现实工程部署价值。

局限与展望

  • 受限于预训练基础模型的表征质量：echo-k 的目标是忠实复原预训练模型的隐空间；若冻结的骨干网络自身包含任务无关噪声或捷径特征，策略也会倾向于采集这些噪声模态。
  • 现实复杂约束的进一步拓展：当前实验主要针对均匀成本或线性耗费假设，未来需进一步整合具有层级依赖关系、动态批处理延迟（Batch Latency）以及病患安全边界的高阶现实约束。

相关工作与启发

  • vs 有监督主动特征采集 (AFA / EDDI)：传统 AFA 通过极大化下游分类互信息或最小化任务交叉熵设计奖励，换一个下游任务就需要完全重训；本文通过基础模型表征逼近实现了与下游任务完全解耦的零样本跨任务迁移。
  • vs 无监督特征选择 (MCFS / Variance / UDFS)：经典无监督特征筛选产出的是静态、样本无关的固定排序列；echo-k 是完全自适应的实例级策略，根据前一步观测值实时调整后续测量路径。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统建立基于自监督基础模型表征恢复的主动特征采集理论与长时程 RL 架构。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖单细胞、空间蛋白质组、全球遥感、粒子物理及经典视觉基准，对比了 12+ 种基线。
  • 写作质量: ⭐⭐⭐⭐⭐ 数学推导严密自洽，理论界与算法实现的衔接逻辑极其清晰流畅。
  • 价值: ⭐⭐⭐⭐⭐ 为高成本临床多组学检验、昂贵物理传感器网络调度与测试时大模型能耗控制提供了极具实用价值的新思路。

相关论文