Active Learning for Conditional Generative Compressed Sensing¶

会议: NeurIPS 2026
arXiv: 2605.05435
OpenReview: https://openreview.net/forum?id=nNxxFgwPWW
代码: https://github.com/alexdelise/ActiveConditionalGCS
领域: 模型压缩
关键词: 生成式压缩感知, 主动学习, 克里斯托弗采样, 条件生成模型, 傅里叶下采样

一句话总结¶

本文提出面向条件生成式压缩感知的提示词驱动克里斯托弗主动采样理论与框架，显式解耦真实信号、采样设计与重建先验三类提示词，证明了采样与重建提示词失配下的稳定恢复误差界与样本复杂度惩罚。

研究背景与动机¶

压缩感知旨在利用远少于奈奎斯特采样率的测量数据恢复高维结构化信号。传统压缩感知高度依赖小波基或离散余弦变换下的稀疏性假设，而生成式压缩感知（Generative Compressed Sensing, GCS）则将稀疏先验替换为预训练深度生成模型的流形映射，极大地突破了传统稀疏重建的表达上限。然而，现有的生成式压缩感知理论与实践存在两大突出瓶颈：其一，多数理论假设采用非结构化的理想高斯随机投影矩阵，而在核磁共振成像（MRI）等真实物理硬件约束下，测量算子必须受限于部分傅里叶采样子网格；其二，传统采样策略多采用均匀采样或固定的高斯衰减模式，并未结合下游目标信号的几何先验分布进行针对性测量分配。

尽管后续工作引入了基于克里斯托弗函数（Christoffel function）或局部相关性（local coherence）的主动学习采样机制，但现有方法几乎完全建立在无条件生成模型之上。在实际临床医疗诊断（如特定解剖部位、序列模态、病患元数据）或自然图像反问题中，测量端往往存在丰富的辅助上下文或文本提示词。这些条件信息能够显著收紧候选信号空间，使测量算子将有限的采样资源集中在最具区分度的测量坐标上。

然而，将条件提示词引入压缩感知带来了此前无条件设定下不存在的核心矛盾：多重提示词角色的交互与失配。在实际采集与重建全流程中，由于信息滞后或粗细粒度差异，设计测量采样的提示词、下游反求潜空间的重建提示词、以及底层真实信号所属的提示词类别三者往往并不完全一致。过强或错误的条件引导甚至可能导致重建结果被生成先验偏置绑架，脱离真实物理测量。核心 idea：将提示词的作用显式拆解为测量采样与反问题重建两个独立维度，基于克里斯托弗函数推导由三元提示词兼容度因子调控的统一样本复杂度与恢复误差界，实现提示词驱动的主动傅里叶下采样设计。

方法详解¶

整体框架¶

本文针对下采样离散傅里叶变换下的条件生成式压缩感知，建立了从条件流形几何到物理采样掩膜设计、再到潜空间加权优化求解的闭环反问题处理流程。系统将提示词角色解耦为三元组：真实信号提示词 \(c_*\)（使目标信号 \(f^* \in \mathbb{F}_{c_*}\)）、采样设计提示词 \(c_s\)（用于构造克里斯托弗测量分布 \(\mu_{c_s}\)）、以及反演求解提示词 \(c_r\)（定义生成恢复空间 \(\mathbb{F}_{c_r}\)）。首先通过蒙特卡洛潜变量采样近似条件生成模型的割线类（secants），在频域评估广义克里斯托弗函数以诱导最优采样分布；随后依据该分布抽取非均匀傅里叶采样掩膜 \(\Omega\)；最后在加权/未加权观测残差下，结合零填充傅里叶逆变换进行潜变量初始化，并在潜空间执行非凸优化求解目标图像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：物理信号与先验提示词<br/>真实信号 f* 与采样提示词 cs"] --> B["条件割线流形采样与克里斯托弗分布估计<br/>抽样潜向量对计算差分频谱能量包络"]
    B --> C["提示词兼容度调控的傅里叶主动采样<br/>构造采样概率向量并抽取非均匀频域掩膜"]
    C --> D["零填充加权观测初始化与潜空间优化求解<br/>频域测量 y 经共轭反变换反求最优潜编码"]
    D --> E["输出：条件恢复图像<br/>生成器解码重构高保真信号"]

关键设计¶

1. 条件割线流形采样与克里斯托弗分布估计：量化条件类内的频域能量集中度 为了在物理受限的傅里叶采样中实现主动测量分配，必须衡量条件生成模型所张成的信号流形在各个傅里叶坐标上的可区分度。给定条件生成器 \(G: \mathbb{R}^k \times \mathcal{C} \to \mathbb{X}\) 及有界潜空间 \(B_2^k(R)\)，条件类 \(\mathbb{F}_{c_s}\) 内任意两点之差构成自差分集合（即割线类）\(\mathbb{F}_{c_s} - \mathbb{F}_{c_s}\)。在傅里叶测量算子 \(L_i(h) = \mathbf{P}_i \mathbf{F} h\) 下，第 \(i\) 个傅里叶坐标上的广义克里斯托弗函数定义为所有非零割线能量在该坐标上的最大归一化投影：

\[K(\mathbb{F}_{c_s}-\mathbb{F}_{c_s})(i) = \sup_{h \in (\mathbb{F}_{c_s}-\mathbb{F}_{c_s})\setminus \{0\}} \frac{|\mathbf{P}_i \mathbf{F} h|^2}{\|h\|_2^2}, \quad i \in D\]

由于深度生成网络映射下的全局确界优化无法解析求解，算法采用蒙特卡洛试探策略：重复从高斯潜分布中独立采样成对向量 \(z_1, z_2\)，送入生成器得到生成样本对并作差归一化，通过离散傅里叶变换统计所有试探样本在各坐标的能量峰值 \(a_i = |y_i|^2 / \epsilon^2\)，以坐标极大值迭代逼近真实克里斯托弗函数 \(\widetilde{K}(i)\)。最后归一化得到全频域全支撑概率分布 \(\mu_{c_s}(i) = \widetilde{K}(i) / \sum_j \widetilde{K}(j)\)。该分布天然为承载更多类内形变能量的频段分配更高采样权重。

2. 提示词兼容度调控的傅里叶主动采样：统一刻画三元提示词失配代价 在实际采样和重建中，\(c_s\)、\(c_r\) 与 \(c_*\) 可能存在失配。为了在统一理论框架下度量采样分布对下游几何的覆盖程度，本文提出了核心统计标量——提示词兼容度因子（Prompt Compatibility Factor）：

\[\Lambda(c_1, c_2, c_3) = \max_{i \in D} \frac{K(\mathbb{F}_{c_1}-\mathbb{F}_{c_2})(i)}{\mu_{c_3}(i)}\]

当采样与重建提示词对齐时（\(c_r = c_s\)），\(\Lambda(c_r, c_r, c_r)\) 精确退化为传统 CS4ML 框架的克里斯托弗复杂度常数 \(\kappa(\mathbb{F}_{c_r}-\mathbb{F}_{c_r})\)；而在采样-重建失配（\(c_s \neq c_r\)）时，\(\Lambda(c_r, c_r, c_s)\) 显式衡量了采样测度 \(\mu_{c_s}\) 对区分恢复空间 \(\mathbb{F}_{c_r}\) 中信号所需频域分量的覆盖度。若某频段对于恢复空间至关重要却在采样分布中概率极低，\(\Lambda\) 便会急剧放大，直接体现为保持经验非退化性（Empirical Nondegeneracy）与集合约束特征值条件（S-REC）所需的采样样本量 \(m\) 的膨胀。对于深度为 \(d\) 的无偏置 ReLU 生成网络，保证恢复算子满足 \(S\text{-}REC(\mathbb{F}_{c_r}, \sqrt{1-\tau}, 0)\) 的样本复杂度下界为：

\[m \gtrsim \tau^{-2} \Lambda(c_r, c_r, c_s) \left[ k(d-1)\left(1 + \log\frac{\bar{k}_{c_r}}{k}\right) + k\left(1 + \log\frac{1}{\tau \sqrt{\underline{\mu}}}\right) + \log\frac{1}{\delta} \right]\]

其中 \(\underline{\mu} = \min_{i} \mu_{c_s}(i)\) 为最小频域覆盖概率。对于 \(L\)-Lipschitz 连续生成网络，样本界同样由 \(\tau^{-2} \Lambda(c_r, c_r, c_s) \cdot k \log(1 + \frac{LR}{\xi \tau \sqrt{\underline{\mu}}})\) 严格约束，从而为条件主动采样的稳定性提供了首个显式的理论保障。

3. 零填充加权观测初始化与潜空间优化求解：跨类别近似误差分解与反演 在确定测量掩膜 \(\Omega = \{I_1, \dots, I_m\} \sim \mu_{c_s}\) 后，加权测量算子构建为 \(\mathbf{A}_\Omega = \frac{1}{\sqrt{m}} \mathbf{W}_\Omega^{1/2} \mathbf{P}_\Omega \mathbf{F}\)，其中权重矩阵对角线为 \(1/\mu_{c_s}(I_j)\)。在真实信号 \(f^* \in \mathbb{F}_{c_*}\) 可能脱离恢复类别 \(\mathbb{F}_{c_r}\) 的不可知（agnostic）信号恢复设定下，任意 \(\omega\)-近似解 \(\hat{f} = G(\hat{z}, c_r)\) 的确定性误差被证明可分解为三项：

\[\|\hat{f} - f^*\|_2 \le \left(1 + \frac{2\sqrt{\Lambda(c_*, c_r, c_s)}}{\gamma}\right) \inf_{f \in \mathbb{F}_{c_r}} \|f^* - f\|_2 + \frac{2\|e\|_2 + \omega + q}{\gamma}\]

公式第一项揭示了跨类别差分空间 \(\mathbb{F}_{c_*} - \mathbb{F}_{c_r}\) 在采样分布下的交叉几何复杂度，清晰表明提示词偏差将如何线性放大最佳流形逼近误差。在实际求解优化阶段，由于直接对扩散网络求解非凸目标极易陷入局部极值，算法采用零填充重构 \(f_{\text{zf}} = \frac{m}{n} \mathbf{A}_\Omega^H y\) 通过 VAE 编码器映射至潜空间，并叠加高斯扰动至初始扩散步长作为初始值 \(z_{\text{init}}\)，随后利用 Adam 优化器配合余弦学习率衰减与早停策略最小化测量残差，有效缓解了反演优化对初值的敏感性。

实验关键数据¶

主实验¶

实验基于 Stable Diffusion 1.5（512×512 分辨率，20 步 DDIM 采样，CFG=7.5）展开评估，考察四种提示词构成的族库：\(c_{\text{uc}}=\texttt{""}\)（无条件）、\(c_{\text{db}}=\texttt{"daytime beach"}\)、\(c_{\text{sb}}=\texttt{"sunset beach"}\) 以及语义迥异的 \(c_{\text{ca}}=\texttt{"cat"}\)。在域内提示词失配任务中，真实生成提示词为 \(c_* = \texttt{"sunset over a sandy coast"}\)。下表展示在无条件恢复设置（\(c_r = c_{\text{uc}}\)）下，采用不同主动采样分布在不同采样率（\(m/n\)）下的图像重建 PSNR (dB) 与 SSIM 对比（每个设置 5 次独立实验均值）：

采样分布 \(\mu_{c_s}\)	采样率 0.00125 (0.125%)	采样率 0.0025 (0.25%)	采样率 0.005 (0.5%)	采样率 0.01 (1.0%)	采样率 0.02 (2.0%)
匹配分布 \(\widetilde{\mu}_{c_{\text{sb}}}\) (Ours)	17.92 / 0.582	18.85 / 0.618	20.14 / 0.665	22.18 / 0.724	24.52 / 0.781
相似分布 \(\widetilde{\mu}_{c_{\text{db}}}\)	16.58 / 0.551	17.62 / 0.589	19.12 / 0.638	21.05 / 0.702	23.41 / 0.762
无条件分布 \(\widetilde{\mu}_{c_{\text{uc}}}\)	15.82 / 0.542	16.89 / 0.578	18.25 / 0.624	20.12 / 0.689	22.45 / 0.751
严重失配 \(\widetilde{\mu}_{c_{\text{ca}}}\)	14.96 / 0.535	16.02 / 0.571	17.45 / 0.619	19.22 / 0.680	21.56 / 0.742
零填充基线 (Zero-Filled)	8.12 / 0.185	9.45 / 0.224	11.20 / 0.281	13.50 / 0.352	16.10 / 0.441

在所有测试采样率下，与目标语义最为接近的 \(\widetilde{\mu}_{c_{\text{sb}}}\) 相比其他采样策略平均带来 0.62 至 2.96 dB 的 PSNR 增益，以及 0.0034 至 0.0469 的 SSIM 提升，所有生成重建均大幅超越零填充频域逆变换基线。

消融实验¶

消融实验深入探讨分类器自由引导尺度（CFG）对采样分布集中度与反演恢复能力的双向影响。测试以 \(c_r = c_{\text{sb}}\) 在域内失配、域内匹配和域外真实自然图像三大任务中的平均表现（跨采样率与采样分布平均）：

实验任务	CFG 1.0 (PSNR / SSIM)	CFG 7.5 (PSNR / SSIM)	性能提升 (CFG 1.0 vs 7.5)	恢复提示词 \(c_r = c_{\text{uc}}\) (CFG 7.5)
域内提示词失配 (\(c_* = \text{coast}\))	19.45 / 0.685	17.14 / 0.664	+2.31 dB / +0.0208	19.33 / 0.684
域内提示词匹配 (\(c_* = c_{\text{sb}}\))	21.24 / 0.732	17.35 / 0.697	+3.89 dB / +0.0346	21.11 / 0.731
域外真实图像 (Out-of-range)	17.82 / 0.658	14.83 / 0.625	+2.99 dB / +0.0328	17.70 / 0.657

实验数据表明，将反演优化阶段的 CFG 降至 1.0 时，能够全面克服高 CFG（7.5）对潜在空间的过度语义束缚，在三个实验全矩阵的 60 个采样配置单元格中无一例外全部取得显著提升，且略微反超无条件基准（平均增益 +0.123 dB PSNR 与 +0.0012 SSIM）。

关键发现¶

提示词对频域采样的非均匀重塑具有明确物理意义：经验克里斯托弗函数不仅保留了自然图像通用的低频偏置，更在特定高频方向和纹理区域针对性地提升了采样权重。采样提示词与目标语义越契合，采得高价值有效频率的概率越高。
高 CFG 是制约条件反问题优化的核心瓶颈：在主实验中，当统一使用 CFG=7.5 时，无条件反演（\(c_r = c_{\text{uc}}\)）往往胜过强提示词反演（\(c_r = c_{\text{sb}}\)）。这是因为高引导尺度使得潜空间生成流形过度向文本语义聚拢，收紧了模型拟合物理傅里叶测量的自由度；而将 CFG 回调至 1.0 后，条件先验的精确引导优势得以彻底释放。
域外图像重建的采样先验增益减弱：在真实摄影图像反演中，所有基于扩散生成器构建的主动采样分布相比域内任务的增益从 1.34 dB 下降至 0.13 dB，且整体 PSNR 下降约 3.50 dB，验证了真实信号脱离生成器值域（Out-of-range）时由跨类别割线覆盖不足带来的理论泛化瓶颈。

亮点与洞察¶

首次建立了三元提示词解耦的条件生成式压缩感知数学架构，用一个简洁的提示词兼容度因子 \(\Lambda(c_1, c_2, c_3)\) 统一了采样设计、网络架构复杂度与下游不可知恢复误差上界。
揭示了主动采样与潜空间非凸优化之间的解耦特性：测量端的采样分布设计更关注频域可区分度，而恢复端的文本反演则高度依赖优化流形的平滑性与灵活性。
将经典稀疏采样的克里斯托弗函数扩展至深层黑盒扩散模型，提出了可工程化实现的蒙特卡洛极大值经验逼近算法，为现代多模态反问题提供了具备严格理论背书的主动感知工具链。

局限与展望¶

理论分析与实际优化求解存在代沟：理论推导基于加权最小二乘目标以保障统计等距近距性，而数值实验中由于深度扩散优化的高度病态性，采用了未加权的测量目标，导致尾部高杠杆频率对梯度的贡献未完全按理论权值放大。
克里斯托弗函数的蒙特卡洛估计尾部截断：由于真实深层网络的极值搜索难以遍历整个紧致潜球，有限样本估计可能低估边缘奇异频率的能量，导致极端频率失配时的 \(\Lambda\) 产生较大理论发散。
扩散网络 Lipschitz 常数过于保守：目前的确定性保证依赖于理想化的前馈 ReLU 展开或紧致集上的全局 Lipschitz 连续性，未来需针对包含多步去噪轨迹与注意机制的真实扩散骨干开发更精细的非均匀恢复理论（如基于 Rényi 散度或局部切空间分析）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 创新性地将文本提示词解耦为采样、重建与真实信号三元组，建立了条件克里斯托弗采样的严密恢复理论。
实验充分度: ⭐⭐⭐⭐ 涵盖 Stable Diffusion 上的域内失配、域内匹配、域外真实图像重建以及详细的 CFG 消融分析，但受限于算力未覆盖真实临床 MRI 硬件部署。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完整，附录提供了详尽的测度覆盖引理与 S-REC 证明链条，问题定义极其精准。
价值: ⭐⭐⭐⭐ 为多模态引导下的压缩物理传感（如条件 MRI、高光谱快照成像）提供了从理论到采样算法的坚实范式支撑。