Recovery Guarantees for Posterior Sampling of One-Bit Compressed Sensing¶
会议: NeurIPS 2026
arXiv: 2610.11834
OpenReview: https://openreview.net/forum?id=FLXvxqXPH4
代码: https://github.com/Dugehude/pnp-onebit
领域: 模型压缩
关键词: 单比特压缩感知, 后验采样, 样本复杂度, 扩散先验, 即插即用
一句话总结¶
针对含噪单比特压缩感知中先验几何复杂度未知与极度量化信息损失的难题,本文首次从分布视角给出了任意球面数据先验下后验采样的样本复杂度上下界,证明了近似覆盖数 \(\log \mathrm{Cov}_{\eta, \delta}(R)\) 的核心支配地位及其在 Wasserstein 先验失配下的鲁棒性,并提出了基于扩散先验的分裂吉布斯即插即用采样算法 PnP-OneBit,在严苛压缩率下显著超越现有确定性点估计与优化方法。
研究背景与动机¶
压缩感知旨在利用信号的低维先验结构,从远低于奈奎斯特采样率的线性测量中恢复高维信号。然而,在受限于低精度采集硬件、存储空间与通信带宽的高吞吐物联网和边缘传感系统中,量化器往往仅能保留测量值的符号位,从而构成了极端的单比特压缩感知(One-Bit Compressed Sensing)模型。传统理论大多基于固定的集合假设(如稀疏向量、低维流形或 Lipschitz 生成模型范围),通过二值稳定嵌入与均匀集中不等式导出确定性极小化恢复保证。然而,这种基于支集集合的传统视角对于结构复杂且具有丰富概率密度的实际数据先验显得过于悲观,完全忽略了概率质量在信号空间中的非均匀分布特性。
近期,线性高斯压缩感知已开始转向分布视角,证明了后验采样的样本复杂度本质上由数据分布高概率区域的近似覆盖数决定。但在单比特测量场景下,这一框架面临根本性挑战:符号量化完全丢弃了幅度信息,使得线性测量中的连续欧氏残差比对与似然分离性分析彻底失效;加性高斯噪声经非线性阶跃函数作用后产生了复杂的离散扰动;同时,实际采用的生成模型学习先验不可避免地与真实数据分布存在失配。如何在非线性符号观测与先验分布失配的双重阻碍下,刻画后验采样的理论恢复保证并设计高效实用的高维后验采样算法,构成了该领域亟待解决的核心矛盾。
面对上述挑战,本文将分布视角压缩感知理论从连续线性观测推广至离散符号通道。核心 idea:利用球面高斯投影将测地距离转化为汉明距离分离间隙,证明后验采样的样本复杂度以概率密度高覆盖数 \(\log \mathrm{Cov}_{\eta, \delta}(R)\) 为主导阶并具备 Wasserstein 先验失配鲁棒性,同时结合信息论球面 Fano 下界证明其紧致性,最终通过分裂吉布斯交替采样框架与扩散先验构建出兼具理论保证与高频细节保真度的 PnP-OneBit 实用算法。
方法详解¶
整体框架¶
本文建立了面向含噪单比特压缩感知的统一理论与算法体系,由理论分析与实用算法两大部分协同构成。理论上,针对测量模型 \(y = \operatorname{sign}(Ax^* + \xi) \in \{-1, +1\}^m\)(其中 \(x^* \in \mathbb{S}^{n-1}\),\(\xi \sim \mathcal{N}(0, \sigma^2 I_m)\)),算法以球面归一化测地距离 \(\mathrm{d}_{\mathrm{S}}(x_1, x_2) = \frac{1}{\pi} \arccos\langle x_1, x_2 \rangle\) 为度量,通过构建近-远二值检验器,证明了利用学习先验 \(P\) 进行后验采样 \(\hat{x} \sim P(\cdot|y, A)\) 时,恢复误差 \(O(\eta)\) 所需的测量数由真实先验 \(R\) 的近似覆盖数 \(\log \mathrm{Cov}_{\eta, \delta}(R)\) 及单比特分离间隙 \(\Delta_\sigma\) 共同决定。而在算法层面,针对高维后验分布难以显式解析采样的困境,本文提出了 PnP-OneBit 算法,通过引入辅助变量将单比特 Probit 似然与数据先验解耦为交替条件采样,分别利用带解析梯度的朗之万蒙特卡洛(LMC)与预训练扩散模型的 DDIM 去噪逆过程实现高效交替采样。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入:含噪单比特观测 y 与传感矩阵 A"] --> D1["测地距离到汉明间距的非线性映射与近-远检验<br/>建立后验采样样本复杂度上界 O(log Cov / Δ_σ^2)"]
D1 --> D2["基于 Rényi 稳定性的先验分布失配边界转移<br/>控制 Wasserstein 误差下生成先验的稳定性"]
D2 --> D4["解耦似然与生成先验的分裂吉布斯即插即用采样 (PnP-OneBit)<br/>交替执行 Probit-LMC 采样与扩散模型 DDIM 去噪"]
D4 --> Out["输出:球面高保真重构信号 x^"]
In -.-> D3["单比特互信息容量约束与球面 Fano 紧致下界<br/>从信息瓶颈证明 log Cov 阶数下界不可规避"]
关键设计¶
1. 测地距离到汉明间距的非线性映射与近-远检验:建立非线性量化下的后验恢复上界
在单比特观测中,由于幅度信息的丢失,传统基于欧氏距离残差的连续对比无法直接应用。本文证明了在旋转对称的高斯测量矩阵 \(A\) 下,任意两个球面信号 \(x_1, x_2 \in \mathbb{S}^{n-1}\) 在经过含噪符号量化后,其离散二值符号观测的期望归一化汉明距离精确取决于它们的测地距离与噪声水平:
$\(\mathbb{E}[\mathrm{d}_{\mathrm{H}}(\operatorname{sign}(Ax_1+\xi), \operatorname{sign}(Ax_2))] = \frac{1}{\pi} \arccos\left(\frac{\cos(\pi \mathrm{d}_{\mathrm{S}}(x_1, x_2))}{\sqrt{1+\sigma^2}}\right) =: f_\sigma(\mathrm{d}_{\mathrm{S}}(x_1, x_2))\)$
基于映射函数 \(f_\sigma(w)\) 的严格单调性,定义观测分离间隙 \(\Delta_\sigma(c, \eta) = f_\sigma(c\eta) - f_\sigma(\eta)\)。通过设置汉明测试阈值 \(\tau = [f_\sigma(\eta) + f_\sigma(c\eta)] / 2\),构造单比特近-远检验器 \(\phi_{x_0, \eta}(y; A) = \mathbf{1}\{\mathrm{d}_{\mathrm{H}}(y, \operatorname{sign}(Ax_0)) \geq \tau\}\),证明了该检验在退火意义下的两类错误概率均以指数速度 \(\exp(-m \Delta_\sigma(c, \eta)^2 / 2)\) 衰减。进而利用有限个球帽覆盖真实先验的高概率区域并施加联合界,证明了测量数满足 \(m \geq C \frac{\log \mathrm{Cov}_{\eta, \delta}(R) + \log 2 + \log(1/\zeta)}{\Delta_\sigma(c, \bar{\eta})^2}\) 时,后验采样估计器能以高概率落入真值 \(O(\eta)\) 的测地近邻内。
2. 基于 Rényi 稳定性的先验分布失配边界转移:保证生成模型不精确时的采样鲁棒性
在实际应用中,用户无法获知真实分布 \(R\),只能借助深度生成模型学到的先验分布 \(P\)。针对这一模型失配问题,本文假设 \(R\) 与 \(P\) 在球面测地 Wasserstein 距离下满足 \(\mathcal{W}_{p, \mathrm{geo}}(R, P) \leq \rho\)。通过截断尾部极小概率质量,构建测地 \(\infty\)-Wasserstein 误差不超过 \(\varepsilon_\delta = \rho / \delta^{1/p}\) 的高概率耦合分量。为了控制分布扰动对后验采样的影响,利用高斯单比特观测似然比的有界性,推导出基于阶数 \(q = 1 + \lambda\) 的 Rényi 散度稳定性引理,结合 Hölder 不等式与数据处理不等式证明:
$\(\Pr(\mathrm{d}_{\mathrm{S}}(x^*, \hat{x}) \geq d + \varepsilon_\delta) \leq \left(1 - \frac{\lambda(1+\lambda) r_{\varepsilon_\delta}^2}{\sigma^2}\right)^{-\frac{m}{2(1+\lambda)}} \Pr(\mathrm{d}_{\mathrm{S}}(z^*, \hat{z}) \geq d)^{\frac{\lambda}{1+\lambda}}\)$
其中 \(r_{\varepsilon_\delta} = 2\sin(\pi\varepsilon_\delta / 2)\)。当失配量满足 \(r_{\varepsilon_\delta}^2 / \sigma^2 \leq \frac{1}{6} \Delta_\sigma(c, \bar{\eta})^2\) 时,采样误差能稳定传递,证明了即便先验存在微小漂移,后验采样依然保持渐近一致的样本复杂度:低噪声下为 \(O((\log \mathrm{Cov}_{\eta, \delta}(R) + \log(1/\zeta))\eta^{-2})\),高噪声下为 \(O((\log \mathrm{Cov}_{\eta, \delta}(R) + \log(1/\zeta))\sigma^2 \eta^{-4})\)。
3. 单比特互信息容量约束与球面 Fano 紧致下界:确立近似覆盖数的不可避免性
单比特量化的本质瓶颈在于每个观测分量仅能传输至多 1 bit 的信息量,因此连续测量的微分熵分析完全失效。本文首先通过二值熵不等式导出单比特观测信道互信息的严格上界:对于任意确定性矩阵有 \(I(y; x^*) \leq \frac{2m\log 2}{\pi\sigma^2} \|A\|_{2, \infty}^2\),对于高斯随机矩阵有 \(I(y; x^*|A) \leq \frac{2m\log 2}{\pi} \arcsin\left(\frac{1}{1+\sigma^2}\right)\)。随后,建立并证明了离散化度量空间中的球面 Fano 不等式变体,将高概率恢复条件逆向转化为互信息下界:
$\((1-\delta)\tau(1-2\delta) \log \mathrm{Cov}_{3\eta, \tau+3\delta}(R) \leq I(x^*; \hat{x}) + 2(1-\delta)\)$
将信道互信息上界与 Fano 下界联立求解,严格证明了任何可靠恢复算法所需的测量数必然满足 \(m \gtrsim \log \mathrm{Cov}_{3\eta, 4\delta}(R)\)。这一结论直接证实了上界中的主导项 \(\log \mathrm{Cov}_{\eta, \delta}(R)\) 在信息论意义上是本质最优且不可简并的。
4. 解耦似然与生成先验的分裂吉布斯即插即用采样 (PnP-OneBit):实现高效高维图像后验推断
理想后验分布 \(p(x|y, A) \propto \exp(-\mathcal{L}(x; y) - \mathcal{P}(x))\) 在高维图像空间中由于非凸隐式先验 \(\mathcal{P}(x) = -\log p_{\text{data}}(x)\) 而无法直接精确采样。本文提出 PnP-OneBit 算法,引入辅助变量 \(z \in \mathbb{R}^n\) 与动态收缩耦合参数 \(\varrho_k = \max\{\nu^k \varrho_0, \varrho_{\min}\}\),构建联合分布 \(\Pi(x, z) \propto \exp(-\mathcal{L}(z; y) - \mathcal{P}(x) - \frac{1}{2\varrho^2}\|x - z\|_2^2)\)。算法在两个条件子步间交替迭代:
- 似然条件采样:利用 Probit 似然的连续可微性,解析求导得到精确分数 \(\nabla_z \mathcal{L}(z; y) = -A^T [\frac{y}{\sigma} \odot \frac{\phi(r)}{\Phi(r)}]\)(其中 \(r = \frac{y \odot (Az)}{\sigma}\)),利用多步朗之万蒙特卡洛(LMC)实现带约束的梯度步采样;
- 先验条件采样:证明了先验采样步在数学形式上严格等价于扩散模型在时间 \(t^*\) 下的反向后验 \(p(x_0|x_{t^*})\),只需满足信噪比对齐条件 \(\varrho_k = \sigma_{t^*} / \alpha_{t^*}\) 与 \(z^{(k)} = x_{t^*} / \alpha_{t^*}\)。因此直接调用无条件预训练扩散模型,从中间噪声步执行反向 DDIM 积分,免去了传统半二次分裂(HQS)确定性优化导致的纹理过度平滑。
损失函数 / 训练策略¶
PnP-OneBit 属于零样本即插即用推断算法,测试阶段无需对预训练扩散模型权重进行微调。扩散先验直接复用在 FFHQ 与 ImageNet 上通过标准连续时间去噪得分匹配预训练好的无条件扩散骨干网络,其离散化预测网络 \(\epsilon_\theta(x_t, t)\) 最小化均方误差损失: $\(\mathcal{L}_{\text{diff}}(\theta) = \mathbb{E}_{t, x_0, \epsilon}\left[\|\epsilon_\theta(\alpha_t x_0 + \sigma_t \epsilon, t) - \epsilon\|_2^2\right]\)$ 在测试采样推断中,算法总迭代轮数设为 \(K=100\)。耦合参数从 \(\varrho_0 = 10.0\) 开始以衰减率 \(\nu = 0.9\) 指数退火至下限 \(\varrho_{\min} = 0.3\)。在第 \(k\) 轮外循环中,似然步采用步长 \(\kappa = 0.01\) 的带噪朗之万动力学执行 \(J=100\) 步迭代;先验步通过二分查找确定匹配时间节点 \(t^*\),随后运行 \(T=100\) 步、扰动噪声强度 \(\eta_{\text{DDIM}} = 0.5\) 的 DDIM 逆扩散求解器,逐步平衡单比特测量保真度与图像高频结构先验。
实验关键数据¶
主实验¶
主实验在分辨率为 \(256 \times 256\) 的人脸数据集 FFHQ 上进行,测量矩阵元素采样自高斯分布 \(\mathcal{N}(0, 1/m)\),环境加性高斯噪声水平固定为 \(\sigma = 0.5\)。对每张图像评估 5 次并统计均值与标准差,对比指标包含峰值信噪比(PSNR)、结构相似性(SSIM)和感知图像块相似度(LPIPS)。
| 方法 | \(n/m = 16\) (PSNR↑) | \(n/m = 16\) (SSIM↑) | \(n/m = 16\) (LPIPS↓) | \(n/m = 32\) (PSNR↑) | \(n/m = 32\) (SSIM↑) | \(n/m = 32\) (LPIPS↓) |
|---|---|---|---|---|---|---|
| DiffPIR | \(11.71 \pm 1.26\) | \(0.30 \pm 0.05\) | \(0.73 \pm 0.06\) | \(11.48 \pm 0.63\) | \(0.24 \pm 0.04\) | \(0.76 \pm 0.05\) |
| DPS | \(14.88 \pm 1.21\) | \(0.52 \pm 0.06\) | \(0.50 \pm 0.07\) | \(13.81 \pm 0.78\) | \(0.50 \pm 0.06\) | \(0.56 \pm 0.05\) |
| DAPS | \(14.84 \pm 1.61\) | \(0.43 \pm 0.06\) | \(0.59 \pm 0.06\) | \(12.02 \pm 0.82\) | \(0.31 \pm 0.06\) | \(0.61 \pm 0.06\) |
| QCS-SGM | \(18.11 \pm 2.43\) | \(0.52 \pm 0.10\) | \(0.52 \pm 0.07\) | \(17.12 \pm 1.84\) | \(0.49 \pm 0.09\) | \(0.59 \pm 0.06\) |
| SIM-DMIS | \(18.73 \pm 1.94\) | \(0.52 \pm 0.08\) | \(0.50 \pm 0.07\) | \(17.36 \pm 1.34\) | \(0.48 \pm 0.08\) | \(0.55 \pm 0.08\) |
| Diff-OneBit | \(21.95 \pm 1.23\) | \(0.53 \pm 0.08\) | \(0.47 \pm 0.06\) | \(18.68 \pm 0.98\) | \(0.51 \pm 0.06\) | \(0.53 \pm 0.06\) |
| PnP-OneBit (本文) | \(\mathbf{22.96 \pm 1.86}\) | \(\mathbf{0.69 \pm 0.09}\) | \(\mathbf{0.33 \pm 0.07}\) | \(\mathbf{19.64 \pm 1.23}\) | \(\mathbf{0.58 \pm 0.07}\) | \(\mathbf{0.49 \pm 0.07}\) |
消融实验¶
为分析算法在更恶劣环境噪声下的鲁棒性,在 FFHQ 数据集上将加性测量噪声加倍至 \(\sigma = 1.0\),检验各方法在压缩比 \(n/m = 16\) 与 \(n/m = 32\) 时的抗噪稳定性。
| 配置 / 方法 | \(n/m = 16\) (PSNR↑) | \(n/m = 16\) (SSIM↑) | \(n/m = 16\) (LPIPS↓) | \(n/m = 32\) (PSNR↑) | \(n/m = 32\) (SSIM↑) | \(n/m = 32\) (LPIPS↓) |
|---|---|---|---|---|---|---|
| DiffPIR (\(\sigma=1.0\)) | \(11.50 \pm 1.13\) | \(0.24 \pm 0.05\) | \(0.78 \pm 0.06\) | \(11.20 \pm 0.94\) | \(0.18 \pm 0.05\) | \(0.80 \pm 0.06\) |
| DPS (\(\sigma=1.0\)) | \(14.53 \pm 1.23\) | \(0.51 \pm 0.06\) | \(0.52 \pm 0.07\) | \(13.68 \pm 0.78\) | \(0.49 \pm 0.06\) | \(0.57 \pm 0.05\) |
| DAPS (\(\sigma=1.0\)) | \(14.50 \pm 1.48\) | \(0.40 \pm 0.05\) | \(0.61 \pm 0.07\) | \(13.57 \pm 0.98\) | \(0.48 \pm 0.06\) | \(0.56 \pm 0.07\) |
| QCS-SGM (\(\sigma=1.0\)) | \(18.43 \pm 2.47\) | \(0.52 \pm 0.10\) | \(0.54 \pm 0.07\) | \(17.00 \pm 1.76\) | \(0.49 \pm 0.09\) | \(0.61 \pm 0.06\) |
| SIM-DMIS (\(\sigma=1.0\)) | \(18.32 \pm 1.79\) | \(0.51 \pm 0.08\) | \(0.53 \pm 0.06\) | \(16.89 \pm 1.17\) | \(0.47 \pm 0.08\) | \(0.59 \pm 0.08\) |
| Diff-OneBit (\(\sigma=1.0\)) | \(21.15 \pm 1.17\) | \(0.40 \pm 0.06\) | \(0.49 \pm 0.06\) | \(18.32 \pm 0.92\) | \(0.48 \pm 0.06\) | \(0.54 \pm 0.06\) |
| PnP-OneBit (本文, \(\sigma=1.0\)) | \(\mathbf{22.22 \pm 1.73}\) | \(\mathbf{0.58 \pm 0.09}\) | \(\mathbf{0.35 \pm 0.07}\) | \(\mathbf{19.37 \pm 1.18}\) | \(\mathbf{0.57 \pm 0.07}\) | \(\mathbf{0.49 \pm 0.07}\) |
关键发现¶
- 显著提升感知质量与高频细节:在主实验(\(n/m=16\))中,PnP-OneBit 取得了 \(22.96\text{ dB}\) 的 PSNR 与 \(0.69\) 的 SSIM,相比前最佳方法 Diff-OneBit 分别提升了 \(1.01\text{ dB}\) 和 \(0.16\);尤其在感知指标 LPIPS 上从 \(0.47\) 大幅降低至 \(0.33\)(降幅达 \(29.8\%\)),彻底打破了以往单比特恢复算法在极度欠采样下人脸模糊和伪影严重的困局。
- 极端压缩比下的鲁棒性:当压缩率提升至 \(n/m = 32\) 时(仅保留 \(3.125\%\) 的 1-bit 观测),PnP-OneBit 的 PSNR 依然保持在 \(19.64\text{ dB}\),SSIM 达到 \(0.58\),性能降幅明显小于 baseline,证明了分布采样探索能够有效规避确定性优化容易陷入的伪高频局部极小值。
- 高噪声下的泛化抗干扰能力:在 \(\sigma=1.0\) 的高噪声环境下,PnP-OneBit 的 PSNR 仅微跌至 \(22.22\text{ dB}\),LPIPS 保持在 \(0.35\) 的优异水平,验证了理论分析中单比特期望汉明间距在大噪声平滑下的稳定性和渐进衰减规律。
- 后验采样方差的内在合理性:注意到 PnP-OneBit 的标准差略高于 Diff-OneBit(如 PSNR 方差为 \(\pm 1.86\) vs \(\pm 1.23\))。这源于两者的本质差异:Diff-OneBit 是寻找单点极大后验估计(MAP),通过平滑高频来强制降低方差;而 PnP-OneBit 是真实后验分布的随机采样,其探索随机性是保全丰富纹理细节的必要代价。
亮点与洞察¶
- 分布视角的单比特复杂度闭环:首次打破了传统单比特压缩感知对稀疏性或生成器流形等预设集合的严苛依赖,以近似覆盖数 \(\log \mathrm{Cov}_{\eta, \delta}(R)\) 为核心,同时建立了理论上界的充分条件与基于球面 Fano 的下界必要条件,二者在先验复杂度项上完全匹配。
- 精妙的先验失配稳定界转化:利用基于 Rényi 散度的变换技巧,成功克服了非线性符号量化破坏平滑连续测度的障碍,严格建立了生成模型学习先验与真实数据分布在测地 Wasserstein 距离下的误差容忍阈值。
- 高维即插即用算法无缝对齐:算法并未停留在纯理论构造,而是巧妙地将分裂吉布斯先验采样步在数学上映射为扩散模型的特定时间步逆向过程(\(\varrho_k = \sigma_t / \alpha_t\)),实现了无监督预训练生成先验与单比特似然的即插即用协同。
局限与展望¶
- 仅针对高斯加性测量噪声:现有理论推导强依赖于高斯随机测量矩阵的旋转不变性与高斯测量噪声的平滑特性;若噪声为敌对性扰动(adversarial noise)或测量矩阵具有强相干性结构,汉明距离与测地距离的单调闭式映射不再成立。
- 交替采样的高昂计算开销:PnP-OneBit 在每轮外循环中均需执行 \(J=100\) 次带似然梯度的 LMC 迭代以及多步 DDIM 反向去噪,单张图像重构耗时显著高于一步回归或传统基于隐空间投影的方法。
- 未来方向:探索针对非高斯结构化传感矩阵与对抗性量化噪声的鲁棒理论分析;引入一致性模型(Consistency Models)或扩散流匹配(Flow Matching)加速技术,将后验采样步骤压缩至数步以内。
相关工作与启发¶
- vs Jalal et al. (ICML 2021) 实例最优压缩感知: Jalal 等人首次提出了连续高斯测量下基于近似覆盖数的后验采样理论,但其依赖欧氏连续似然残差分离。本文将其推广至单比特离散观测,克服了符号阶跃非线性与幅度丢失的挑战,引入汉明距离分离间隙与球面几何分析。
- vs Diff-OneBit (Chen & Liu, AAAI 2026): Diff-OneBit 采用半二次分裂(HQS)框架寻找单点 MAP 最优估计,导致极端压缩率下高频纹理严重平滑。本文采用分裂吉布斯后验采样策略,能够探索真实后验分布的多模态高频特征,大幅改善视觉保真度与 LPIPS 指标。
- vs QCS-SGM (Meng & Kabashima, ICLR 2023): QCS-SGM 依赖近似消息传递(GAMP)推导得分生成先验下的量化重构,其理论仅适用于特定大系统极限。本文的后验采样理论对任意有限维高概率覆盖数成立,并提供了完备的先验失配鲁棒性保证。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从分布覆盖数视角给出单比特压缩感知的匹配样本复杂度上下界,并将扩散即插即用扩展至非线性单比特后验推断。
- 实验充分度: ⭐⭐⭐⭐☆ 在人脸(FFHQ)与复杂自然场景(ImageNet)以及多种噪声水平、极端压缩比下完成了详尽定量与定性对比。
- 写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨致密,从测地映射、覆盖联合界到 Fano 互信息下界一气呵成,理论与算法叙事浑然一体。
- 价值: ⭐⭐⭐⭐⭐ 为超低比特量化传感与深度生成先验后验采样的交叉领域奠定了坚实的理论基石,对极低带宽信号处理极具启发。