Bound-Conditioned Latent Inference for Progressive Image Compression¶

会议: NeurIPS 2026
arXiv: 2610.30966
论文: https://arxiv.org/abs/2610.30966
领域: 模型压缩
关键词: 渐进式图像压缩, 三值平面编码, 区间约束推断, 熵模型, 连续潜变量

一句话总结¶

将渐进式三值平面编码重构为收缩区间约束下的连续潜变量序贯推断框架，通过自回归联合精炼高斯熵参数与潜变量重构值，在显著降低参数量与解码时延的同时取得 SOTA 率失真性能。

研究背景与动机¶

渐进式图像压缩（Progressive Image Compression）旨在通过单一连续码流的前缀实现从粗到精的图像重构，这在网络自适应流式传输、带宽受限通信和多质量存储等场景中具有关键应用价值。传统的渐进编码算法（如 Progressive JPEG、JPEG2000、SPIHT）多基于变换域系数重排或嵌入式比特平面切分，而近年来基于深度神经网络的图像编解码器虽然在单码率（Fixed-rate）优化上取得了超越传统标准甚至 VVC 的压缩性能，却大多无法从单一比特流的前缀灵活解码出多尺度质量。为此，以 DPICT 和 CTC 为代表的深度渐进式编解码器引入了三值平面（Trit-plane）分解技术，将连续潜变量离散化为一系列序贯传输的三值符号（Trits），大幅拓宽了可解码码率区间。

然而，现有三值平面编码方案在建模上存在一个基础性的盲区：它们几乎完全将已解码的三值视作独立的离散符号，仅用于后续离散条件概率预测或加法式部分重构修正。实际上，在三值平面切分过程中，每一次解码三值不仅代表接收了一个离散符号，更在物理本质上将对应位置的连续潜变量严格限制在了一个不断收缩的连续区间内。由于 CTC 等先序方法未能显式建模这种可行区间的几何约束，模型在平面内解码时无法利用已确定的区间边界来校正连续高斯先验分布，且为了适配不同量化尺度的三值平面，CTC 不得不为每个平面独立维护庞大的预测网络，导致模型参数量急剧膨胀（超过 10 亿参数），且基于循环的离散概率组合计算开销沉重。

面对离散符号建模与连续潜变量本质之间的矛盾，本文的核心切入点是将渐进式三值平面解码重新定义为收缩可行区间约束下的连续潜变量序贯推断问题。核心 idea：显式利用已解码三值构成的连续可行区间上下界，结合超先验信息输入共享神经网络，联合自回归精炼高斯熵模型参数与带界约束的潜变量重构估计，以区间数值积分替代离散概率合成，实现高压缩率、低参数量与低时延的统一。

方法详解¶

整体框架¶

BLI（Bound-Conditioned Latent Inference）将渐进式解码过程建模为步进式状态推断。设输入图像 $\mathbf{X}$ 经分析变换网络 $g_a$ 映射为潜变量特征 $\mathbf{Y} \in \mathbb{R}^{C \times H \times W}$，其超先验网络从超潜变量 $\mathbf{Z}$ 估计出初始高斯参数 $(\mathbf{M}^0, \mathbf{\Sigma}^0)$ 与初始支撑区间 $(\mathbf{L}^0, \mathbf{U}^0)$。在整个编码进程中，设全局步长为 $k=1,2,\dots$。在编码步 $k$ 开始前，解码端已知由历史三值界定的可行区间 $\mathcal{I}_i^{k-1} = [\mathbf{L}_i^{k-1}, \mathbf{U}_i^{k-1}]$，其中心与宽度分别为 $\mathbf{C}^{k-1} = (\mathbf{L}^{k-1} + \mathbf{U}^{k-1})/2$ 和 $\mathbf{D}^{k-1} = \mathbf{U}^{k-1} - \mathbf{L}^{k-1}$。BLI 模块接收区间中心、半宽以及初始超先验参数，通过 Swin Transformer 注意力骨干与轻量 CNN 预测当前步的高斯分布参数 $(\mathbf{M}^k, \mathbf{\Sigma}^k)$ 与残差重构估计 $\hat{\mathbf{Y}}^{k-1}$。解码当前子步三值后，可行区间收缩至三分之一的三值子区间 $(\mathbf{L}^k, \mathbf{U}^k)$，驱动下一步推断。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与超先验信息<br/>估计初始参数 (M⁰, Σ⁰) 及初始界 (L⁰, U⁰)"] --> B["区间约束建模与中心残差重构<br/>以中心 Cᵏ⁻¹ 与半宽 Dᵏ⁻¹/2 显式约束高斯分布与重构"]
    B --> C["步进式平面内自回归推断<br/>多步细分并由共享 Swin-CNN 统一跨平面预测"]
    C -->|解码当前步三值并更新收缩区间| D["尺度加权端点率失真优化<br/>多平面反比权重联合优化熵损失与图像失真"]
    D --> E["渐进式码流输出与多质量图像重构"]

关键设计¶

1. 区间约束建模与中心残差重构：将离散符号转化为连续潜变量的可行域约束 以往的三值编解码器仅在离散域对三值符号概率做分类交叉熵建模，忽略了连续潜变量必须落在特定区间内的几何必然性。BLI 将当前步骤的解空间严格限制在已知区间 $\mathcal{I}_i^{k-1} = [\mathbf{L}_i^{k-1}, \mathbf{U}_i^{k-1}]$ 内。在网络预测端，不仅将区间中心 $\mathbf{C}^{k-1}$ 与半宽 $\mathbf{D}^{k-1}/2$ 作为显式空间先验特征连同超先验特征一同输入，还在输出层直接施加了区间重缩放机制： $$ \mathbf{M}^k = \mathbf{C}^{k-1} + \frac{\mathbf{D}^{k-1}}{2} \odot \tanh(\mathbf{F}_M), \quad \hat{\mathbf{Y}}^{k-1} = \mathbf{C}^{k-1} + \frac{\mathbf{D}^{k-1}}{2} \odot \tanh(\mathbf{F}Y) $$ 其中 $\mathbf{F}_M, \mathbf{F}_Y$ 分别为对应预测头输出的隐层特征。由于 $\tanh$ 的值域为 $(-1, 1)$，该设计保证了预测的高斯均值 $\mathbf{M}^k$ 与潜变量点估计 $\hat{\mathbf{Y}}^{k-1}$ 严格落在当前可行区间内部，杜绝了无界发散与越界预测错误。在熵编码阶段，落入特定三值子区间 $\mathcal{I}_{i, t}^{k-1}$ 的概率直接通过高斯累积分布函数（CDF）积分计算： $$ P(y_i \in \mathcal{I} \mid \mathb}^{k-1{M}_i^k, \mathbf{\Sigma}i^k) = \Phi\left(\frac{U_{i, t_i}^{k-1} - \mahbf{M}_i^k}{\mathbf{\Sigma}_i^k\right) - \Phi\left(\frac{L_{i, t_i}^{k-1} - \mathbf{M}_i^k}{\mathbf{\Sigma}_i^k}\right) $$ 这种基于连续高斯区间的积分完全替代了传统方案中复杂繁琐的离散概率组合循环，使得非神经网络处理时延从 CTC 的 6.44 秒大幅压缩至 1.05 秒。

2. 步进式平面内自回归推断：打破平面静态假设并统一多平面预测架构 先前方法如 CTC 和 DPICT 在一个三值平面的传输过程中保持先验概率模型完全静态，且 CTC 为每个量化等级的三值平面分别训练了独立的预测子网络，导致全模型参数量超过 10 亿。BLI 打破了平面边界的静态限制，在单个三值平面内引入了细粒度的步进式自回归推断（In-Plane Autoregressive Refinement）。对于包含高熵信息的精细量化平面，BLI 将其进一步细分为多个子步骤（例如在评估时采用 4, 4, 6, 16, 24 步的分阶段划分策略）。在每个子步骤中，基于已解码的部分三值更新区间，并在新的紧致约束下重新评估剩余未解码变量的空间相关性，实现高斯参数与重构表示的实时细化。更重要的是，BLI 采用跨平面共享参数的 Swin Transformer 骨干（10 层 Swin Block，隐层维度 960，16 个注意力头）配合平面特定的轻量级 MLP 头，仅用 196.12M 参数就替代了 CTC 庞大的分立网络群，参数量锐减 5.3 倍。

3. 尺度加权端点率失真优化：适配多尺度量化间隔的多步联合训练 渐进式编码的训练难点在于需要同时平衡各个中间比特率端点的重建质量与编码比特数。由于三值量化网格从最低有效三值（LST）到最高有效三值（MST）每一级间隔以 3 倍速度指数放大，不同平面的量化误差与梯度尺度差异悬殊。BLI 提出了端点累积率失真联合损失函数： $$ \mathcal{L} = \sum_{l \in \mathcal{K}{\text{end}}} \alpha_l \left( \sum_D^l \right) $$ 其中 }^l \mathcal{L}_R^k + \lambda \mathcal{L$\mathcal{K}_{\text{end}}$ 为各三值平面的终点步骤集合，$\mathcal{L}_R^k$ 为第 $k$ 步各位置三值符号的负对数似然码率损失，$\mathcal{L}_D^l = \|\mathbf{X} - g_s(\hat{\mathbf{Y}}^l)\|_2^2$ 为到达平面终点时的图像重建均方误差。为了消除量化网格尺度差异带来的损失倾斜，权重 $\alpha_l$ 严格设为量化区间平方的倒数，即从 LST 到 MST 权重以 $(1/9)$ 的比例逐级衰减（权重序列对应 $\{(1/9)^0, (1/9)^1, \dots, (1/9)^4\}$）。这确保了网络在粗粒度平面与精细平面之间获得均衡的梯度回传，实现平滑稳定的渐进率失真曲线。

损失函数 / 训练策略¶

模型基于 Flickr2W 数据集裁切的 $256 \times 256$ 图像块进行两阶段训练。第一阶段使用 AdamW 优化器以学习率 $10^{-4}$ 预训练修改后的 FTIC 骨干网络（移除原有的通道自回归，替换为非自回归超先验输出初始参数）共 1.0M 次迭代；第二阶段固定骨干结构，联合优化 BLI 模块，设定 $\lambda = 0.0483$，学习率设为 $5 \times 10^{-5}$，迭代优化 0.5M 次。训练阶段对三值采用均匀步进随机划分策略以泛化不同缺失模式，评估阶段则采用基于预期率失真斜率收益 $- \Delta D / \Delta R$ 降序排序的传输调度策略。

实验关键数据¶

主实验¶

在 Kodak、CLIC 2021 和 JPEG-AI 三大标准评测数据集上，BLI 与传统编解码器（JPEG2000、BPG444、VTM 12.0）、单码率深度编解码器（STF、LIC-TCM、FTIC）以及当前代表性渐进式编解码器（PLONQ、FTIC-DPICT、FTIC-CTC）进行了全面比较。以统一骨干重实现的 FTIC-DPICT 为锚点，PSNR BD-rate 结果如下表所示：

算法类别	编解码器	Kodak BD-rate (%)	CLIC BD-rate (%)	JPEG-AI BD-rate (%)
传统方法	JPEG2000	+47.54	+58.41	+55.73
传统方法	BPG444 (x265)	-7.92	+0.21	+0.74
传统方法	VTM 12.0 (Intra)	-2.14	-2.17	-0.85
单码率深度	STF (CVPR 2022)	-14.85	-12.87	-11.69
单码率深度	LIC-TCM (CVPR 2023)	-18.69	-19.37	-18.18
单码率深度	FTIC (ICLR 2024)	-26.37	-23.33	-20.49
渐进式深度	PLONQ (ICIP 2021)	+14.83	-	+21.29
渐进式深度	FTIC-CTC (CVPR 2023)	-9.82	-11.52	-11.53
渐进式深度	BLI (本文)	-17.78	-17.12	-17.52

下表汇报了在 Kodak 数据集（分辨率 $768 \times 512$）上的模型参数量、计算复杂度与实际端到端解码时延（硬件环境为 AMD Ryzen 9 3900X + NVIDIA RTX 4090）：

编解码器	参数量 (M)	浮点运算量 FLOPs (T)	神经网络时延 (s)	非神经处理时延 (s)	总时延 (s)
FTIC-DPICT	40.53	41.42	0.08	5.77	5.85
FTIC-CTC	1,032.65	66.69	0.18	6.44	6.62
BLI (本文)	196.12	65.96	3.72	1.05	4.77

消融实验¶

在 Kodak 数据集上针对模型设计组件、平面内细分步数以及概率建模形式进行详尽消融（BD-rate 均相对于 FTIC-DPICT 统计）：

实验配置 / 变体	核心变动说明	参数量 (M)	时延 (s)	BD-rate (%)
Method I	移除区间半宽输入及 $\tanh$ 边界重缩放约束	155.28	4.74	-15.64
Method II	移除潜变量预测分支，直接使用高斯均值重构	139.41	4.58	-15.01
Method III	降低 Swin 注意力隐层维度与卷积通道容量	119.32	4.00	-12.48
1 步 / 平面	每个三值平面仅执行 1 次推断（无平面内细分）	196.12	3.82	-10.40
2 步 / 平面	每个三值平面均匀细分为 2 个推断子步	196.12	3.92	-12.90
4 步 / 平面	每个三值平面均匀细分为 4 个推断子步	196.12	4.15	-14.79
IPAR + 离散预测	保持相同结构与调度，直接预测离散三值 logits	207.80	-	-14.06
BLI (完整模型)	全调度自回归区间推断（4, 4, 6, 16, 24）	196.12	4.77	-17.78

关键发现¶

区间物理边界约束是性能提升的关键保障：Method I 仅去掉区间宽度输入与 $\tanh$ 重缩放输出约束，BD-rate 即恶化 2.14%，证明显式约束输出落在可行区间内对避免外推误差至关重要；分布演变可视化也显示其方差收缩更为明显、均值更紧密贴合真实潜变量。
平面内多步细分带来显著边际增益：单纯将每平面的单步推断增加为 2 步和 4 步，BD-rate 分别进一步下降 2.50% 和 4.39%；完整的非均匀调度更是达到了 -17.78%。即便是最基础的 1 步/平面设置（-10.40%），性能也已经超越了拥有 10 亿参数的 FTIC-CTC（-9.82%）。
连续区间积分大幅削减端到端耗时：虽然 BLI 在平面内多次调用神经网络使得神经推理时间增至 3.72s，但由于直接通过高斯累积分布函数在区间上积分即可得到三值符号概率，完全省去了 CTC 和 DPICT 中逐像素嵌套循环的离散组合运算，非神经网络处理时间从 6.44s 骤降至 1.05s，最终实现比 CTC 快 28% 的总解码速度。
跨骨干泛化能力强韧：在 CNN 骨干（Cheng 2020）上，BLI 相比对应 DPICT 达到 -19.87%（原 CTC 仅为 -14.84%）；在 Transformer 骨干（Liu 2023 LIC-TCM）上，BLI 达到 -22.30%（CTC 仅为 -6.86%），展现出广泛的即插即用适用性。

亮点与洞察¶

将离散解码事件物理化为连续区间几何收缩：跳出了既往离散符号概率建模的思维定势，抓住三值平面切分与连续潜变量空间之间的双射区间映射，巧妙借用凸集投影（POCS）的思想实现神经网络参数化的有界推断。
以神经计算换离散计算的系统级能效设计：在传统方案中，复杂的离散概率组合多受限于 CPU 端逐循环执行；BLI 将复杂度转移到 GPU 端高并行的深度网络自回归前向中，同时用简单的解析积分实现熵编码，实现了理论性能与实际端到端时延的双赢。
单一共享权重适配任意量化精度：利用输入端显式注入的区间中心与尺度参数作为归一化参考坐标，使单一模型能够无缝泛化到动态变化的量化尺度，彻底摆脱了 CTC 为多平面堆叠独立子网络带来的千兆参数冗余。

局限与展望¶

测试期传输调度与推断解耦的潜在次优性：当前测试时的三值传输顺序沿用了 DPICT 基于初试率失真收益的固定启发式排序，未能在每个自回归子步根据动态更新的后验分布实时重排未传三值，存在进一步联合调度的优化空间。
与前沿专用单码率编解码器仍有差距：在极高码率端，BLI 与针对特定单一码率定制训练的非渐进式 SOTA 模型（如 FTIC 的 -26.37%）相比依然存在性能妥协，这是嵌入式前缀解码内在约束所带来的通用挑战。

评分¶

新颖性: ⭐⭐⭐⭐☆ 突破性地将三值符号视作连续区间的几何约束，重构了渐进式图像压缩的潜变量推断范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖三大评测集、跨骨干验证、细致消融、复杂度解构及端到端时延测试，论证极其扎实。
写作质量: ⭐⭐⭐⭐⭐ 动机清晰，数学表述准确，从几何直觉到网络设计的推导层层递进。
价值: ⭐⭐⭐⭐⭐ 在大幅削减渐进式编解码器参数与时延的同时刷新率失真性能上限，对流媒体与可伸缩图像传输具有高工程实用价值。

实验配置 / 变体	核心变动说明	参数量 (M)	时延 (s)	BD-rate (%)
Method I	移除区间半宽输入及 \(\tanh\) 边界重缩放约束	155.28	4.74	-15.64
Method II	移除潜变量预测分支，直接使用高斯均值重构	139.41	4.58	-15.01
Method III	降低 Swin 注意力隐层维度与卷积通道容量	119.32	4.00	-12.48
1 步 / 平面	每个三值平面仅执行 1 次推断（无平面内细分）	196.12	3.82	-10.40
2 步 / 平面	每个三值平面均匀细分为 2 个推断子步	196.12	3.92	-12.90
4 步 / 平面	每个三值平面均匀细分为 4 个推断子步	196.12	4.15	-14.79
IPAR + 离散预测	保持相同结构与调度，直接预测离散三值 logits	207.80	-	-14.06
BLI (完整模型)	全调度自回归区间推断（4, 4, 6, 16, 24）	196.12	4.77	-17.78