GVCC: Zero-Shot Video Compression via Codebook-Driven Stochastic Rectified Flow¶

会议: NeurIPS 2026
arXiv: 2603.26571
OpenReview: https://openreview.net/forum?id=uATPoYzBvE
代码: 待确认
领域: 图像生成
关键词: 视频压缩、Rectified Flow、码本驱动、随机微分方程 (SDE)、零样本生成

一句话总结¶

将预训练整流流视频生成模型转化为边际保持的随机微分方程，通过传输每步码本选取的噪声原子索引与符号直接驱动解码端生成轨迹，实现无需重训的端到端超低码率零样本视频压缩。

研究背景与动机¶

在极低比特率（如低于 0.01 bpp）场景下，传统混合视频编解码器（如 HEVC、VVC）以及端到端学习型神经视频编解码器（如 DVC、DCVC）通常会退化出严重的过平滑与高频纹理崩塌。这种现象本质上受制于率失真感知权衡（Rate-Distortion-Perception Trade-off）：以像素回归均方误差为目标的编解码器在信道信息极度匮乏时，只能退化到后验分布的条件均值，而无法采样出逼真自然的细节分布。尽管近期部分生成式视频压缩工作引入了视频扩散模型或 GAN 进行后处理修复，但它们大体遵循“混合级联”架构——由独立编解码网络生成低维潜变量或粗糙视频，再由生成先验充当后期增强器，生成模型并未参与传输符号的编码组织和解码轨迹的决定性生成过程。

直接将预训练视频生成模型转变为纯粹的零样本编解码器面临根本性的机制冲突。首先，图像领域的零样本扩散码本方案（如 DDCM、Turbo-DDCM）要求反向采样过程每一步注入高斯随机噪声，并将该随机创新项替换为可复现的码本原子。然而，现代主流视频生成底座（如 Wan 2.1、Flux、SD3 等）普遍采用整流流（Rectified Flow, RF）建模，其推理依赖确定性常微分方程（ODE）求解器。一旦初始噪声潜变量固定，ODE 生成轨迹便不再具备逐步注入随机扰动的自由度，导致码本索引无法嵌入到离散的时间步信道中；强行逐帧应用图像扩散编解码又会彻底割裂跨帧联合分布，诱发不可忍受的时间闪烁与外观漂移。

本文的切入角度是利用 score-SDE 框架的边际等价性原理：在连续时间域中，任意概率流 ODE 都对应一族共享相同一维边际分布的逆时随机微分方程（SDE）。通过在推理阶段引入非零扩散系数，系统能够将初始潜变量的随机性重新离散再分配到反向生成轨迹的每一步更新中，从而在无需微调任何网络权重的零样本条件下，自然复现码本驱动的传输信道。核心 idea：将预训练整流流视频模型采样过程转化为边际保持的逆时 SDE，把码本选取的残差近似噪声直接作为每步扩散扰动传输，并衍生出纯生成先验驱动（T2V）、自回归尾帧潜修正（I2V）与首尾双锚点边界共享（FLF2V）三种视频压缩流范式。

方法详解¶

整体框架¶

GVCC 的核心架构将预训练 14B 视频 DiT（Wan 2.1）与 3D 因果 VAE 结合，每个画面组（GOP）包含 33 帧。编码端利用 3D VAE 将视频编码至时空潜空间；在 SDE 逆向生成过程中，编码端根据潜空间残差从确定性伪随机码本中挑选能量最大的原子及正负号并写入比特流；解码端同步该随机数种子与网络权重，根据接收到的原子索引和符号线性重构每步驱动噪声，精确复现完全相同的反向采样轨迹，最终经由 3D VAE 解码还原视频。

针对视频长时序连贯性与跨 GOP 伪影控制，GVCC 衍生出三种差异化条件策略：无参考帧的纯文本模式（T2V）、基于首帧锚点与自回归链接的图像到视频模式（I2V），以及双端帧插值加边界跨 GOP 共享的插值模式（FLF2V）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    subgraph S1["1. ODE至SDE边际保持转换"]
        direction TB
        A["输入 GOP 视频帧 (33帧)"] --> B["3D VAE 编码至潜变量 x0"]
        B --> C["RF 速度场计算 score 漂移项 ft(xt)"]
    end
    subgraph S2["2. 码本驱动随机创新量量化与重构"]
        direction TB
        C --> D["计算去噪残差 r = x0 - xhat_0|t"]
        D --> E["从共享码本匹配 Top-M 贡献原子与符号"]
        E --> F["编码为码本比特流 (M 个索引+符号)"]
    end
    subgraph S3["3. 多条件模式与跨 GOP 边界共享机制"]
        direction TB
        F --> G{"条件策略分支"}
        G -->|T2V| H["纯码本引导无锚点生成"]
        G -->|I2V| I["自回归首帧锚定 + 尾帧残差修正"]
        G -->|FLF2V| J["首尾双锚点 CompressAI 压缩 + 跨 GOP 边界共享"]
    end
    J --> K["SDE 解码复现轨迹 + 3D VAE 还原视频"]
    H --> K
    I --> K

关键设计¶

1. ODE至SDE边际保持转换：打通确定性流模型的逐步传输信道

现代整流流模型沿线性插值路径 $\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$ 训练速度场 $\mathbf{u}_t(\mathbf{x}_t)$，其确定性 ODE 采样 $\mathrm{d}\mathbf{x}_t = \mathbf{u}_t(\mathbf{x}_t)\mathrm{d}t$ 无法在推理步骤中注入外来信息。为了在不重训模型参数的前提下构造传输信道，GVCC 引入逆时 score-SDE 形式： $$ \mathrm{d}\mathbf{x}_t = \mathbf{f}_t(\mathbf{x}_t)\mathrm{d}t + g_t\mathrm{d}\bar{\mathbf{w}}, \quad \mathbf{f}_t(\mathbf{x}_t) = \mathbf{u}_t(\mathbf{x}_t) - \frac{g_t^2}{2}\nabla\log p_t(\mathbf{x}_t) $$ 针对整流流特殊的线性常数形式，边缘概率密度梯度 $\nabla\log p_t(\mathbf{x}_t)$ 可以完全由当前状态 $\mathbf{x}_t$ 及网络输出速度场 $\mathbf{u}_t(\mathbf{x}_t)$ 解析闭式表达为： $$ \nabla\log p_t(\mathbf{x}_t) = -\frac{(1-t)\mathbf{u}_t(\mathbf{x}_t) + \mathbf{x}_t}{t} $$ 从而得到显式 SDE 漂移项 $\mathbf{f}_t(\mathbf{x}_t) = \mathbf{u}_t(\mathbf{x}_t) + \frac{g_t^2}{2}\cdot\frac{(1-t)\mathbf{u}_t(\mathbf{x}_t) + \mathbf{x}_t}{t}$。为了使扩散强度与有限码本的信息承载能力相匹配，扩散系数被约束在残差方差的近正交有效子空间预算内，采用二次衰减调度 $g_t = g_{\text{scale}} \cdot t^2$。在 $t \to 0$ 处注入噪声自然归零，避免在细节分辨率底限之下浪费传输比特，且最后 $N$ 步完全关闭噪声退化为无损的 ODE 确定性推演。

2. 码本驱动随机创新量量化与重构：用紧凑索引代替高斯噪声

在欧拉-马鲁山（Euler-Maruyama）离散步中，高斯白噪声扰动项被替换为可由双方种子同步重构的伪随机高斯码本 $\mathcal{C} = \{\mathbf{z}^{(1)}, \dots, \mathbf{z}^{(K)}\}$。在时间步 $t$，编码端先通过一步前向预测干净潜变量 $\hat{\mathbf{x}}_{0|t} = \mathbf{x}_t - t\cdot \mathbf{u}_t(\mathbf{x}_t)$，得到当前真实的重构残差 $\mathbf{r} = \mathbf{x}_0 - \hat{\mathbf{x}}_{0|t}$。随后，编码端从码本中检索与残差内积绝对值最大的前 $M$ 个原子 $\{j_1, \dots, j_M\}$ 及其投影符号 $s_k = \mathrm{sign}(\langle\mathbf{z}^{(j_k)}, \mathbf{r}\rangle)$，合成单位方差的伪噪声输入： $$ \mathbf{z}^* = \frac{\sum_{k=1}^M s_k \mathbf{z}^{(j_k)}}{\mathrm{std}\left(\sum_{k=1}^M s_k \mathbf{z}^{(j_k)}\right)} $$ 解码端只需接收这 $M$ 个索引与符号，即可分毫不差地计算出 $\mathbf{z}^*$ 并推进状态更新 $\mathbf{x}_{t-\Delta t} = \mathbf{x}_t - \mathbf{f}_t(\mathbf{x}_t)\Delta t + g_t\sqrt{\Delta t}\mathbf{z}^*$。该设计实现了“模型漂移项维持自然视频流形概率、码本创新项引导生成轨迹精确逼近源视频”的双重职能分工。

3. 多条件模式与跨 GOP 边界共享机制：平衡保真度、码率与长程一致性

针对视频中时序连续性的不同需求，GVCC 针对性设计了三种条件流： - T2V（纯文本驱动）：不发射任何参考帧基底，全比特流 $100\%$ 用于分配给码本索引，在 $\sim 0.00268$ bpp 的极限码率下仅凭生成先验重塑全视频。 - I2V（自回归串联与尾部潜修正）：第一组 GOP 接收压缩的首帧作为图像条件，后续 GOP 以自回归方式复用上一组的末帧输出。为阻断误差逐级发散，针对时序末端潜帧引入自适应码本增配（$M \to M_{\text{tail}}$）与 8-bit min/max 量化无损 zlib 压缩的尾部残差流，使自回归传递的基准帧保真度显著拉升。 - FLF2V（首尾双锚点与边界共享）：每组 GOP 同时受控于该组的首帧与尾帧，将视频生成转化为约束极强的区间插值。关键创新在于相邻 GOP 间的边界帧复用机制——$\text{GOP}_n$ 的末帧直接作为 $\text{GOP}_{n+1}$ 的首帧，两帧只需在交界处以传统神经图像编解码器（CompressAI cheng2020-attn）发射一次，使长序列的参考帧比特开销骤降近 $50\%$。

实验关键数据¶

主实验¶

在 UVG 视频测试集（1080p，7 个标准序列）的极低码率区间与传统编解码器（HEVC HM-16.25、VVC VTM-17.0）及神经/生成式 SOTA 方法（DCVC-RT、GLC-Video、Free-GVC、GNVC-VD）对比。

方法	设定 / 质量点	BPP ↓	PSNR (dB) ↑	LPIPS-Alex ↓	DISTS ↓	VMAF ↑
GVCC-T2V	M=80, K=16384	0.00268	27.84	0.1329	0.0815	44.25
GVCC-FLF2V	M=80, K=16384	0.00680	31.40	0.0872	0.0524	67.80
GVCC-I2V	Capped Tail Res	0.05230	32.83	0.0840	0.0497	67.59
DCVC-RT	q0 (匹配 T2V 码率)	0.00450	30.12	0.3130	0.2180	32.10
DCVC-RT	q21	0.00533	33.45	0.2913	0.1872	65.88
Free-GVC	t*=250 (CogVideoX)	0.00578	28.12	0.1650	0.1120	41.83
GLC-Video	q0	0.00634	29.54	0.3340	0.2310	39.79
HEVC	QP45	0.00251	29.80	0.4520	0.3120	40.51
VVC	QP45	0.00146	30.45	0.4210	0.2980	42.02

消融实验¶

在 UVG Beauty 序列（720p，T2V-1.3B）上针对各个核心超参数的单变量扫描消融：

配置	变动参数	BPP	PSNR (dB)	LPIPS ↓	说明
默认配置	M=64, K=16384, T=20, g_scale=3.0	0.00483	31.68	0.122	性能与开销折中最佳
较小码本容量	K=1024	0.00483	31.04	0.141	搜索空间不足，残差内积能量偏低
较大码本容量	K=65536	0.00483	31.91	0.119	提升边际递减，但编码耗时从 90s 飙升至 237s
低采样步数	T=5	0.00120	19.30	0.576	SDE 累积积分误差过大，轨迹严重失真
中采样步数	T=10	0.00240	25.10	0.514	感知质量未收敛
扩散系数过小	g_scale=1.0	0.00483	30.12	0.245	SDE 随机扰动空间受限，难以校准生成轨迹
扩散系数过大	g_scale=5.0	0.00483	29.30	0.597	噪声方差溢出 M 原子近正交子空间，采样崩溃
扩散系数极端	g_scale=8.0	0.00483	22.90	0.797	生成过程完全被未受控随机噪声淹没
短 GOP 跨度	GOP=17	0.00510	29.80	0.224	未能有效利用 3D VAE 与时空 DiT 的时间压缩比

关键发现¶

生成式感知优势极大：在 $\sim 0.00268$ bpp 下，GVCC-T2V 的 LPIPS 达到 0.1329，比相近码率的传统和回归类方法（DCVC-RT 0.2913、HEVC 0.4520）降低了 $50\%\sim 70\%$ 的感知失真；用户主观评测中分别有 $97\%$ 与 $88\%$ 的比率优于 DCVC-RT 与 GNVC-VD。
扩散系数预算窗口严格：$g_{\text{scale}}$ 仅在 $[2.0, 3.0]$ 区间内展现高保真稳定解。一旦超出该窗口，残差方差超出码本基底的覆盖秩，导致高斯扰动无法被 $M$ 个原子有效对消，引起轨迹崩塌。
跨 GOP 边界平滑性：在长序列连续性诊断中，FLF2V 依靠首尾边界共享机制消除了跳帧突变，交界处 LPIPS 增幅仅 $+0.0076$；相比之下，自回归 I2V 的尾部修正虽大幅提高了帧内信噪比，但在 GOP 边界处存在 $+0.0435$ 的显著波动。

亮点与洞察¶

将预训练整流流转化为可传输信道：巧借 score-SDE 保持边际概率分布不变的数学性质，无需微调即可将确定性 ODE 转化成具备每步独立扰动项的 SDE，填补了流模型在零样本码本编码中的机制盲区。
分工明确的率-失真-感知分配：网络自身漂移力场负责兜底生成质量流形（Plausibility），码本提取的高能量残差扰动负责牵引至真实源视频（Fidelity），各司其职，在极度匮乏的码率下同时保证真实感与内容一致性。
边界共享的巧妙插值链：FLF2V 将跨 GOP 的首尾帧进行交叠复用，在保持序列刚性锚定的前提下使得原本昂贵的图像参考帧额外开销减半。

局限与展望¶

推理与编码计算开销巨大：基于 14B 参数量的 DiT 与 20 步采样，编码一秒多视频需约 90 秒，解码需 60 秒，距离工业级实时低延迟流媒体传输存在显著差距，后续需借助流蒸馏与少步采样加速。
分布外泛化失真：在非自然图像或特殊分布（如高密度文字、特殊色彩图谱、非典型人脸）下，生成模型先验可能产生微小的“幻觉”改写，需要更细粒度的残差补偿机制。
I2V 尾帧比特占比过重：当前的自回归方案中，尾部残差占据了超 $90\%$ 的码率预算，尚未形成足够平滑的全局率失真调控阶梯。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙建立 RF-ODE 到 SDE 的零样本转换，攻克了生成式视频流模型无法进行码本信道压缩的痛点。
实验充分度: ⭐⭐⭐⭐☆ 在 UVG 全序列及多种分辨率下完成了详尽的多维指标对比、长序列边界诊断与充分的超参数消融。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从边际等价性到码本子空间预算论证严谨，实验图表表达扎实。
价值: ⭐⭐⭐⭐☆ 为未来基于千亿/百亿参数开源多模态生成底座构建端到端下一代超低码率视频通信体系树立了全新范式。