CoANeRV: Coordinate-Aware Token-Space Neural Video Representation¶

会议: NeurIPS 2026
arXiv: 2608.13938
代码: https://github.com/jialong2023/CoANeRV
领域: 视频理解
关键词: 神经视频表示, 隐式神经表示, 跨注意力机制, 坐标解码, 摊销表示

一句话总结¶

CoANeRV 提出了一种坐标感知的 Token 空间神经视频表示范式，通过前向卷积 Tokenizer 与 Token Former 将整段视频编码为紧凑的定长潜在 Token，并由全局共享的坐标条件解码器配合轴自适应位置编码、温度调制跨注意力与空间分块查询完成连续时空重建，在摆脱逐视频优化与权重生成的同时大幅降低了密集查询的显存开销。

研究背景与动机¶

隐式神经表示（Implicit Neural Representations, INR）与神经视频表示（NeRV 系列）在视频紧凑建模与高保真连续重建中展现了巨大潜力。然而传统的 NeRV 类方法通常将视频特定信息深度绑定在解码器网络权重中，每处理一段新视频都需要耗费数十甚至上千次反向传播迭代进行逐视频过拟合优化；即便是近期基于超网络（Hypernetworks）的前向权重生成方法，也必须针对每个视频动态生成大量网络参数，随着视频库规模的增长，解码器存储开销与权重管理复杂度急剧膨胀。

将神经场范式从权重空间解耦至 Token 条件空间（即用共享解码器配合视频特定潜在 Token）是一种自然的演进方向。但在密集视频重建任务中，直接引入坐标到 Token 的跨注意力解码器面临两大严峻挑战：一是自然视频中时空轴具有高度的各向异性，空间纹理需要密集的局部高频分量，而连续视频在时间维度上受运动一致性约束通常变化较为平滑，若采用各向同性的标准位置编码会导致高频混叠与频谱利用低效；二是像素级密集跨注意力运算的显存与计算复杂度与查询坐标总量直接成正比，当视频分辨率或帧数提升时，全局注意力矩阵会瞬间引发显存爆炸（OOM），严重阻碍了其实用性。

为了打破逐视频权重生成的存储绑定，同时兼顾高分辨率连续时空坐标解码的可行性，本文系统设计了一套面向摊销视频表示的 Token 空间神经视频管线。核心 idea：将视频内容表征从权重空间迁移至定长 Token 空间，通过前向完整片段 Tokenizer 一次性提取紧凑内容记忆，并在全局共享解码器中引入空时轴自适应位置编码、温度调制注意力与空间分块查询机制，实现高保真、显存受限且无逐视频优化的连续视频重建。

方法详解¶

整体框架¶

CoANeRV 的整体架构由前向视频 Token 编码器 $E_\phi$ 与全局持久共享的坐标条件解码器 $D_\psi$ 两大部分构成。对于输入的完整视频序列 $V \in \mathbb{R}^{T \times C \times H \times W}$，编码器首先通过卷积 Tokenizer 与 6 层 Token Former 将时空局部补丁特征压缩为定长、紧凑的视频 Token 集合 $\mathbf{T}_v \in \mathbb{R}^{N \times d}$；在重建阶段，对任意给定的连续归一化时空坐标 $q=(x,y,t)$，解码器将其映射为轴自适应位置编码并作为 Query，与固定的 $\mathbf{T}_v$ 进行温度调制的跨注意力交互，最后通过轻量 MLP 映射输出像素值。为了在处理高分辨率或多帧视频时不突破显存瓶颈，空间坐标采用分块平铺策略送入解码器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入视频序列<br/>T×C×H×W (YUV 空间)"] --> B["卷积分块分词与 Token Former<br/>Conv2D 步长切片与交叉注意力压缩"]
    B --> C["紧凑视频 Token 库<br/>Tv ∈ R^(N×d) (内容存储于 Token 空间)"]
    D["归一化连续时空查询坐标<br/>q = (x, y, t) ∈ [0, 1]"] --> E["轴自适应位置编码<br/>空时各向异性频段分配 (ks:kt≈4:1)"]
    E --> F["空间分块坐标平铺<br/>划分 s×s 空间网格并保留全时间轴"]
    C --> G["温度调制跨注意力解码<br/>Fused SDPA 与预 Softmax 温度缩放"]
    F --> G
    G --> H["轻量 MLP 信号投射"]
    H --> I["重建视频帧<br/>V̂(q) ∈ R^3"]

关键设计¶

1. 卷积分块分词与 Token Former：实现无逐视频优化的单步内容记忆压缩 针对权重空间方法逐视频优化耗时过长（需成百上千次梯度反向传播迭代）以及全连接展开在硬件内存中不友好的缺陷，该设计采用单次前向传递构建整段视频的紧凑表征。模型首先采用核大小与步长均为 $P=16$ 的跨步卷积层（Strided Conv2D），将转换为 YUV 空间的输入帧张量直接投射为局部时空特征 $\mathbf{P} \in \mathbb{R}^{N_p \times D}$（其中 $D=768$），在数学上严格等价于扁平化补丁的线性投影，但免去了显式 patch 展开所造成的冗余中间张量。随后，引入 $N$ 个可学习的查询 Token $\mathbf{R}^{(0)} \in \mathbb{R}^{N \times D}$，通过 $L=6$ 层级联的 Token Former 块完成特征蒸馏。每个 Token Former 块依次执行 query 到 patch 特征的跨注意力、query 自注意力和前馈网络： $$\mathbf{R}^{(\ell)} = \mathcal{F}_{\ell}\left(\mathbf{R}^{(\ell-1)}, \mathbf{P}\right), \quad \ell = 1, \dots, L$$ 最终经由共享线性投射层 $\Pi_\phi$ 将隐藏特征维度降至 $d=72$，得到极度紧凑的视频 Token 集合 $\mathbf{T}_v = \Pi_\phi(\mathbf{R}^{(L)}) \in \mathbb{R}^{N \times d}$。此设计使得多视频集合下的存储复杂度从逐视频独立解码器参数的 $\mathcal{O}(M_v p_{\text{dec}})$ 优化为共享全局解码器与按视频累加 Token 的 $\mathcal{O}(p_{\text{dec}} + M_v N d)$，且编码延迟仅为几十毫秒。

2. 轴自适应位置编码：契合视频各向异性时空先验的频段重分配 针对传统隐式表示对坐标所有轴均分配相同频段数量而忽视视频空间纹理复杂、时间帧间平滑的固有各向异性特征，该设计在固定总嵌入维度预算的前提下对频带分配进行非对称重构。设每个轴的基准频率容量为 $k \in 3\mathbb{Z}$，总编码维度恒定保持为 $6k$。模型定义了空间频率数 $k_s$ 与时间频率数 $k_t$，满足： $$2k_s + k_t = 3k, \quad k_s = \frac{4k}{3}, \quad k_t = \frac{k}{3}$$ 空间与时间轴频率分别根据有效带宽尺度按几何级数构建： $$\mathbf{w}_s = \left[\sigma_s^{i/(k_s-1)}\right]_{i=0}^{k_s-1}, \quad \mathbf{w}_t = \left[\sigma_t^{i/(k_t-1)}\right]_{i=0}^{k_t-1}$$ 将归一化连续坐标 $q=(x,y,t)$ 映射为包含正弦和余弦分量的连续嵌入向量 $\gamma(q) \in \mathbb{R}^{6k}$： $$\gamma(q) = \left[\sin(\pi x \mathbf{w}_s), \cos(\pi x \mathbf{w}_s), \sin(\pi y \mathbf{w}_s), \cos(\pi y \mathbf{w}_s), \sin(\pi t \mathbf{w}_t), \cos(\pi t \mathbf{w}_t)\right]$$ 通过将大约 $4:1$ 比例的频率分量重点倾斜给高频细节丰富的空间坐标，既避免了时间维度分配过多高频导致时序闪烁与泛化退化，又显著增强了解码器对精细边缘、纹理等微观几何结构的捕获精度。

3. 温度调制跨注意力：兼顾注意力选择性与底层 Fused SDPA 执行效率 针对已有基于局部化注意力（如 ANR 中的 LAL 算子）需显式实例化全量注意力概率矩阵、进行阈值截断与再归一化从而导致额外张量开销和速度劣势的问题，该设计在解码器中采用平滑且硬件友好的温度缩放跨注意力机制。坐标编码经过线性变换生成查询向量 $\mathbf{Q}(q) = W_Q \gamma(q)$，与由视频 Token 投影出的键 $\mathbf{K}(\mathbf{T}_v) = W_K \mathbf{T}_v$ 和值 $\mathbf{V}(\mathbf{T}_v) = W_V \mathbf{T}_v$ 进行点积计算： $$\mathbf{F}_\tau(q) = \text{Softmax}\left(\frac{\mathbf{Q}(q) \mathbf{K}(\mathbf{T}_v)^\top}{\tau \sqrt{d_h}}\right) \mathbf{V}(\mathbf{T}_v)$$ 其中 $\tau > 0$ 为温度调节系数（实验选定最佳值 $\tau=0.4$），$d_h$ 为单头注意力维度。通过将温度参数直接作为 pre-softmax 缩放因子，可完全依托现代深度学习框架原生的高效融合内核（PyTorch Fused SDPA）在片上完成计算，无需物化中间概率矩阵。理论上，降低 $\tau$ 能够单调缩小注意力熵并放大高分 Token 间的相对概率优势（满足 $\frac{p_i(\tau)}{p_j(\tau)} = \exp(\frac{a_i - a_j}{\tau})$），实现对相关局部 Token 的精准聚焦检索。融合后的表征 $\mathbf{F}_\tau(q)$ 再由轻量级 2 层 MLP 直接预测目标像素值 $\hat{V}(q)$。

4. 空间分块坐标查询：高分辨率密集重建下的峰值显存硬约束 针对全量视频像素网格 $\Omega$ 的坐标直接解码会导致 $\mathcal{O}(THWN)$ 规模的瞬时激活显存冲击、易在高分辨率下遭遇 OOM 的痛点，该机制利用了神经场各坐标点解码相互独立的数学特性（即不存在跨坐标查询之间的耦合算子）。模型仅在空间维度上将 $H \times W$ 划分为边长为 $s$（主实验中取 $s=64$）的互不重叠空间网格切片，而在每个空间块内保留完整的全部 $T$ 个时间索引。令全网格划分为 $B_s = (H/s)(W/s)$ 个子块： $$\Omega = \bigcup_{b=1}^{B_s} \Omega_b, \quad |\Omega_b| = T s^2 \equiv M$$ 每个子块包含的 $M$ 个坐标查询独立与完整的全量视频 Token 库 $\mathbf{T}_v$ 进行温度调制跨注意力解码。由于未对 Token 库进行空间局部截断，该分块处理在数学上与全图全局计算完全等价，却将瞬时峰值显存从 $\mathcal{O}(THWN)$ 严格压缩至 $\mathcal{O}(Ts^2 N)$，同时维持总体算术复杂度 $\mathcal{O}(|\Omega|N)$ 不变。这使得该架构在消费级 GPU 上对 1080p 甚至更大分辨率视频的稠密解码具有高度的可行性。

损失函数 / 训练策略¶

模型在 Kinetics-400 子集上端到端训练，将输入视频转换为 YUV 空间后在归一化离散网格点 $\Omega$ 上计算全分辨率均方误差（MSE）重构损失： $$\mathcal{L} = \frac{1}{|\Omega|} \sum_{q \in \Omega} \|V(q) - \hat{V}(q)\|_2^2$$ 采用 AdamW 优化器，基础学习率为 $10^{-4}$，权重衰减为 $10^{-2}$，batch size 设为 2。在标准 150 epoch 的训练周期中，前 135 epoch 保持恒定学习率，在第 136 至 150 epoch 衰减 10 倍至 $10^{-5}$，不使用预热或余弦退火。

实验关键数据¶

主实验¶

在 4 帧、8 帧及 16 帧（分辨率 $256 \times 256$）的标准评测协议下，与主流前向 INR 基线（TransINR、GINR、FastNeRV）进行对比。CoANeRV 展现出极快的收敛速度（仅需 20 epoch 即可全面超越基线 150 epoch 的性能）以及极高的最终保真度。

方法	帧数 F	编码器参数	INR 解码大小	视频特定体积	训练轮次	GPU 耗时 (h)	K400 PSNR (dB)	K400 SSIM	SthV2 PSNR (dB)	UCF101 PSNR (dB)
TransINR	4	48.0M	99k	25k	150	63	22.1	0.631	24.6	22.1
GINR	4	47.6M	139.4k	25.6k	150	65	23.2	0.660	25.9	23.1
FastNeRV	4	47.6M	85.6k	24.1k	150	9	26.6	0.754	29.4	26.1
CoANeRV (Ours, 20e)	4	45.5M	86.4k	27k	20	5	31.5	0.922	31.9	31.5
CoANeRV (Ours, 150e)	4	45.5M	86.4k	27k	150	39	34.8	0.951	36.0	35.8
TransINR	8	48.0M	99k	25k	150	119	20.3	0.595	22.8	20.7
GINR	8	47.6M	139.4k	25.6k	150	123	22.8	0.650	25.3	22.7
FastNeRV	8	47.6M	85.6k	24.1k	150	11	25.8	0.727	28.5	25.2
CoANeRV (Ours, 20e)	8	46.3M	86.4k	27k	20	9	28.6	0.893	28.9	28.7
CoANeRV (Ours, 150e)	8	46.3M	86.4k	27k	150	70	32.1	0.927	32.8	33.3
TransINR	16	48.0M	99k	25k	150	234	18.4	0.555	21.1	19.2
GINR	16	47.6M	139.4k	25.6k	150	242	21.7	0.624	24.2	21.7
FastNeRV	16	47.6M	85.6k	24.1k	150	15	23.2	0.642	25.9	22.9
CoANeRV (Ours, 20e)	16	47.9M	86.4k	27k	20	17	27.1	0.869	27.4	27.3
CoANeRV (Ours, 150e)	16	47.9M	86.4k	27k	150	128	30.9	0.917	31.1	31.3

在可比的单视频表示容量下，CoANeRV 在 4 帧场景下相对前向 SOTA 模型 FastNeRV 取得了超过 8.2 dB 的 PSNR 提升；在 8 帧和 16 帧更具挑战性的时间跨度下，也分别实现了 6.3 dB 与 7.7 dB 的巨幅质量飞跃。

消融实验¶

基于 8 帧设置进行核心组件的渐进式消融实验（从 ANR-V/LAL 注意力基线逐步叠加组件）：

| 配置组合 | RGB→YUV | 空间分块查询 | 卷积分词器 | 轴自适应编码 | 温度缩放 Fused SDPA | 峰值显存 (GB) | GPU 耗时 (h) | K400 PSNR (dB) | K400 SSIM | UCF101 PSNR (dB) | |---|---|---|---|---|---|---|---|---|---| | 基线 (LAL 注意力) | ✗ | ✗ | ✗ | ✗ | ✗ | 35 | 178 | 25.3 | 0.579 | 26.2 | | + YUV 色彩空间 | ✓ | ✗ | ✗ | ✗ | ✗ | 35 | 178 | 26.5 | 0.693 | 27.2 | | + 分块坐标查询 | ✓ | ✓ | ✗ | ✗ | ✗ | 18 | 178 | 26.5 | 0.693 | 27.2 | | + 卷积 Tokenizer | ✓ | ✓ | ✓ | ✗ | ✗ | 18 | 172 | 27.7 | 0.793 | 28.5 | | + 轴自适应编码 | ✓ | ✓ | ✗ | ✓ | ✗ | 18 | 180 | 27.8 | 0.804 | 28.8 | | + 温度 SDPA (缺卷积) | ✓ | ✓ | ✗ | ✓ | ✓ | 3.9 | 70 | 29.3 | 0.879 | 30.4 | | 完整模型 (Full) | ✓ | ✓ | ✓ | ✓ | ✓ | 3.9 | 70 | 32.1 | 0.927 | 33.3 |

在与 video-adapted ANR（ANR-V）在不同 Token 长度与分辨率下的直接比对中，针对 8 帧 Large 规模模型，ANR-V-L 峰值显存高达 74 GB 且耗时 344 GPU 小时，而 CoANeRV-L 仅需 4.0 GB 显存与 92 GPU 小时，同时将 K400 测试集 PSNR 从 32.0 dB 提升至 34.9 dB。在 1024×1024 超高分辨率下，ANR-V-L 直接遭遇 OOM 崩溃，而 CoANeRV-L 仍能稳定在 5.3 GB 显存内顺利运行并达到 29.5 dB PSNR。

关键发现¶

显存与计算的双重解耦：空间分块查询将峰值显存直接减半（35 GB 降至 18 GB）且严格保证输出等价；温度调节配合 PyTorch 原生 Fused SDPA 替代带有阈值截断的显式 LAL，使单 batch 峰值显存进一步从 18 GB 骤降至 3.9 GB（降幅近 90%），训练时间缩短了 60% 以上。
跨域泛化能力突出：在仅使用 K400 训练且完全不进行目标域微调的前提下，模型直接迁移至医疗超声视频数据集 EchoCP 和 EchoNet-LVH 时，PSNR 较 FastNeRV 分别取得了 +6.32 dB 与 +6.76 dB 的增益，表明定长内容 Token 结合坐标注意力具有优异的几何与纹理先验保持能力。
超参数敏感性验证：温度参数在 $\tau=0.4$ 时达到最佳平衡，过小（如 0.1）会导致注意力权重极度锐化而丢失平滑上下文，过大（如 1.0）则导致过于发散的弥散聚合；位置编码频带参数 $\sigma=512$ 在局部高频与整体泛化间达到最优平衡。

亮点与洞察¶

Token 空间与坐标场的解耦映射：将视频特定表征彻底收敛为定长潜在向量，使庞大的解码网络权重完全变为跨视频通用的静态映射函数，完美化解了 NeRV 框架在多视频集合存储扩展中的参数冗余难题。
空时非对称频谱先验的设计直觉：通过数学约束（$2k_s + k_t = 3k$）将有限的频带预算以约 4:1 的比例重定向至空间轴，在不增加特征维度的前提下极大增强了微观纹理与物体边缘的还原能力。
等价分块解码的工程巧思：利用神经场逐点映射天然无通信依赖的特性，以空间平铺结合保留全时序的方式规避大规模注意力矩阵物化，兼顾了理论精确性与硬件执行友好性。

局限与展望¶

逐像素注意力带来的解码延迟：尽管前向 Token 提取吞吐极高（在 A100 上达 247.0 fps），但基于逐坐标注意力求值的像素重构速度目前仅为 7.7 fps（1080p），显著低于 DCVC-RT 等专用卷积视频编解码器（112.8 fps），在硬实时流媒体场景下仍面临瓶颈。
时间跨度受限于短序列：主实验重点验证了 4/8/16 帧片段，处理长视频时可能需要引入分段层级分词或滑动窗口机制。
压缩率评估尚未整合端到端率失真控制：当前针对 Token 存储的体积压缩依赖训练后量化（8-bit/6-bit）与事后 Huffman 编码，尚未引入量化感知训练（QAT）及自适应端到端熵模型。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性地将 Token 条件神经场范式扩展至摊销视频表示，并创新性融合了轴自适应编码与显存受限的分块坐标注意力。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 K400、Something-Something V2、UCF101 等多个通用基准，并给出了高分辨率扩展、医疗 cross-domain 迁移、速率-失真量化及消融实验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，问题陈述明确，理论复杂度推导详尽，对前向与优化版本、编解码器与表示模型的边界界定清晰客观。
价值: ⭐⭐⭐⭐⭐ 为解决隐式视频表示中“优化速度慢”与“权重难扩展”两大核心痛点提供了极具启发性的通用新路径。