CanViT: Toward Active-Vision Foundation Models¶

会议: NeurIPS 2026
arXiv: 2603.22570
代码: https://github.com/m2b3/CanViT-PyTorch
领域: 自监督学习
关键词: 主动视觉, 基础模型, 密集潜在蒸馏, 画布注意力, 视网膜到空间坐标绑定

一句话总结¶

本文提出了首个与任务及观测策略无关的主动视觉基础模型 CanViT，通过场景相对旋转位置编码（SR-RoPE）与非对称画布注意力（Canvas Attention）解耦瞬时感知与全景工作记忆，并基于 DINOv3 密集潜在蒸馏预训练，在极低计算量下刷新了 ADE20K 语义分割与 ImageNet-1k 分类的主动视觉 SOTA。

研究背景与动机¶

深度人工神经网络在通用计算机视觉任务中取得了巨大成功，但绝大多数主流模型依赖静态且被动的单帧全图前向计算，缺乏像人类视觉系统那样通过高频注视点转移（Saccades）跨时间、跨尺度主动探索环境并复用历史计算的能力。生物视觉本质上是高度序列化且主动引导的，人脑借助视网膜局部注视点（Glimpse）在视觉工作记忆中持续整合跨视点线索，并通过高层反馈机制自顶向下引导后续感知。然而，现有的主动视觉模型长期受限于分类任务或低分辨率玩具数据，在语义分割等密集预测任务上面临表征崩溃和计算复杂度爆炸的问题。

导致主动视觉密集预测停滞的核心矛盾在于：主动注视序列在空间上是局部、非对齐且尺度多变的，传统视觉 Transformer 的网格拓扑被彻底打破。已有少数支持密集预测的主动模型（如 AME、AdaGlimpse）普遍采用类似 MAE 的事后掩码扩展架构，在每一步将所有历史注视点 token 与全图可学习 mask token 进行全局自注意力计算，导致计算量和内存开销随全景输出分辨率呈二次方激增。此外，以往研究过度聚焦于“下一步看哪里”的强化学习动作选择策略，忽视了“如何在任意注视序列下表征并记忆场景”这一更为底层的观察者感知与记忆表征基础。

本文的切入角度是将主动视觉明确拆解为瞬时感知、全景记忆与动作选择三个解耦维度，专注于构建不依赖特定动作策略的通用观察者。核心 idea：构建双流循环架构解耦局部注视感知（骨干网络）与全局连续记忆（Canvas），利用非对称画布注意力和场景相对 RoPE 跨时间双向交互，并以被动基础模型 DINOv3 为全景稠密特征教师进行与策略无关的密集潜在蒸馏。

方法详解¶

整体框架¶

CanViT 采用独特的双流循环结构：视网膜坐标系下的局部注视流（Glimpse Stream）与空间坐标系下的全景画布流（Canvas Stream）。在每个时间步 $t$，模型接收从视点 $\mathbf{v}_t = (x_t, y_t, s_t)$ 截取的固定分辨率局部图像块（如 $128^2$ 像素），通过 ViT 骨干网络转化为局部 token，并包含循环传递的 CLS token、寄存器 token 以及视点编码（VPE）token。画布流则维护一个由 $H \times W$ 个可学习 patch 初始化的空间网格与全局寄存器，映射到固定的全局场景坐标 $[-1, 1]^2$。

两个流在骨干网络的深层之间通过交替出现的画布注意力读取（Read）与写入（Write）进行高频双向通信：Read 操作允许局部注视 token 查询画布以获取全局上下文反馈；Write 操作允许画布 token 查询骨干网络以吸收局部高分辨率细节。整个前向推理和训练流程如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["高分辨率场景输入<br/>生成视点序列 vt=(xt,yt,st)"] --> B["局部注视提取与 VPE 编码<br/>128x128 像素 Crop + 尺度不变 VPE"]
    B --> C["场景相对 2D 旋转位置编码<br/>统一局部与全局 [-1,+1]² 坐标系"]
    C --> D["非对称画布注意力交互<br/>交替 Read 读取上下文与 Write 写入更新"]
    D --> E["双尺度解耦表征流<br/>骨干负责思考运算，画布仅累积残差"]
    E --> F["被动到主动密集潜在蒸馏<br/>多步对齐 DINOv3-ViT-B 稠密与 CLS 特征"]
    F --> G["多任务线性探测解码<br/>ADE20K 密集分割 / ImageNet-1k 分类"]

关键设计¶

1. 场景相对 2D 旋转位置编码（SR-RoPE）：统一视网膜与空间参考系 主动视觉中最棘手的问题是每个局部注视点（Glimpse）的中心位置 $(x_t, y_t)$ 和缩放比例 $s_t$ 各不相同，导致 patch 无法直接在时间维度拼接。CanViT 将局部注视 patch 和全局画布 patch 的物理中心统一映射到归一化的全景坐标空间 $[-1, +1]^2$ 中计算二维 RoPE。对于画布，patch 均匀平铺整个场景，其坐标在推理时是静态网格；对于局部注视，其坐标由视点中心和缩放比例动态缩放偏移： $$\text{coord}_{\text{bb}} = (x_t, y_t) + s_t \cdot \text{grid}(H_g, W_g)$$ 这种设计不仅在自注意力和交叉注意力中为两个流注入了绝对与相对几何对齐信息，还能天然外推到训练时未见过的更高画布分辨率（如从 $32^2$ 零样本迁移到 $64^2$）。

2. 非对称画布注意力（Canvas Attention）：消除画布侧投影与自注意力开销 为了实现高分辨率密集表征，画布包含大量的 token（如 $32 \times 32 = 1024$ 或 $64 \times 64 = 4096$），若在画布流上执行全连接投影或自注意力，计算复杂度将不可承受。Canvas Attention 提出了一种极度非对称的跨注意力机制：将所有的 Query、Key、Value 及 Output（QKVO）线性投影完全限制在少量 token 的注视骨干流侧（$N_g = 71$），而画布流侧仅执行 LayerNorm、RoPE 编码和元素级残差累加。理论上单次画布投影与标准缩放点积注意力（SDPA）的计算量比值为： $$\frac{\text{投影 FLOPs}}{\text{SDPA FLOPs}} = \frac{2 N_{\text{can}} D_{\text{can}}^2}{4 N_g N_{\text{can}} D_{\text{can}}} = \frac{D_{\text{can}}}{2 N_g}$$ 在 $D_{\text{can}} = 1024, N_g = 71$ 的典型配置下，省略画布侧投影节省了高达 7.2 倍的算力。在 $64 \times 64$ 画布下，每次读写对的计算量从 37.3 GFLOPs 骤降至 2.8 GFLOPs。同时，骨干网每隔 2 层交替执行一次 Read（注视查询画布并残差更新注视）和 Write（画布查询注视并残差更新画布），彻底解耦了“深度推理计算”与“高容量记忆存储”。

3. 尺度不变视点编码（VPE）：保真刻画多尺度注视几何属性 为了给骨干网络提供全局注视状态的宏观指引，作者设计了专用的 VPE token。直观的 $(x, y, s)$ 参数化在局部放大时（$s \ll 1$）距离会极度迟钝，在大范围视野下又会过度敏感。作者证明并采用了尺度不变对数映射 $u(x, y, s) = (x/s, y/s, \log s)$，使得两视点间的欧几里得距离满足严格的尺度不变性（全局缩放 $c$ 倍距离不变）、同尺度平移不变性与平面各向同性。将该三元组通过随机傅里叶特征（RFF）升维并经 LayerNorm 处理后，作为附加 token 输入骨干流。

4. 策略无关的被动到主动密集潜在蒸馏：从 DINOv3 教师中重建视觉世界 为了让模型摆脱昂贵且不稳定的强化学习，学习通用的环境重构与外推能力，CanViT 采用预训练的冻结 DINOv3 ViT-B 作为高分辨率（$512^2$ 像素）全景教师。对于任意场景，训练时同时执行两条独立的 rollout：一条是从全景俯瞰开始的 F-IID（Full-then-IID），另一条是全程随机采样的 R-IID（Random-then-IID）。注视尺度按照 $p(s) \propto (1-s)$ 偏向采样细粒度局部块，且序列长度在 $K=2$ 的块截断 BPTT 边界以 $p_{\text{stop}}=0.5$ 随机终止。每个时间步 $t$ 直接利用线性头对画布 patch $\mathbf{C}_t$ 和 CLS 向量 $\mathbf{h}_t$ 进行投影，与标准化的教师全景特征计算均方误差损失： $$\mathcal{L} = \frac{1}{T} \sum_{t=0}^{T-1} \left[ \frac{1}{HW} \|\hat{\mathbf{Z}}_t - \mathbf{Z}^*\|_F^2 + \|\hat{\mathbf{z}}_t - \mathbf{z}^*\|^2 \right]$$ 该目标驱动模型仅凭局部观察就能不断补全、修正全景隐表征，天然适配下游各类密集预测与全局分类任务。

损失函数 / 训练策略¶

模型在包含 1320 万张图像的 ImageNet-21k 上以纯随机初始化预训练，全局场景尺寸设为 $512^2$（对应 $32 \times 32$ patch），局部注视尺寸为 $128^2$（对应 $8 \times 8$ patch）。由于 DINOv3 教师完全冻结，所有图像特征预先离线计算并分片存储（约 19 TiB），单张 H100 仅耗时 166 小时便完成了 200 万步（涵盖约 10 亿次局部注视）的预训练。优化器采用 AdamW，峰值学习率 $4.0 \times 10^{-4}$，在前向传播中采用 AMP bfloat16，但在积累残差的画布流及所有坐标/RoPE计算中严格保持 float32 精度，以避免长序列累积时的数值漂移。

实验关键数据¶

主实验¶

在 ADE20K 语义分割（测试冻结特征线性探测 mIoU）和 ImageNet-1k 分类（线性探测与全模型微调 top-1 准确率）上，CanViT-B 大幅超越了已有的主动视觉先进模型，并在推理 FLOPs 上取得了断层式优势：

模型	ADE20K mIoU (%)	ImageNet-1k 冻结 Top-1 (%)	ImageNet-1k 微调 Top-1 (%)	机制特征
Saccader (2019)	—	—	75.0	硬注意力分类
AME (SETR / MAE)	27.6 / 24.4	—	—	后置 MAE 解码器（自注意力）
AdaGlimpse (2025)	25.7	—	77.5	强化学习策略 + 像素重构
AdaptiveNN (2025)	—	—	82.2	自适应序列分类
CanViT-B (Ours)	45.9 (冻结)	81.1	84.5	非对称画布流 + 密集潜在蒸馏

在 ADE20K 任务中，冻结权重的 CanViT-B 仅用单次 $128^2$ 像素的低分辨率全景注视（$t=0$）就达到了 38.5% mIoU（$32^2$ 画布）和 39.6% mIoU（$64^2$ 画布），且推理算力仅为 15.8 GFLOPs，相比 AME 达到 27.6% mIoU 时所需的 316 GFLOPs，计算量降低了整整 20 倍。随着多步注视的推进，在粗到细策略（C2F）与基于熵引导的不确定性采样（EG-C2F）下，CanViT-B 的 mIoU 稳步跃升至 45.9%。

消融实验¶

作者在 ImageNet-21k 上分配 21.5 万步（约全量预训练的 10%）开展系统消融，评估在 ADE20K 验证集上 10 步 R-IID 注视后重构 DINOv3 空间稠密特征与 CLS 特征的余弦相似度相对变化：

变体配置	参数量	单步 GFLOPs	空间稠密余弦变化 (%)	CLS 余弦变化 (%)	核心结论与影响
CanViT-B (Baseline)	95.2M	15.8	0.0 (基准)	0.0 (基准)	完整模型：$D_{\text{can}}=1024$，非对称通信
a. $D_{\text{can}}=256$ (非对称)	88.1M	13.2	-12.0%	-2.2%	画布容量是高保真记忆场景的根本基石
b. $D_{\text{can}}=256$ + QKVO 投影	88.8M	14.8	-11.7%	-1.5%	加回画布侧投影未能挽回容量缩水带来的退化
c. $D_{\text{can}}=384$ + QKVO 投影	91.0M	17.3	-5.8%	-1.1%	在 FLOP 匹配下强加对称投影依然显著落后
d. 去除画布 Read 操作	90.4M	14.2	-6.6%	-8.0%	证明自顶向下的上下文循环反馈至关重要
e. 交互步长由 2 增大至 6	88.8M	13.7	-4.0%	-6.0%	稀疏的单次读写损害了注视内渐进优化能力
f. 去除空间稠密监督	95.2M	15.8	-98.8%	-9.0%	证明稠密表征监督对全局表征具有正向正则作用
g. 仅 1x R-IID (无 F-IID)	95.2M	15.8	-9.4%	-16.2%	缺乏全景低频视野严重损害收敛速度与全局感
h. 2x R-IID (保持样本数)	95.2M	15.8	-5.2%	-9.2%	证明全景视角的独特性不能被多重局部视角代替
i. 无 BPTT ($K=1$)	95.2M	15.8	-3.9%	-7.5%	跨视点时间梯度流动对学习最优状态累积很关键
j. 骨干缩小为 ViT-S	26.4M	5.9	-8.4%	-21.1%	瞬时特征提取能力决定了全局抽象特征的上限
k. 去除 VPE Token	95.2M	15.6	-0.1%	-0.2%	验证其为策略拓展保留项，不干扰当前表征

关键发现¶

非对称画布交互的算力杠杆：消融表明将 QKVO 投影全部放在注视端并非权宜之计，而是极佳的最优权衡。盲目给画布增加自注意力和投影不仅引入了 7-13 倍的算力灾难，反而迫使网络压缩画布维度 $D_{\text{can}}$，导致空间重建质量严重受损（表 12 b, c）。
自顶向下反馈的必要性：彻底剔除 Read 操作（变体 d）导致 CLS 预测下降 8.0%、空间稠密下降 6.6%。这证明骨干网络不是在孤立地解析注视块，而是利用已有的画布假设（Mental Map）来指导低层局部特征的解释，符合神经科学中的预测编码假说。
输入与输出分辨率的解耦红利：在单步 $128^2$ 输入下，CanViT 配合 $64^2$ 细粒度画布即可取得 39.6% mIoU，超越了接收相同分辨率输入的 DINOv3-ViT-B 教师（28.8% mIoU）达 10.8 个百分点，并且在小目标与遮挡边缘的召回上优势最为突出。

亮点与洞察¶

“思考”与“记忆”的物理分离：CanViT 创造性地在 ViT 内部实现了认知架构的分权——骨干网络专门负责深度非线性推演与感知（Compute Heavy, Memory Light），画布专门负责空间语义累积与外推（Memory Heavy, Compute Light），这一设计打破了传统循环网络中状态越大计算越慢的桎梏。
纯被动知识蒸馏跨越主动视觉鸿沟：避开强化学习探索瓶颈，直接使用最先进自监督大模型（DINOv3）的全景隐空间作为学习目标，让主动模型快速继承了庞大的视觉世界常识，为主动感知领域的预训练树立了全新范式。
零样本画布尺寸缩放与即插即用策略：得益于连续坐标的 SR-RoPE 与非参数化画布初始化，模型在 $32^2$ 画布上完成预训练后，可直接在推理期拓展为 $64^2$ 或更高分辨率，并能直接无缝配合粗到细（C2F）或熵引导（EG-C2F）等全新策略。

局限与展望¶

动态场景与时间遗忘机制的缺失：当前模型假设环境为完全静态场景，画布表征在整个 rollout 期间单调累加。若迁移到第一人称动态视频或具身导航场景，必须引入自适应门控遗忘机制以处理动态目标与视角遮挡。
教师网络在大分辨率下的存储瓶颈：密集潜在蒸馏依赖预计算的教师特征（13.2M 图像产生 19 TiB 缓存），难以直接扩展到更高分辨率视频或实时动态环境，未来需要探索“主动对主动”的在线自蒸馏（Self-Distillation）框架。
尚未端到端闭环动作策略：尽管 CanViT 配备了 VPE token 并可通过熵引导（EG-C2F）展示出主动性，但其骨干当前仍以观察者身份工作，尚未接入强化学习或世界模型实现端到端的视点自主决策。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [架构上成功解耦感知计算与空间工作记忆，并开创了无标签主动视觉基础模型预训练先河]
实验充分度: ⭐⭐⭐⭐⭐ [单卡 166 小时完成 10 亿次注视预训练，覆盖 ADE20K、ImageNet-1k 详尽消融及跨策略/分辨率全面泛化测试]
写作质量: ⭐⭐⭐⭐⭐ [数学推导自洽严谨，消融实验逻辑链条清晰，图表信息表达极度密集且美观]
价值: ⭐⭐⭐⭐⭐ [扫平了主动视觉在密集预测任务上的长期性能低下与算力膨胀障碍，对高分辨率边缘感知与具身智能具有重大指导意义]