Dynamic Resolution Routing for Efficient Egocentric Grounding¶

会议: NeurIPS 2026
arXiv: 2608.01638
OpenReview: https://openreview.net/forum?id=iYPoXQgQac
代码: https://github.com/sun-h-x/SmartRes
领域: 多模态VLM
关键词: 第一人称视觉定位, 动态分辨率路由, 视觉Token缩减, 多模态大模型, 边缘端高效推理

一句话总结¶

针对第一人称视觉定位中目标极小且计算受困于高分辨率视觉编码开销的难题，SmartRes 放弃潜空间启发式剪枝，提出在像素空间由低分辨率全局引导并以动态分辨率路由精准激活目标区域高分辨率 Patch，结合间隔正则化损失缓解严重的前景背景失衡，在削减高达 67% 视觉 Token 的同时保留了 86.4% 的全分辨率定位性能。

研究背景与动机¶

第一人称视觉定位（Egocentric Visual Grounding）旨在根据自然语言查询在第一视角连续视频流中精确定位人机交互目标，在具身智能、AR/VR 以及交互式辅助系统中具有核心基石地位。多模态大语言模型（MLLMs，如 Qwen2.5-VL）在通用基准 RefCOCO 上已取得突破 90% 的优异表现，然而在第一人称场景下的表现却显著下降。其核心原因在于第一人称场景中的目标通常物理尺寸极小、伴随剧烈相机位姿晃动、局部手部工具遮挡以及杂乱的生活操作环境，极度依赖高分辨率输入来保留细粒度空间判别证据。但第一人称视频的高原生分辨率（如 $3780 \times 1920$）导致视觉编码器产生数千甚至接近上万个视觉 Token，使得模型推理瓶颈发生根本性转移：在仅输出简短坐标边界框的生成场景下，视觉编码与 LLM Prefilling 阶段占据了高达 66.5% 的端到端推理开销，严重阻碍其在边缘设备上的实时落地。

现有主流的高效推理工作多采用潜空间 Token 剪枝或合并方案（如 FastV、ToMe、Dyn-LLaVA），依赖交叉注意力权重、特征余弦相似度或激活统计量作为空间重要性代理。然而，这些统计启发式在第一人称场景中极易失灵：交叉注意力容易漂移至高激活伪影（Artifacts）或语义显著但与指令无关的区域（例如手部和背景大工具），造成关键的小目标视觉细节被误剪枝，而冗余背景 Token 却被保留，导致定位精度出现灾难性跌落。与此同时，部分基于多阶段检测框提议或工具调用的外部分辨率获取方法又受制于多轮流水线的庞大开销。

本文的切入角度是跳出事后被动的潜空间统计剪枝，转向在像素空间进行前瞻性的动态分辨率分配。核心 idea：利用全局低分辨率分支提取轻量级空间引导特征，通过学习型 Patch 级路由头精准激活目标区域的高分辨率 Patch 组，并提出间隔正则化目标（Margin Hinge Loss）拉大前景与背景 Logit 分离度，在保持空间光栅扫描顺序的前提下以紧凑混合序列实现精度与效率的最优权衡。

方法详解¶

整体框架¶

SmartRes 解决的核心冲突是「第一人称微小目标对高分辨率表征的刚需」与「全图统一高分辨率编码计算量爆炸」之间的矛盾。系统采用双分辨率协同架构，输入包含原始高分辨率图像 $\mathbf{I}$ 与定位指令 $\mathbf{T}$。整体流水线分为三步：首先，对原始图像进行各向同性缩放与对齐，分别获得全局低分辨率视图 $\mathbf{I}_{\text{LR}}$ 与候选高分辨率视图 $\mathbf{I}_{\text{HR}}$；随后，低分辨率图像经视觉编码器提取深层空间特征，由轻量级路由头预测 Patch 级显著性图并通过直通估计器生成二值路由掩码；最后，路由掩码仅触发目标相关区域的高分辨率 Patch 编码，并将选中的高分辨率 Token 组原位替换入低分辨率光栅扫描序列中，形成紧凑的混合长度视觉序列送入多模态解码器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 I 与文本指令 T"] --> B["双分辨率网格对齐制备<br/>各向同性缩放 + 步幅 F 对齐锁定映射"]
    B --> C["低分辨率引导与Patch路由<br/>深层特征预测显著性 + STE 二值门控"]
    C --> D["保序视觉Token光栅装配<br/>未选中保留LR背景，选中区域原位展开HR组"]
    D --> E["间隔正则化联合优化<br/>任务交叉熵 + BCE 路由 + 均值间隔 Hinge"]
    E --> F["输出目标检测框坐标 B"]

关键设计¶

1. 双分辨率网格对齐与空间映射：消除跨分辨率空间歧义的基础机制

为在像素级实现精准的跨分辨率调度，必须确保低分辨率路由决策能够无歧义地映射至高分辨率物理坐标。SmartRes 针对目标 Token 预算比例 $r_{\text{LR}}, r_{\text{HR}} \in (0, 1]$，对原图的高宽进行等比例缩放 $\widetilde{H}_b = H \sqrt{r_b}, \widetilde{W}_b = W \sqrt{r_b}$（其中 $b \in \{\text{LR}, \text{HR}\}$），从而严格保持输入纵横比。为了适配视觉编码器的 Patch 划分与空间合并下采样约束（步幅 $F = P \cdot M$，例如 Qwen2.5-VL 中 Patch 尺寸 $P=14$、空间合并合并度 $M=2$，即 $F=28$），引入了舍入对齐算子 $\operatorname{snap}_F(s) = F \cdot \max(1, \lfloor \frac{s}{F} + 0.5 \rfloor)$，使得两路输入尺寸均为 $F$ 的正整数倍。通过建立确定性坐标投影关系，高分辨率网格坐标 $(y_{\text{HR}}, x_{\text{HR}})$ 可唯一映射到对应的低分辨率父节点： $$ \phi(y_{\text{HR}}, x_{\text{HR}}) = \left( \left\lfloor \frac{y_{\text{HR}} G^h_{\text{LR}}}{G^h_{\text{HR}}} \right\rfloor, \; \left\lfloor \frac{x_{\text{HR}} G^w_{\text{LR}}}{G^w_{\text{HR}}} \right\rfloor \right) $$ 该映射保证了后续上采样路由决策时，局部高分辨率 Patch 能够精确回填至对应的全局空间位置，避免了插值带来的几何失真与特征错位。

2. 可学习 Patch 级分辨率路由：前瞻性动态细化代替事后启发剪枝

以往方法在视觉编码器全量计算完后才依靠注意力大小丢弃 Token，既无法降低编码器的庞大开销，又容易受背景高频伪影干扰。SmartRes 选择在低分辨率分支的深层特征（第 $\ell = 30$ 层）上部署由轻量级两层 MLP 构成的路由头。给定低分辨率特征 $\mathbf{F} \in \mathbb{R}^{N_{\text{LR}} \times D_v}$，路由头直接预测空间位置的连续显著性分数 $\mathbf{z} = \text{MLP}(\mathbf{F}), \mathbf{S} = \sigma(\mathbf{z}) \in [0, 1]^{N_{\text{LR}}}$。随后，利用直通估计器（Straight-Through Estimator, STE）在阈值 $\tau$ 处进行离散化二值门控： $$ \mathbf{M} = \text{STE}(\mathbf{S} > \tau) \in {0, 1}^{N_{\text{LR}}} $$ 在前向传播中，$\mathbf{M}_i = 1$ 显式触发高分辨率分支对应子区域的编码计算，$\mathbf{M}_i = 0$ 则仅保留紧凑的低分辨率背景 Token；在反向传播中，STE 将下游任务及路由监督梯度的连续流无损回传至 $\mathbf{S}$，使得网络能够在全端到端训练中自主学习「哪些微小物体区域值得花费高分辨率算力」。

3. 保序视觉序列光栅装配：零破坏空间上下文的局部致密化

多模态大模型的自注意力与位置编码高度依赖图像在空间扫描时的因果或二维连续性，传统稀疏采样往往因打乱拓扑序而破坏预训练位置先验。SmartRes 提出保序装配算子 $\mathbf{V}_{\text{assembled}} = \mathcal{G}(\mathbf{V}_{\text{LR}}, \mathbf{V}_{\text{HR}}, \mathbf{M})$。对于未选中的低分辨率位置，直接保留原始的低分辨率 Patch Token 作为紧凑背景；而对于被选中的活跃位置，则原位扩展展开为其对应的连续高分辨率 Token 组（例如一个父级低分辨率节点展开为相邻的 $2 \times 2$ 个子级高分辨率 Token），严格遵循图像标准自左向右、自上而下的光栅扫描顺序。序列末尾仅进行极少量的零填充以满足空间合并单元 $M^2$ 的整除性，最终通过投影层送入大模型，使得模型在无缝复用预训练 2D RoPE 位置编码的同时，享受紧凑背景与局部细粒度并存的视觉表征。

4. 间隔正则化路由优化：根治极度前景背景类别失衡的梯度稀释

在第一人称定位任务中，目标物体常仅占整图极小像素比例（前景 Patch 占比常小于 5%），若单纯采用二值交叉熵（BCE）监督路由头，大量极易分类的背景 Token 会产生压倒性的梯度质量，导致前景稀疏特征被淹没、Logit 严重重叠且召回率偏低。为消除这种统计压制，SmartRes 在基础定位损失与 BCE 路由损失之上，针对前景集合 $\mathcal{P} = \{i \mid \hat{M}_i = 1\}$ 与背景集合 $\mathcal{N} = \{i \mid \hat{M}_i = 0\}$，构建了类均值间隔 Hinge 正则化项： $$ \mathcal{L}{\text{hinge}} = \left[ m - \left( \mu \right) \right]}} - \mu_{\mathcal{N}{+}, \quad \text{其中} \quad \mu z_i $$ 当分类间隔未达到预设边界 }} = \frac{1}{|\mathcal{P}|} \sum_{i \in \mathcal{P}} z_i, \; \mu_{\mathcal{N}} = \frac{1}{|\mathcal{N}|} \sum_{i \in \mathcal{N}$m$ 时，该项对任意单个前景 Token 施加 $-1/|\mathcal{P}|$ 的梯度，对背景 Token 施加 $+1/|\mathcal{N}|$ 的梯度，使得前景与背景在类级别获得完全相等的聚合梯度推力（$G_{\mathcal{P}} = G_{\mathcal{N}} = 1$），彻底解耦了样本规模失衡对反向传播的负面影响，显著拉开正负样本 Logit 差距。

损失函数 / 训练策略¶

模型在微调阶段进行端到端多任务联合优化，总目标函数定义为： $$ \mathcal{L}{\text{total}} = \mathcal{L}}} + \lambda_{\text{route}} \mathcal{L{\text{route}} + \lambda $$ 其中主任务损失 }} \mathcal{L}_{\text{hinge}$\mathcal{L}_{\text{grounding}}$ 采用 Teacher-Forcing 下目标边界框文本序列的标准自回归交叉熵；路由监督项 $\mathcal{L}_{\text{route}}$ 计算预测显著性图 $\mathbf{S}$ 与真实标注投影掩码 $\hat{\mathbf{M}}$ 间的 BCE 损失；$\mathcal{L}_{\text{hinge}}$ 实施间隔边界约束。实验基于 Qwen2.5-VL-3B-Instruct 底座，使用 LoRA 微调 3 个 Epoch，学习率采用 Cosine 退火策略设为 $1 \times 10^{-4}$，路由模块独立采用 $5 \times 10^{-4}$ 学习率，推理默认阈值设为 $\tau = 0.5$。

实验关键数据¶

主实验¶

在代表性第一人称视觉定位基准 Ego4D 与 EgoIntention（包含 Context 和 Uncommon 两个子集）上，SmartRes 与全分辨率 Vanilla 基线、均匀下采样以及前沿 Token 压缩算法对比结果如下：

方法	Token 比例 ↓	Ego4D [email protected]	EgoInt-C [email protected]	EgoInt-U [email protected]	Overall [email protected]	相对保留率 ↑	FLOPs (T) ↓	延迟 (ms) ↓
Vanilla (Qwen2.5-VL-3B)	100%	63.22	60.01	54.77	59.33	100.0%	11.32	553.6
Down-scaling (均匀下采样)	32%	32.76	31.83	23.10	29.23	52.3%	3.94	240.8
Down-scaling (均匀下采样)	50%	52.17	50.25	42.70	48.37	81.8%	5.89	323.6
ToMe (ICLR 2023)	50%	11.41	10.78	9.74	10.64	25.7%	7.42	365.5
VisionZip (CVPR 2025)	50%	20.28	18.87	17.22	18.79	36.0%	7.98	293.4
FastV (ECCV 2024)	50%	45.52	47.32	35.74	42.86	73.6%	7.15	410.2
Dyn-LLaVA (2024)	50%	52.48	50.76	39.19	47.48	81.4%	7.41	419.3
SmartRes-Lite (本文)	33%	54.55	52.15	46.63	51.11	86.4%	4.05	252.6
SmartRes-Pro (本文)	55%	55.45	53.84	50.04	53.11	89.9%	6.58	365.8

消融实验¶

在 EgoIntention 基准上对核心模块与失衡正则策略进行消融分析（Token 预算统一控制在 ~33%）：

配置 / 模块方案	Token 比例	Overall [email protected]	前景召回率 (FG-Recall)	前景精确率 (FG-Precision)	说明
Uniform Down-sampling	32.14%	27.47	–	–	全图均匀粗粒度缩放
SmartRes-Random	33.00%	32.15	25.6%	19.1%	随机挑选 HR Patch 进行增强
Attn2HR (固定注意力启发)	32.96%	36.12	18.5%	22.3%	提取第 30 层自注意力引导高分辨率
SmartRes w/o $\mathcal{L}_{\text{hinge}}$	32.94%	45.35	37.0%	24.7%	仅用基础 BCE 损失，前景遭梯度稀释
SmartRes (Full Model)	33.05%	49.39	54.0%	31.1%	完整模型：Logit 分离度最大化
Oracle (GT-guided)	18.97%	58.45	100.0%	100.0%	理论上限：根据标注框精确路由

关键发现¶

小目标对分辨率极度敏感：均匀下采样至 50% 预算时，大目标精度仅下降 5.8%，而小目标定位精度跌落高达 10.7%。传统剪枝方案在 50% 预算下几乎丢弃了全部微小物体证据；而 SmartRes-Pro 在仅用 55% Token 下实现了小目标全分辨率精度 89.5% 的保留率。
动态像素路由显著优于潜空间剪枝：SmartRes-Lite 相比于 50% 预算的 Dyn-LLaVA，不仅综合精度保留率反超 5.0%（86.4% vs 81.4%），推理速度更提升了 1.66 倍（252.6ms vs 419.3ms），彻底消除了编码器阶段空跑全分辨率特征图的算力浪费。
均值间隔正则化至关重要：在仅使用 BCE 损失时，前景召回率仅有 37.0%；引入 $\mathcal{L}_{\text{hinge}}$ 后，前景召回率飙升至 54.0%，消融实验显示其效果显著超越 Focal Loss (45.0%) 与 Tversky Loss (49.0%)，证实了对称梯度推力对小目标特征激活的不可替代性。

亮点与洞察¶

将压缩从「事后潜空间裁剪」前移至「源头像素空间路由」：巧妙指出纯文本输出的定位任务算力瓶颈在视觉编码而非自回归解码，从源头切断背景冗余高分辨率编码，实现了计算量在 Vision Encoder 与 LLM Prefilling 阶段的协同暴降。
解析对称的类均值 Hinge 正则化机制：不依赖经验调参的 Focal 权重衰减，而是通过对类级 Logit 均值施加边界约束，在反向传播中直接产生与类别样本数无关的单位聚合梯度，极其优雅地化解了空间稠密背景对极小前景的梯度冲刷问题。
保序光栅映射无缝兼容预训练位置编码：通过规整的跨尺度步幅对齐与原位展开设计，完全保留了原生二维空间光栅扫描顺序，免去了针对变长稀疏视觉 Token 重新预训练复杂 2D RoPE 的沉重负担。

局限与展望¶

当前局限停留在单帧空间路由：论文当前主要验证静态单帧第一人称定位，而真实第一人称连续视频包含剧烈时序运动与动态交互，帧间独立路由无法复用时序记忆，可能引发跨帧闪烁与路由抖动。
缺乏具身闭环下游验证：论文评估主要聚焦于静态框定位指标（[email protected]、mIoU），未在物理真实机器人机械臂或可穿戴 AR 系统的实时交互闭环（如抓取成功率、端到端响应延迟及碰撞率）中进行真实实机验证。
未来改进方向：可进一步将空间动态路由拓展为时空联合路由机制，通过结合时序光流或跨帧运动显著性实现高分辨率特征跨帧缓存与增量路由更新。

评分¶

新颖性: ⭐⭐⭐⭐☆ [颠覆了传统的潜空间 Token 剪枝范式，构建了像素空间前瞻式动态分辨率路由与解析对称的均值间隔损失]
实验充分度: ⭐⭐⭐⭐⭐ [在 Ego4D、EgoIntention 以及通用 RefCOCO 等多基准上进行了详尽的尺度分解、延迟实测及梯度数学消融]
写作质量: ⭐⭐⭐⭐⭐ [动机剖析深刻，数学梯度推导严谨自洽，方法论与图表设计极具表现力]
价值: ⭐⭐⭐⭐⭐ [直击多模态大模型在端侧与可穿戴设备落地时的视觉编码算力死穴，为高效第一人称感知提供了高实用性的落地范式]