Task-driven Processing with Coarse-to-Fine Glimpse-based Active Perception

会议: ECCV2026
论文: ECCV 2026 原文
领域: 机器人/具身智能
关键词: 主动感知 / 实例检测 / 注视点 / 对数极坐标 / 高分辨率视觉

一句话总结

CF-GAP 是一个任务驱动的感知前端：它先用"待搜索目标"的多视角样例与降采样场景做卷积得到粗搜索热图，以 winner-takes-all 加抑制返回选出 30 个粗注视点，再由一台对数极坐标感受器在每个粗注视点上闭环迭代、用细搜索图的质心把注视点逐步修正到目标身上，最后只把少量高分辨率 RoI 与注视点坐标交给现成实例检测器，在 HR-InsDet 与 Robotools 上把多个 SOTA 检测器的 AP 最多提升约 20 个点，并让轻量检测器反超其重型版本。

研究背景与动机

当下的实例检测（instance detection）——不是在场景里找出某一类的所有物体，而是定位某个特定实例、样例只给几张该物体的照片——几乎都走同一条两阶段管线：先用大规模预训练的基础模型（SAM、GroundingDINO）在整幅图上穷举出所有"像物体"的候选框，再用 DINOv2 特征把每个候选与目标样例做匹配（OTS-FM、NIDS-Net 等）。这条管线的两个阶段都是"全图均匀处理"：第一阶段与"要找什么"完全无关，为了不漏检只能把所有像物体的区域都提出来；第二阶段虽然用上了任务信息，但代价已经是把整张图编码过一遍了。放到高分辨率场景（HR-InsDet 的场景是 6144×8192）上，这个矛盾更尖锐：ViT 类骨干为了压住自注意力的二次开销必须把图切成固定数量的 patch，模型输入被限制在 2048×2048 以内，小目标往往只剩几十个像素，关键细节在缩放中就被抹平了。

人类视觉不是这样工作的。眼睛有中央凹（fovea），中心分辨率最高、向外的采样密度对数式递减，因此既能看清细节又保留大视野；配合眼动，人按粗到细的策略搜索：先靠低分辨率的外围线索做大跨度扫视（macrosaccade）把视线投向可能有目标的位置，再用小幅度微扫视（microsaccade）在那个位置附近细看。已有的扫视式视觉模型——本文直接继承的 GAP 就是一例——已经证明"只处理被选中的局部"能带来很强的分布外泛化与样本效率，但它们选点的依据是显著性，或是由任务损失间接学出来的固定策略，推理时无法用"我要找哪一个物体"这条信息去指挥视线。本文要补的正是这一点：让粗到细的注视过程被搜索目标（search target，即待定位的那个具体实例）直接驱动，并且把这一切做成一个可以插到任意现成检测器前面的前端，而不是另起炉灶训练一个新检测器。

核心 idea：用"粗搜索图选点 + 对数极坐标闭环精修"的两层嵌套注视过程，把高分辨率场景的处理变成只处理少数几个高信噪比的局部区域，并把任务信息（目标样例）提到感知链路的最前端，使下游检测器既不改造也不需要变重。

方法详解

整体框架

CF-GAP 把检测想象成"操纵一台虚拟的对数极坐标传感器在场景上游走"。输入是一幅高分辨率场景加上该目标的若干张多视角样例；输出是（配合下游检测器得到的）场景中最佳匹配的那个实例。中间是两层嵌套的注视（glimpse）过程：外层是粗注视，在 2 倍降采样的整幅场景上，用目标特征与场景特征卷积得到的"粗搜索图"（一张二维热图，取值越高表示该位置越可能有目标）反复取最大值点，并用抑制返回（inhibition-of-return, IoR）屏蔽已看过的位置，共取 \(N_c=30\) 个粗注视点；每个粗注视点触发一次内层细注视——对数极坐标感受器从全分辨率场景抠出一块"中心高清、外围对数压缩"的局部视图，在这块视图上再算一张细搜索图，取其二维质心作为下一个注视位置，如此闭环迭代 \(N_f=3\) 次。每轮细注视结束后，CF-GAP 把三样东西交给下游实例检测器：以最后一个细注视点为中心裁剪的固定尺寸 RoI、细注视点自身的坐标、以及目标的多视角样例；检测器在这些输入上出候选并匹配，跑满 \(N_c\) 轮粗注视后返回全局最佳匹配。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    A["高分辨率场景<br/>+ 目标样例"] --> B["任务驱动的粗注视点搜索<br/>粗搜索图 → WTA + 抑制返回"]
    B --> C
    subgraph C["对数极坐标闭环细注视"]
        direction TB
        D["对数极坐标感受器<br/>中心高清 + 外围压缩"] --> E["Perceiver 式编码器<br/>压缩 → 自注意力 → 解码"]
        E --> F["细搜索图与质心定位"]
        F -->|继续下一轮| D
    end
    C --> G["注视点接口<br/>RoI + 注视点坐标 + 目标样例"]
    G --> H["下游检测器出候选并匹配"]
    H -->|未跑满 Nc 轮| B
    H -->|跑满| I["返回最佳匹配实例"]

关键设计

1. 任务驱动的粗注视点搜索：用目标样例与降采样场景的卷积决定先看哪里

现有的两阶段实例检测把"任务"留在了第二阶段：只有等整幅图都被 SAM / GroundingDINO 编码、所有候选框都提出来之后，目标样例才参与进来。CF-GAP 把这层信息提到最前面——它沿用的其实还是"目标特征与场景特征做匹配"这一套（搜索图范式来自 Transporter Networks 与 "Finding any Waldo"），但只在一个 2 倍降采样的低分辨率场景上做一次，代价极小。场景编码器与目标编码器都用轻量的 MobileNet-V3：多张目标样例的特征先沿空间维度平均成一个特征向量，再在这个降采样场景的特征图上做卷积，得到粗搜索图。

选点用的是一套很朴素的迭代过程：每轮取搜索图上响应最高的位置（winner-takes-all），然后把该位置周围的一片区域在图上屏蔽掉（抑制返回），防止同一片区域被反复选中，再取下一个人最大值。滚 30 轮，得到 30 个粗注视点。这样做的好处是这些点会自然铺开到场景中若干处"像目标"的区域，而不是全部挤在同一个峰值上——论文可视化出来的注视点确实只覆盖场景的一小部分，而不是均匀散开（Fig. 7）。

这条路径有效的原因在于它把"任务条件化"的成本压到了最低：目标信息只用来生成一张低分辨率热图，既不需要把目标塞进下游检测器的特征空间，也不必让下游重新训练或微调，因此同一个前端可以换任意检测器当后端。代价则是粗注视点只来自降采样场景，位置只是一个粗糙估计，可能明显偏离真实目标——而这个空间误差，恰好就是下一层细注视要解决的问题。

2. 对数极坐标闭环细注视：把一个偏移的粗注视点逐步修正到目标上

粗注视点来自低分辨率估计，可能偏离目标；而下游检测器（尤其是 SAM 类）是按给定位置去抠物体的，位置偏了就直接丢分。最直觉的修法是抠一块小的笛卡尔裁剪（cartesian crop）再放大，但裁剪尺寸极难调：裁小了看不到足够上下文、目标甚至可能不在框内；裁大了又引入大量干扰物。这个尺寸还敏感地依赖于"粗注视点离目标有多远""目标本身多大"，没有一个通用解。

CF-GAP 改用仿中央凹的对数极坐标（log-polar）变换：以注视点为中心采样，中心区域分辨率最高，向外的采样密度按对数递减，"局部高清 + 外围大视野"因此被压进同一张固定尺寸的图里。它的关键性质是视觉上对尺寸不敏感——把采样直径从 256 一路调到 2048，对数极坐标图看起来几乎不变（变化都被压到最外圈的极少数像素里），而笛卡尔裁剪在不同尺寸下会变成完全不同的图（Fig. 5）。论文给出的解释是：正因为外围分辨率对数式衰减，无论直径多大，感受野中央附近的内容都保持同样的相对权重，细搜索图因此对周边干扰物更鲁棒，细注视点也更稳定；Fig. 6 在数值上印证了这一点——对数极坐标在很宽的尺寸区间内性能平稳，裁剪式则对尺寸高度敏感。

但非均匀分辨率恰恰是 CNN 的盲区：卷积默认输入每个位置分辨率相同、对所有区域一视同仁。于是细阶段的场景/目标编码器换成了 Perceiver 式结构（Fig. 2B-C）。glimpse 先切成不重叠 patch 并投影到 \(D\) 维，场景编码器用一小组可学习 embedding 作为 query，通过交叉注意力把 \(H\times W\times D\) 的空间输入压缩成 \(N\) 个隐变量（\(N \ll H\times W\)），这一步顺便消掉了后续自注意力的二次开销；自注意力在这 \(N\) 个隐变量上把注视点附近的高频细节与外围上下文整合起来；最后再用一次交叉注意力把它解码回原来的空间尺寸，得到 glimpse 特征图 \(F_s^{*}\)。解码这一步用另一组可学习 embedding 作为 value，把"用于压缩的特征空间"和"用于输出的特征空间"解耦，作者的解释是让输出特征图专门为"与目标特征做比较"而优化。论文正文里这几处公式在缓存中渲染损坏，下面按文字描述还原其通用形式（⚠️ 以原文为准）：

\[F_s^{*} = \mathrm{CrossAttn}\Big(\mathbf{e}_o,\ \mathrm{SelfAttn}\big(\mathrm{CrossAttn}(\mathbf{e}_q,\ F_s)\big)\Big),\qquad \mathbf{e}_q,\mathbf{e}_o \in \mathbb{R}^{N\times D}\]

其中 \(\mathbf{e}_q\) 是压缩用的 query embedding，\(\mathbf{e}_o\) 是解码用的 value embedding。目标编码器复用同一套交叉/自注意力模块，但迭代地吃进 \(M\) 张目标样例的 glimpse：第 \(m\) 轮以目标 glimpse \(F_m\) 作 keys/values、以上一轮的输出作 query 做交叉注意力，再过一个自注意力，第 0 轮 query 初始化为 \(\mathbf{e}_q\)，最终输出 \(\mathbf{h}_T\) 就是一组紧凑的目标特征。它与场景特征图做卷积得到 \(N\) 张相关图，平均成一张细搜索图。

细注视是闭环的：细搜索图的二维质心直接给出下一个注视位置，传感器移过去、重新抠一张 glimpse、再算下一张搜索图。这里"task-driven"的确切含义值得说清——它不是用强化学习学一个注视策略，整个引导信号就是"目标特征 × 当前场景"这张相关图的质心：任务信息（目标样例）经编码器进入相关性计算，质心把这张图压缩成一个坐标，注视点因此朝"与目标更像"的方向移动。至于为什么取质心而不是最大响应点，原文只说用二维质心决定下一个位置，没有展开论证这一选择（⚠️ 以原文为准）；一个自然的理解是相关图在目标附近通常是一片有宽度的响应而非单点尖峰，取质心相当于对这块响应做平滑，位移不会因个别噪声尖峰而跳飞。

3. 注视点接口：让 CF-GAP 能插到任意实例检测器前面

CF-GAP 被刻意设计成前端而非一个新的检测器：它不输出检测框，只负责"往哪看"，最终判定交给下游。为此它在每一轮细注视结束时给下游三样东西：① 以最后一个细注视点为中心裁剪的固定尺寸高分辨率 RoI；② 细注视点坐标本身；③ 目标的多视角样例（用于和检测到的候选做匹配）。第 ② 项怎么用取决于下游：SAM / MobileSAM 这类支持点提示的模型，可以把原本铺满全图的密集二维点提示换成少数几个注视点，检测范围和调用代价随之下降；GroundingDINO 不支持点提示，注视点就当作空间过滤器，把不包含注视点的候选框直接丢掉——候选数一少，后续 Stable Matching 的误匹配也少了。论文把这一项单独拆出来做了消融：只给 RoI 不给注视点坐标时，CF-GAP + NIDS-Net 在小目标上是 41.8 AP、难场景 49.5 AP；补上注视点坐标后升到 52.1 / 63.2。

这个接口带来一个非平凡的结果：下游模型可以换小的。因为 CF-GAP 已经把绝大部分无关内容挡在外面，交付给下游的本来就是高信噪比的局部区域，下游不再需要"为应付复杂场景中大量物体和视觉细节"而配置的笨重模型。论文把这称为 looking 与 seeing 的分工——CF-GAP 负责"看哪里"，下游负责"看清那里"；把轻量的 OTS-FM_MobileSAM 接到 CF-GAP 后面，它在最难的子集上反超了原版 OTS-FM_SAM 与 OTS-FM_GroundingDINO。但要注意 CF-GAP 对下游并不免费：每个粗注视点都要调用一次下游（Tab. 5），精度与算力的权衡由 \(N_c\) 控制；在算力对齐的比较条件下（\(N_c=1\)），CF-GAP 扩展依然优于纯基线。

一个完整示例

以 HR-InsDet 中一幅 6144×8192 的场景为例（实验中缩到 4096×5460 以加快迭代），要找的是某个特定的小工具。

1. 粗阶段：场景降采样 2 倍后由 MobileNet-V3 编码，与目标样例的平均特征做卷积得到粗搜索图；WTA 取最高点 → 屏蔽其邻域（IoR）→ 再取最高点，如此 30 轮，得到 30 个粗注视点。它们并不均匀铺满整幅图，而是集中在少数几块"像目标"的区域。
2. 细阶段：对第 1 个粗注视点，直径 4096 像素的对数极坐标感受器从全分辨率场景抠出一张 glimpse、缩放到 245×245；Perceiver 式编码器算出细搜索图，质心给出新坐标；传感器移过去再抠一张、再算一次，重复 3 次。3 次之后，注视点通常已从粗阶段那个有偏移的位置挪到了目标上（Fig. 7 的 zoom-in 面板就是这个过程的可视化）。
3. 交付：以最后一次细注视点为中心裁一块固定尺寸 RoI，连同 3 个细注视点坐标一起交给下游（NIDS-Net / SAM / GroundingDINO）。下游在这块小区域里出候选、与目标样例匹配，记录最佳匹配。
4. 循环：回到第 2 个粗注视点重复上述过程，跑满 30 轮后返回全局最佳匹配。整条流程只把 30 个局部 RoI 而不是整幅图送进下游；作为对比，"切块式"的朴素高分做法要把同一幅图送 165 块。

损失函数 / 训练策略

CF-GAP 的内部训练细节在会议主文里几乎没展开。可以确定的是模块构成：粗搜索图的场景/目标编码器直接用轻量的 MobileNet-V3，细阶段的 Perceiver 式编码器是本文提出的、需要训练的部分。训练数据来自 HR-InsDet 提供的 200 张随机背景图，按 cut-paste-learn（CPL）策略把目标裁剪、缩放、粘贴到任意背景上合成训练样本。论文把搜索图提取的完整说明与训练/复现细节放在附录 A、B，而缓存的正文（会议主文）不含附录，因此本文无法确证其优化目标与具体超参——⚠️ 以原文附录为准。

能够确证的评测配置是：粗注视在 2 倍降采样场景上运行，细注视在全分辨率上运行；对数极坐标感受器直径 4096 像素，抠出的 glimpse 统一缩放到 245×245；默认 \(N_c=30\)、\(N_f=3\)。另外在 Robotools 上评测时，其 20 个目标禁止用于训练，CF-GAP 只用 HR-InsDet 的物体训练，因此该数据集上的结果衡量的是对未见物体的泛化。

实验关键数据

主实验

评测在 HR-InsDet 与 Robotools 两个基准上进行。HR-InsDet 含 100 个实例、每个 24 张样例、160 幅高分辨率场景（14 个室内场景），并按杂波/遮挡程度（easy / hard）与目标尺寸（small / medium / large）划分子集；Robotools 含 20 个实例、1581 张测试图（24 个室内场景），且其目标禁止用于训练。指标为 IoU 从 0.5 到 0.95、步长 0.05 的平均精度 AP，以及 IoU=0.5 的 AP50。下表汇总 HR-InsDet 上四个下游检测器在加入 CF-GAP 前后的对比（"基线"指同一个检测器不接 CF-GAP 的版本，不是全表最强方法）：

数据集	子集	指标	原始基线（同一下游）	CF-GAP 扩展	提升
HR-InsDet	small	AP	12.4 (OTS-FM_MobileSAM)	29.3	+16.9
HR-InsDet	hard	AP	22.0 (OTS-FM_MobileSAM)	41.7	+19.7
HR-InsDet	small	AP	14.6 (OTS-FM_SAM)	32.4	+17.8
HR-InsDet	hard	AP	28.0 (OTS-FM_SAM)	47.1	+19.1
HR-InsDet	small	AP	28.8 (OTS-FM_GroundingDINO)	39.6	+10.8
HR-InsDet	hard	AP	37.2 (OTS-FM_GroundingDINO)	50.2	+13.0
HR-InsDet	small	AP	32.4 (NIDS-Net)	52.1	+19.7
HR-InsDet	hard	AP	39.9 (NIDS-Net)	63.2	+23.3

论文摘要把增益表述为"最高 20% 的 AP 提升"；按上表数值，hard 子集上的 22.0 → 41.7（+19.7）与 39.9 → 63.2（+23.3）接近或超过这一幅度，而增益最小的 OTS-FM_GroundingDINO 在 small 子集上也有 +10.8。Robotools 上 CF-GAP 同样一致提升所有基线的 AP：轻量的 OTS-FM_MobileSAM 接上 CF-GAP 后 AP50 已能与更重的基线相当，但其 AP 仍低于后者——作者的解读是它较弱的检测骨干给出的框不够精确。

针对"高分辨率到底该怎么办"这个直接对手，论文构造了一个朴素的高分基线：把 6144×8192 的场景切成 1024×1024、50% 重叠的 patch，让基线把每块 patch 当成独立 RoI 处理，共 165 块 RoI（比 CF-GAP 的 30 块多 5 倍以上）。

模型	AP (small)	AP (hard)
OTS-FM_MobileSAM	12.4	22.0
Patched OTS-FM_MobileSAM	18.4	23.2
CF-GAP + OTS-FM_MobileSAM	29.3	41.7
OTS-FM_SAM	14.6	28.0
Patched OTS-FM_SAM	18.9	24.2
CF-GAP + OTS-FM_SAM	32.4	47.1
OTS-FM_GroundingDINO	28.8	37.2
Patched OTS-FM_GroundingDINO	22.4	28.1
CF-GAP + OTS-FM_GroundingDINO	39.6	50.2
NIDS-Net	32.4	39.9
Patched NIDS-Net	50.1	49.1
CF-GAP + NIDS-Net	52.1	63.2

另一项把"找得到"与"认得对"拆开的主实验也很有说服力。实例检测可以分解为"找到可能含目标的候选区域"和"把它与目标样例匹配确认"两步，CF-GAP 主要改善的是第一步，于是论文统计了"目标被找到（无论后续是否认对）"的场景比例（作者说明这里无法报告常规的平均召回，因为 CF-GAP 本身不直接输出检测框）：

模型	目标被找到 % (small)	目标被找到 % (hard)
OTS-FM_SAM	42.1	56.3
NIDS-Net	73.3	75.2
CF-GAP	81.9	89.6
CF-GAP w/o 细注视	69.5	74.6

消融实验

下表整合了论文的两组消融，均在 CF-GAP + NIDS-Net、HR-InsDet 上进行，数值为 AP：

配置	small	medium	large	easy	hard
完整模型	52.1	79.7	86.1	78.2	63.2
w/o 注视点坐标（只给 RoI）	41.8	73.1	86.0	74.5	49.5
w/o 细注视（只用粗注视点）	44.6	77.3	85.5	75.6	56.2

此外还有一组"glimpse 类型"的尺寸敏感性分析（Fig. 6）：横轴从 64 扫到 2048，对数极坐标的性能曲线在很宽的区间内保持平坦，而笛卡尔裁剪的性能随尺寸剧烈起伏，两者在 small 与 hard 两个子集上都是如此。

关键发现

• 增益集中在"小目标 + 难场景"，简单场景几乎不动。 去掉细注视会分别让 small 掉 7.5 个点、hard 掉 7.0 个点，而 large（85.5 → 86.1）和 easy（75.6 → 78.2）几乎没有变化。这说明 CF-GAP 主要是在补"缩放丢细节 + 场景杂波"造成的损失，而不是普遍性地提升检测能力——它解决的是一个分辨率问题，而不是一个识别问题。
• 细注视贡献的是定位精度，而非"看不看得见"。 Tab. 4 里 CF-GAP 能在 81.9% / 89.6% 的场景中找到目标，去掉细注视后掉到 69.5% / 74.6%；论文的解释是粗搜索图分辨率低，给出的注视点会偏离真实目标，而下游是被"按指定位置去找物体"来提示的，位置一偏就直接失败。细注视闭环的作用就是把这个空间误差修回来。
• 注视点坐标是一份廉价但重要的信号。 只把 RoI 交给下游时，小目标 41.8、难场景 49.5；把细注视点坐标一并给出后升到 52.1 / 63.2（+10.3 / +13.7）。对 SAM 类模型它替代了密集点提示（省算力），对 GroundingDINO 它充当空间过滤器（降误匹配），两种用法都有效。
• 朴素切块不是免费的替代方案。 虽然 165 块 patch 在原理上能找回被缩放丢掉的高频细节，但 OTS-FM 系列反而变差（GroundingDINO 在 small 上 28.8 → 22.4、hard 上 37.2 → 28.1），原因是 RoI 一多候选框就暴涨、匹配错误随之增加；只有微调过匹配特征的 NIDS-Net 从中受益（small 32.4 → 50.1），但仍明显落后于它的 CF-GAP 版本（52.1），尤其是在 hard 场景（49.1 vs 63.2）——而 CF-GAP 用的 RoI 数量还不到它的 1/5。
• 算力几乎全部花在下游。 Tab. 5 给出成本分解：粗搜索图（MobileNet）每场景 60 GFLOPs，细搜索图（Perceiver 编码器）每张 glimpse 1 GFLOPs，CF-GAP 内部合计 \(60 + N_c \times N_f \times 1\)，默认配置下约 150 GFLOPs；而下游单次调用是 80 (STT) / 130 (MobileSAM) / 800 (NIDS-Net) / 5800 (SAM) GFLOPs，30 次调用对应约 2.4k 到 174k GFLOPs，比 CF-GAP 自身高出两到三个数量级。总成本的公式是 CF-GAP 内部成本 + Nc × [下游成本]，所以真正该省的是把笨重的下游换掉，这也解释了为什么用轻量下游反而更划算。
• 早停空间很大。 Fig. 9 的灰色累计曲线显示，约一半的场景在前 8–10 次粗注视内就已经命中搜索目标——也就是说，如果能有一个更可靠的匹配阶段在"认出来了"的时候终止注视，\(N_c\) 还能大幅砍掉。论文也把这一点列为未来的改进方向。

亮点与洞察

• 把"任务条件化"提前到最前端，是这篇论文最省的一步棋。 目标样例只参与生成一张低分辨率热图，不需要微调下游、不需要把目标编码进下游的特征空间，因此同一个前端可以无缝换任意检测器当后端，甚至在 IDOW 这类权重不可得的基线上也能直接讨论兼容性。这种"不改下游、只改往哪看"的接口设计，是把主动感知落地到现成模型上的关键。
• 对数极坐标的选择不是为了好看，而是为了消掉一个调参维度。 笛卡尔裁剪的尺寸同时受"粗注视点偏移量"和"目标尺度"两个变量影响，实际使用中必须针对数据集调；对数极坐标把外围压缩到一个固定的小区域里，于是不同直径下视野中央的相对内容几乎不变（Fig. 5 的视觉对比非常直观：直径 256 到 2048 的四张图长得几乎一样，而裁剪 256 到 2048 的四张图完全不同）。用一个几何先验换掉一个超参，是可迁移的思路。
• 为处理非均匀分辨率而放弃 CNN，是有针对性的架构决策。 卷积的平移等变性隐含"每个位置分辨率相同"这一假设，对数极坐标图恰好违反它；换成 Perceiver 式的"压缩—自注意力—解码"后，模型可以在低维隐空间里做全局交互，同时用另一组 value embedding 把输出特征空间解耦出来专门服务于"与目标比较"这个下游用途。论文在附录 D 中用 CNN 对照实验佐证了这一选择。
• "looking / seeing"分工带来一个反直觉但可复用的结论：前端做得越好，后端越可以更小。 一般直觉是精度不够就上更大的模型，这里因为前端已经把输入的信噪比提上来了，轻量下游反而在难子集上反超重型下游。任何"前端做数据筛选/区域推荐"的系统都可以照这个逻辑重新做一遍算力分配。
• 把"找到"和"认对"分开度量，是一个值得借鉴的评测设计。 因为无法用常规召回指标，论文直接统计"目标是否出现在被送进下游的区域里"，这既给出了匹配阶段完美时的 AP 上界，也把 CF-GAP 的贡献与下游识别能力的贡献隔离开——否则你无法判断 AP 的提升到底来自"看得更准"还是"看得更清"。

局限与展望

• 引导信号只有纹理层面的相关性。 CF-GAP 的两张搜索图都是"目标外观特征 × 场景特征"的卷积响应，而人眼搜索时还会用到物体的高层语义、场景的空间布局等大量先验。对纹理区分度低、或场景中有大量外观相似干扰物的目标，这套引导大概率会失效。
• 抑制返回的抑制范围偏小。 IoR 只屏蔽已访问位置及其紧邻邻域，而不是整块与任务无关的区域，因此注视过程可能反复回到同一个干扰物上，把宝贵的 \(N_c\) 浪费掉。一个按"语义区域"而不是"像素邻域"抑制的机制会更省。
• RoI 是固定尺寸的，必须保守地取大。 为了容纳不同尺度的目标，裁剪框只能按最坏情况放大，这既浪费了下游的算力也稀释了精度；一个能根据任务相关区域内容自适应调整裁剪尺寸的机制会同时改善两者。
• 成本随粗注视次数线性增长。 每个粗注视点都要完整调用一次下游，所以 \(N_c\) 直接等价于算力预算。作者的设想是训练一个更可靠的匹配阶段，一旦确信目标已被识别就提前终止注视——考虑到约一半场景在前 8–10 次就命中，这个早停能省下的算力相当可观。
• 评测面仍然偏窄（笔记作者补充）。 两个基准都是室内桌面/工具场景、目标是刚体物件，场景类型高度相似；方法在户外、街景、文本查询（作者提出的另一条未来方向）等设定下是否成立还没有证据。另外论文把网络与训练细节放进附录，主文没有给出优化目标和超参，复现门槛偏高。
• 一个尚未验证的隐患：细注视闭环完全依赖细搜索图的质心，而质心的计算只用了目标的外观相关性。如果目标在场景中被遮挡到只剩一小部分可见，相关图可能出现多个强度相近的响应峰，此时质心会落在几个峰之间、把一个都不对的位置当作注视点——论文的失败案例（附录 F）是否覆盖了这一情形，从主文无法判断。

相关工作与启发

• vs OTS-FM / NIDS-Net（两阶段实例检测）：它们先在全图上穷举候选、再用 DINOv2 特征匹配，第一阶段与任务无关，第二阶段虽然用上任务信息但代价已付。CF-GAP 做的是把顺序倒过来——先用任务信息决定只看哪几块，再让检测器在这些区域里工作；优势是在 6144×8192 这类场景上既省算力又提精度，劣势是引入了一个额外的注视循环，\(N_c\) 轮调用让总成本随轮数线性增长。
• vs GAP（Kolner et al., ICLR 2025）：CF-GAP 直接继承 GAP 的注视式感知骨架，但 GAP 按显著性选点、面向合成视觉推理任务，其注视策略在推理时无法被任务条件化；CF-GAP 用"目标样例 × 场景"的搜索图替代显著性、并加了粗到细的嵌套结构，把框架推到真实的高分辨率实例检测场景。
• vs STT（Segment This Thing）：两者都用了仿中央凹的视觉结构与"给定位置"的输入方式。STT 是把中央凹式 tokenization 用于一种固定的视图编码，CF-GAP 则把对数极坐标用作导航手段——同一张感受器被反复移动、逐步逼近目标；也正因 STT 需要一个位置输入，它只能在 CF-GAP 提供位置时才能被评测，无法作为独立基线参与对比。
• vs 朴素切块（patched baselines）：切块是"用更少的语义、更多的算力"去补分辨率，CF-GAP 是"用更多的语义、更少的算力"——165 块 vs 30 块 RoI，且前者的候选爆炸还会反噬匹配精度。两者的对比说明高分辨率问题的关键不是"看多少像素"，而是"看哪几块像素"。

评分

• 新颖性: ⭐⭐⭐⭐ 把扫视式主动感知与实例检测的任务条件化结合，并用对数极坐标解决"裁剪尺寸难调"，组合得干净，但各组件本身（搜索图、IoR、log-polar、Perceiver）都是既有构件。
• 实验充分度: ⭐⭐⭐⭐ 四个下游检测器 × 两个基准 × 五组消融，还专门设计了切块式对手与"找到但未必认对"的度量；扣分在于只有会议主文的可视化（Fig. 3/4 只有柱状图），没有完整表格，且训练细节全部压在附录。
• 写作质量: ⭐⭐⭐⭐ 动机（人眼粗到细搜索）与方法（两层嵌套注视）的对应关系讲得很清楚，looking/seeing 的提法也有概括力；方法章部分公式在排版上较难读。
• 价值: ⭐⭐⭐⭐ 作为即插即用的前端，它把一个"必须换模型"的问题变成了"加一层预处理"的问题，并给出"前端越好、后端越小"这一可迁移的算力分配结论；对需要在边缘设备上做高分辨率目标查找的机器人场景有直接参考价值。

相关论文

• [ECCV 2026] OmniStream: Mastering Perception, Reconstruction and Action in Continuous Streams
• [ECCV 2026] E3VS-Bench: A Benchmark for Viewpoint-Dependent Active Perception in 3D Gaussian Splatting Scenes
• [ECCV 2026] Humanoid Whole-Body Manipulation via Active Spatial Brain and Generalizable Action Cerebellum
• [ICLR 2026] APPLE: Toward General Active Perception via Reinforcement Learning
• [ACL 2026] Libra-VLA: Achieving Learning Equilibrium via Asynchronous Coarse-to-Fine Dual-System