Semantic-Geometric Dual Compression: Training-Free Visual Token Reduction for Ultra-High-Resolution Remote Sensing Understanding

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/Cynthia314/DualComp
领域: VLM 效率
关键词: 视觉 token 压缩、超高分辨率遥感、语义几何双重性、任务路由、拓扑补全

一句话总结

DualComp 根据问题对物体语义与场景几何的不同需求，动态组合局部语义聚合与结构路径补全，在 XLRS-Bench 的 GeoLLaVA-8K 实验中将报告的平均准确率从 51.5% 提高至 53.1%，同时把推理时间从 8.15 降至 3.87 秒/图；免训练的是压缩模块，而非离线路由器。

研究背景与动机

超高分辨率遥感影像让视觉语言模型（VLM）既能看到大片地理区域，也能分辨其中的小型目标，但保留这些细节需要大量裁块和视觉 token。 AnyRes 一类多裁块输入把像素覆盖转成很长的序列，随后大语言模型（LLM）必须为这些视觉上下文付出注意力计算与生成开销。 因此，压缩不能只看图像是否还“大致像原来的场景”，而要看回答问题所需的证据是否仍然存在。 VisionZip、FastV、SparseVLM 等已有方案提供合并或剪枝手段，但通用的重要性分数不必然对应遥感任务的证据需求。

同一张图里的背景可能扮演相反角色：数车辆时，大面积均匀地表往往是冗余；问路线是否连通时，道路沿途看似不起眼的区域却是答案依据。 只保留显著物体，可能让模型知道两端存在建筑，却看不到中间道路如何连接。 反过来，所有任务都保留完整背景，又会浪费物体计数所不需要的预算。 论文图 1 的预实验据此区分语义主导、语义几何均衡、几何主导三种响应：增强压缩可以改善第一类，第二类偏好中等强度，而第三类容易受损。

本文把压缩看成由问题决定的证据分配，而不是为整张图选一个固定的降采样强度。 一条分支负责压掉同质背景并保留实例线索，另一条负责保留边界、连接和空间骨架；控制器同时决定总预算和两类证据的比例。 这种做法并不声称几何任务完全不需要物体，也不要求每个问题被硬分进互斥类别，而是用连续控制量表达偏好。 核心 idea：让指令决定“保留多少”和“保留哪种证据”，用语义聚合与几何补全分别处理冗余背景和不可丢失的空间连接。

方法详解

整体框架

输入是一张超高分辨率遥感图像及用户指令，宿主模型的视觉编码提供带空间位置的特征，文本嵌入提供任务表征。 双重性感知路由先输出语义几何偏好和保留比例，再把预算交给空间连续语义聚合 SCSA 与指令引导结构恢复 IGSR。 两条分支并行构造语义 token 和几何 token，最后经过双流融合与拓扑展开，作为紧凑视觉序列交给宿主模型生成答案。 这里恢复的是特征网格上的结构证据，不是重建一张高分辨率像素图，也不是额外训练一个遥感分割网络。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["遥感图像 + 指令"] --> Features["视觉特征网格<br/>与文本嵌入"]
        Features --> Router["双重性感知路由"]
        Router -->|语义预算| Semantic["空间连续语义聚合"]
        Router -->|几何预算| Geometry["指令引导结构恢复"]
        Semantic --> Fusion["双流融合与拓扑展开"]
        Geometry --> Fusion
        Fusion --> Output["冻结宿主模型<br/>生成答案"]

框架图中的两条执行分支并不是先做语义筛选、再从其结果里挑几何点。 它们承担不同的证据保留职责，共享路由器给出的控制信号；这避免把语义分支删掉的背景先验地判为无用。 作者将压缩放在语言生成前，目标是减少进入生成阶段的视觉序列，而不仅是在 LLM 已处理大量 token 后再丢弃它们。 宿主权重保持不变，新增可学习组件只存在于离线训练的轻量路由器中。

关键设计

1. 双重性感知路由：同时决定总预算与证据类型

路由器寄生在宿主文本嵌入的输出位置，将指令特征压成紧凑表征，再经过共享多层感知机和两个独立 Sigmoid 头。 它约有 1M 参数，输出双重性系数 \(\lambda\) 和保留比例 \(\rho\)。 较小的 \(\lambda\) 偏向物体语义，较大的 \(\lambda\) 偏向空间几何；\(\rho\) 越大，总共留下的 token 越多。 论文把 \(\rho\) 称作 compression ratio，但其预算定义表明它是保留比例，不能与实验表的 \(42.4\times\) 压缩倍数直接混用。

\[ n_{\mathrm{keep}}=N_{\max}\rho,\qquad n_{\mathrm{sem}}=n_{\mathrm{keep}}(1-\lambda),\qquad n_{\mathrm{geo}}=n_{\mathrm{keep}}\lambda. \]

其中 \(N_{\max}\) 是初始视觉 token 数的上界，两个分支领取同一总预算的不同份额。 这种控制比只改变压缩强度更具体：相同数量的 token 可以被组织成物体摘要，也可以被组织成连接路径。 路由器并非在线请求另一个大模型判题；宿主 LLM 的 Likert 量表判断与专家语言规则只用于离线构造偏好监督。 作者将这两类偏好标签按系数 \(\alpha\) 加权，训练后冻结路由器；因此部署时无需更新宿主模型，也不需要逐问题再做监督学习。

2. 空间连续语义聚合：合并背景而不把小目标平均掉

SCSA 使用冻结 CLIP 视觉特征的余弦相似度，在局部邻域内寻找可合并 token，而不是把全图所有相似外观都视为同一个簇。 原文的父节点规则只考虑索引更早的邻居，相似度超过阈值才建立合并关系，否则保留自身作为起点。 局部约束使聚类具有空间连续性，避免远处外观相似但实际不同的目标被简单混合。 阈值 \(\tau(\lambda)\) 随 \(\lambda\) 单调增大：语义偏好强时允许更积极的聚合，几何偏好强时保留更细的局部粒度。

聚类完成后，SCSA 使用预训练 ViT 的 CLS-to-patch 注意力作为语义相关性信号。 一个簇的分数是簇内各 token 注意力的累加，再按该分数选择语义预算允许的前列簇。 簇的代表不是统一平均：小簇保留 CLS 注意力最高的原始 token，大簇则用注意力加权平均生成摘要。 区分大小簇的阈值 \(\theta_{\mathrm{size}}(\lambda)\) 也受路由偏好控制，但当前正文没有给出其具体映射。 保留小簇中的原始特征，是为了减少细小目标被背景混合稀释的机会；它不等价于保证每个小目标都被检测或保留。 累计注意力仍是一种启发式的重要性估计，聚类大小也不是经过标注验证的真实物体尺寸。

3. 指令引导结构恢复：从稀疏锚点补出连通路径

IGSR 先比较每个位置的特征与其 \(3\times3\) 局部平均特征，以局部变化强度寻找边缘和结构转折。 它在各个子区域中保留高分 token 作为结构锚点，而不是只在全图取最高分，目的是让锚点具有空间覆盖。 接着，文本感知结构调制 TASM 用 CLIP 文本与视觉相似度调整结构评分，使补全更偏向问题相关的道路、边界或其他结构。 原文说明几何分数与文本分数都经过归一化，文本信号弱时退回以几何为主的恢复。 但缓存中相关公式有运算符缺失，因此这里只保留可确认的机制，不将猜补表达式写成作者精确公式。

锚点之间不是直接画直线，也不是只保留分数最高的孤立点，而是通过并行贪心路径追踪选择中间 token。 在每一步，候选必须处于当前点的邻域，而且到目标锚点的 Chebyshev 距离必须严格减小。 Chebyshev 距离衡量两个网格点行差与列差绝对值中的较大者；这个约束限制路径持续向目标推进。 在满足约束的候选里选择结构评分最高者，使路径倾向经过具有局部结构或指令相关性的区域。 不同锚点对的追踪以张量操作并行执行，减少逐条路径搜索的串行开销。 这是一种特征空间的连接启发式，不是全局最短路径求解，也不保证在真实道路存在绕行时还原所有拓扑关系。

4. 双流融合与拓扑展开：让证据比例和序列顺序都携带任务意图

SCSA 生成凝聚的语义特征 \(T_{\mathrm{sem}}\)，IGSR 提供沿连接关系组织的几何特征 \(T_{\mathrm{geo}}\)。 作者对两流分别加权后拼接，不增加新的投影层或归一化层。 这意味着 \(\lambda\) 不只影响 token 数量分配，还影响对应分支特征的幅值，进一步软抑制非主导分支。 这一做法兼容冻结宿主，但特征缩放是否对所有宿主同样稳定，仍需要跨架构验证。

\[ T_{\mathrm{fused}}=\operatorname{Concat}\!\left((1-\lambda)T_{\mathrm{sem}},\lambda T_{\mathrm{geo}}\right). \]

几何 token 按路径连通性展开成一维序列，而不是恢复到原图的索引顺序。 这样，原本在二维图像里连续的结构可以在语言模型上下文中保持局部相邻，让原生相对位置编码（例如 RoPE）利用这种邻接信息。 它不修改位置编码参数，也不能完整保留二维几何，只是把有用的连接关系转化为序列组织。 Index-Reorder 消融保留选中的路径 token、仅恢复原始空间索引排序，因而能区分“选了哪些证据”和“证据如何排列”的贡献。

一个完整示例

设想一张同时包含停车场和道路网络的遥感图，这是解释流程的示例，不是论文报告的单样本结果。 如果问题是“停车场里有多少辆车”，路由器可偏向语义分支，让均匀地面聚成大簇摘要，让小簇保留尖锐的原始特征。 模型得到的是更少背景干扰的目标线索，而不是必须逐 token 阅读整个地表。 如果问题改成“两个区域之间是否有可通行路线”，更多预算可以分给几何分支。 IGSR 通过局部变化找锚点，用问题相关性调制评分，再选取逐步接近目标的结构 token 补出路径。 这些 token 以连接顺序输入宿主，使它看到中间证据，而不仅是两个端点；具体路由值由模型预测，本文不虚构固定的数值分配。

损失函数 / 训练策略

SCSA 与 IGSR 不进行梯度训练，宿主 MLLM 不更新参数；路由器则需要离线标签和预训练。 因此标题中的 training-free 应理解为压缩与部署阶段的性质，而不是整个系统完全没有训练成本。 当前提供的全文到参考文献结束，没有正文所提到的聚类与锚点选择附录。 正文也未完整交代 \(\rho\) 的监督生成、路由损失、训练数据划分、\(\alpha\) 及各动态阈值的数值，不能凭两头 MLP 的形式补写训练配方。

实验关键数据

主实验

主要平台是 XLRS-Bench，包含 13 个感知与推理子任务；Avg. 是作者报告的子任务宏平均准确率，不是图像级总体正确率。 下表摘录原文表 1（第 11 页）的 GeoLLaVA-8K 系列，所有准确率单位为 %；RC 是区域计数，OLUC 是整体土地利用分类，RP 是路线规划。

方法	表 1 压缩倍数	Avg.	RC	OLUC	RP
GeoLLaVA-8K	未列	51.5	38.0	49.0	66.0
+ VisionZip	24×	42.8	39.0	37.0	62.0
+ FastV	24×	47.1	41.0	46.0	65.0
+ SparseVLM	24×	41.2	39.0	38.0	62.0
+ DualComp	42.4×	53.1	45.0	53.0	72.0

按表 1，DualComp 相对 GeoLLaVA-8K 的 Avg. 增加 1.6 个百分点，RC 增加 7.0 个百分点，RP 增加 6.0 个百分点。 这不是所有任务同时改善：变化检测区域计数从 50.0% 降到 48.3%，复杂推理计数从 52.0% 降到 49.0%。 表 1 为 GeoLLaVA-8K 的压缩倍数留空，但表 2 将同一基线列为 24×；因此不能把它称作完全未压缩的基线。

以下效率值直接摘自表 2（第 11 页），在 GeoLLaVA-8K 实验设置下比较；计算量是 LLM TFLOPs，不是整条系统的总 FLOPs。

指标	GeoLLaVA-8K	+ DualComp
压缩倍数	24×	42.4×
每网格 token 数	24	14.2
平均视觉 token 数	13.8k	6.4k
LLM 计算量（TFLOPs）	198.1	99.8
推理时间（秒/图）	8.15	3.87
视觉编码与压缩（秒/图）	4.28	1.52
LLM 生成（秒/图）	3.87	2.25

用表列时间计算，总体约加速 2.11 倍；这一数值是笔记计算，不是不同硬件上保证达到的速度。 第 12 页正文将基线视觉 token 写为 14.0k，而表 2 是 13.8k；此处保留表值，不把它们自行统一。 通用骨干验证见表 4（第 14 页）：Qwen2.5-VL-7B 的 Avg. 从 47.4% 到 47.9%，DualComp 压缩倍数为 10.24×。 该表的 VisionZip-10× 为 46.9%；这两项是接近而非严格相等的压缩倍数，且 Qwen 的 RC 从 40.0% 降到 36.0%。

消融实验

下表摘录表 3（第 12 页），使用 GeoLLaVA-8K 上的 XLRS-Bench 评测；Avg.、RP、OLUC 均为准确率（%）。 保留表中一位小数，避免与正文中不同精度或相互冲突的数值混合。

配置	修改内容	Avg.	RP	OLUC
SCSA-only	去掉几何流	50.3	67.0	50.0
IGSR-only	去掉语义流	51.1	71.0	50.0
Top-K	只留高分结构点，不补路径	50.5	65.0	52.0
TASM-off	去掉文本结构调制	51.2	71.0	48.0
Index-Reorder	路径 token 按原空间索引重排	51.5	72.0	51.0
DualComp	完整方法	53.1	72.0	53.0

关键发现

表 3 支持两流互补：完整方法比 SCSA-only 高 2.8 个百分点，比 IGSR-only 高 2.0 个百分点。 路径补全并非普通 Top-K 的替代名称：表中 Top-K 的 RP 为 65.0%，比完整方法低 7.0 个百分点。 拓扑展开改善的是整体结果，不能说它在表中提高了 RP，因为 Index-Reorder 与完整方法的 RP 同为 72.0%。 原文第 13 页把 Top-K 的 RP 写为 60.00%，又在后文把其 Avg. 写为 49.96%，均与表 3 的 65.0% 和 50.5% 不一致。 该页“Top-K 在所有消融中最低”的说法也不符合表中 SCSA-only 的 50.3%；本笔记以表格摘录为准，同时保留冲突供复核。

亮点与洞察

• 价值不在于又造一个通用显著性分数，而在于承认背景是否冗余取决于问题。预算分配因此具有明确的任务语义。
• IGSR 把“点重要”推进到“点之间的证据链重要”。这对道路、河流和边界类任务提供了可迁移的压缩视角，但迁移效果仍需实验验证。
• Index-Reorder 消融把选点和排序分开，提示紧凑视觉表示不仅是集合，也是一种供 LLM 阅读的序列结构。

局限与展望

• 作者报告混合任务仍可能退化，本文也保留了计数子任务的负结果。平均收益不能替代逐任务的预算可靠性分析。
• 当前主要证据来自一个遥感基准和两个骨干，未给出重复实验波动及充分的硬件复现信息。延迟优势应限定在报告设置内。
• 路由器训练细节、附录与多处公式在当前材料中不完整，数值又有表文冲突。要复现需要补齐原始附录、实现和监督划分，而非只凭结构图。
• 读者判断：距离必须单调减小的贪心追踪可能错过需要先绕远的道路。可进一步测试弯曲路径、遮挡与跨裁块连接，而不预设特征路径等于真实通行路径。

相关工作与启发

• 对比 GeoLLaVA-8K：它提供超高分辨率遥感宿主与静态压缩基线；DualComp 的贡献在于动态调度证据，不是重新训练一个更大的遥感模型。
• 对比 VisionZip、FastV、SparseVLM：这些方法分别涉及视觉合并或 LLM 内部剪枝；本文突出任务偏好和空间连接，实测比较还同时改变了压缩倍数，不能当作等预算纯模块对照。
• 对比 ZoomEarth：主动感知通过多轮缩放获取局部细节，DualComp 主要在已有视觉特征上进行单次压缩调度。二者可能互补，但本文没有验证组合系统。
• 原文定位：第 7–10 页为路由、SCSA、IGSR 与融合；表 1–2 在第 11 页，表 3 在第 12 页，冲突说明见第 13 页，跨骨干表 4 在第 14 页。官方论文入口与项目链接见页首。

评分

• 新颖性: 4/5。用任务条件显式区分语义与几何证据，比单一压缩重要性更有针对性。
• 实验充分度: 3/5。有效率、模块和迁移实验，但缺少更广泛数据及完整复现细节。
• 写作质量: 3/5。方法意图清楚，training-free 限定与表文数值冲突需要读者留意。
• 价值: 4/5。对遥感 VLM 的高分辨率推理提供实用方向，但当前结果不构成通用拓扑保真保证。

相关论文

• [ECCV 2026] Keeping the Evidence Chain: Semantic Evidence Allocation for Training-Free Token Pruning in Video Temporal Grounding
• [ECCV 2026] Fourier Compressor: Frequency-Domain Visual Token Compression for Vision-Language Models
• [ICLR 2026] VisionTrim: Unified Vision Token Compression for Training-Free MLLM Acceleration
• [ECCV 2026] DASH: Dynamic Audio-Driven Semantic Chunking for Efficient Omnimodal Token Compression
• [CVPR 2026] DUET-VLM: Dual Stage Unified Efficient Token Reduction for VLM Training and Inference