跳转至

✂️ 语义分割

🧠 NeurIPS2026 · 25 篇论文解读

📌 同领域跨会议浏览: 🎞️ ECCV2026 (99) · 📷 CVPR2026 (125) · 🔬 ICLR2026 (31) · 🧪 ICML2026 (14) · 🤖 AAAI2026 (29) · 🧠 NeurIPS2025 (45)

🔥 高频主题: 语义分割 ×21 · 对抗鲁棒 ×3 · 多模态 ×2 · 少样本学习 ×2 · 目标跟踪 ×2

COCOTree: A Dataset and Benchmark for Open Tree-Structured Visual Decomposition

本文提出了开放树状视觉解构任务(Open Tree Decomposition),通过结合大视觉语言模型(LVLM)的语义推理与 SAM 3 的精确定位构建了包含 2.1 万张图像和 180 万个实例节点的基准数据集 COCOTree,并设计了端到端评测指标 Open Tree Quality (OTQ)。

Complementing DINO Features with Image Structure for Part Discovery

针对自监督 ViT 固定网格跨边界混叠导致部件轮廓模糊的瓶颈,提出训练无关的 Part-DINO 框架,将底层图像对比度边缘提取的几何区域与 DINO 语义特征解耦互补,实现高精度部件发现。

Cracks in the Foundation: A Civil Infrastructure Dataset to Challenge Vision Foundation Models

IBM 与苏黎世联邦理工学院等联合推出首个超大规模土木基础设施细粒度实例分割基准数据集 CiF(约 15 万张图像、25 万个掩码),揭示了前沿视觉基础模型与 VLM 在零样本工业缺陷检测中近乎失效、专用监督模型 mAP 停滞在 25% 的严峻泛化困境。

Efficient SAM3 Adaptation for Multi-Class Semantic Segmentation via Dense Competitive Representations

针对 SAM3 在多类别语义分割中存在的 \(O(N)\) 推理高延迟和语义重叠误分类瓶颈,本文提出 DCR-SAM,通过解耦视觉条件化获得全局共享表征,并结合视觉条件化文本细化与密集竞争头引入显式类间竞争,在实现 33 倍推理加速的同时取得 2.3%~10.7% 的 mIoU 提升。

From Pixels to Concepts: Do Segmentation Models Understand What They Segment?

提出了属性级反事实评测基准 CAFE,通过保持目标区域与分割掩码不变并操控表面纹理、周围上下文或材质构成,系统揭示了当前开放词表可提示分割模型普遍依赖视觉属性捷径而非忠实理解语义概念的本质缺陷。

FuseAdapt: Parameter-Efficient Multimodal Fusion for Semantic Segmentation with Missing Modalities

针对多模态语义分割在推理期传感器缺失或退化时性能断崖式下跌的问题,FuseAdapt 提出在冻结视觉基础模型的自适应空间内将模态私有的注意力更新与受路由调控的 FFN 低秩残差跨模态通信解耦,并配合训练期以全模态 EMA 教师为监督的预测模态建模(PMM),仅用极少可训练参数便显著刷新完整与残缺模态下的分割精度。

Geometry-Guided Semantic Reconstruction for 3D Instance Segmentation

针对直接拼接 2D 基础模型先验导致几何与语义失配且缺乏显式吸收机制的问题,本文提出几何引导语义重建框架,利用原始 3D 几何仿射调制 2D 先验流,并通过掩码背景超点先验的自监督重建任务驱动稀疏骨干网络主动吸收丰富语义。

GMOS: Grounding Moving Object Segmentation in 3D Space and Time

针对传统运动物体分割重度依赖2D光流/轨迹先验且将运动粗暴视为序列级全局属性的瓶颈,牛津大学VGG团队提出首个直接面向原生RGB输入的时空几何对齐框架GMOS,结合前馈3D重构先验与瞬时运动状态评估,在全新基准MOS-I与多项经典评测上取得显著SOTA。

Matching-Based Few-Shot Semantic Segmentation Models Are Interpretable by Design

Affinity Explainer (AffEx) 直接利用匹配式少样本语义分割模型的密集跨注意力/相关性匹配机制与多层特征消融,无需反向传播即可为支持集生成像素级归因解释,并在新建立的少样本因果扰动评估体系中全面超越传统 XAI 方法。

Pixels to Tokens: Token Space Efficient Active Learning for Low-Budget Semantic Segmentation

提出首个基于视觉 Transformer(ViT)表征的像素级极低预算主动语义分割框架 TEAL,通过在原生 Token 空间执行两级 MaxHerding 覆盖筛选候选区域,再在轻量解码器网格上进行裕度不确定性精炼,有效消除了像素级插值带来的伪多样性伪影,在每张图仅标 1 个像素的极端设定下较强基线最高提升 24.36 mIoU。

Preference-Guided Adaptation for Open-Vocabulary Semantic Segmentation via Prompt Disagreement

本文把不同提示模板产生的局部分割分歧转成一次二选一监督,用区域局部偏好优化和区域外一致性适应开放词汇分割模型;在真值驱动的偏好 oracle 实验中,CAT-Seg-L 的 MESS 平均 mIoU 从 35.26 提升至 45.88。

Prompting Diffusion Models for Zero-Shot Instance Segmentation

针对传统判别式分割模型缺乏物体结构先验及既有生成式分割采用后处理交互导致的过分割问题,Prompt2Seg 提出了通过 ControlNet 注入双尺度高斯空间提示的主动扩散条件架构,仅用合成数据训练即可在艺术、X光、杂乱垃圾等跨域场景实现卓越的零样本交互式实例分割。

Redefining Instance Matching: A Unified Framework for Part-Aware Matching in Panoptic Segmentation Evaluation

将全景分割评估中的实例匹配重新表述为有约束的双边图分配问题,提出基于顶点的 TP/FP/FN 统计机制与全阈值曲线下面积 AUTC,统一了 One-to-One、Many-to-One、One-to-Many 及部件感知全景质量评估。

Rethinking Vector Field Learning for Generative Segmentation

针对传统流匹配在生成式语义分割中目标质心附近梯度消失以及缺乏类间排斥力导致的轨迹穿越难题,本文提出向量场重塑策略,引入基于距离感知的排斥/吸引校正项与拟随机 Kronecker 类别编码,显著缩小了生成式分割与判别式专家模型的性能差距。

S2D: Sparse-To-Dense Keymask Distillation for Unsupervised Video Instance Segmentation

针对无监督视频实例分割依赖合成平移数据而无法建模真实复杂动态的瓶颈,S2D 利用深度点追踪先验发现时序一致的稀疏关键掩码,并通过结合 Temporal DropLoss 的稀疏到密集学生-教师蒸馏在真实视频上实现隐式掩码传播,显著超越了以往 SOTA。

S^2-RL: Sample-Set Dual Reinforcement Learning for Generative Semantic Segmentation Dataset Distillation

针对密集预测任务中双层优化显存爆炸与代理生成受限于静态掩码的双重困境,本文提出样本-集合双重强化学习框架 S^2-RL,将语义分割数据集蒸馏转化为无须展开像素级梯度的文本驱动扩散策略优化,并在 ADE20K 与 COCO 上建立全新 SOTA。

SetCon: Towards Open-Ended Referring Segmentation via Set-Level Concept Prediction

本文提出 SetCon 框架,颠覆了传统 LVLM 依赖单一或重复 [SEG] 标记隐式生成掩码的范式,通过显式预测分层自然语言概念集合并作为语义条件输入掩码解码器,实现了对多目标、跨类别开放集指代分割的高精度联合预测与视频追踪泛化。

Sparse All-Layer Connector for Domain Generalised Semantic Segmentation

针对多基础模型域泛化语义分割中传统同深度对齐融合忽略表征层级差异与域敏感性的瓶颈,本文提出稀疏全层连接器(SALC),通过基于 Sparsegen 的自适应跨层选择机制与基于频率的候选层丢弃正则化,实现了跨域未知场景下鲁棒高效的多模型互补融合。

Towards Fairness under Label Bias in Image Segmentation: Impact, Measurement and Mitigation

针对图像分割中受保护群体系统性标注质量差异导致的标签偏差难题,本文提出了基于置信学习的免真实标签偏差审计指标体系,并结合基于 FiLM 的子群条件化与非对称边界掩蔽,实现了无真实参考标签下的偏差度量与有效消除。

Towards Visual Query Segmentation in the Wild

针对传统视觉查询定位(VQL)仅检测最后一次目标出现且仅提供粗粒度边界框的局限,本文提出视觉查询分割(VQS)新范式与首个大规模基准 VQS-4K,并构建基于多阶段自适应记忆演化的 VQ-SAM 基线,在未修剪长视频中实现了对外部查询目标所有出现时刻的像素级掩码分割。

UGO: Unified Architecture for General Multi-Object Tracking by Segmentation

UGO 将通用目标检测头(GECO2)与视频对象分割头(SAM2)集成在同一骨干网络下,利用无需训练的能量最小化整合模块将可能存在重叠与冲突的检测/跟踪输出解算为像素级互斥掩码,配合分层自适应记忆机制实现了高精度、强泛化的通用多目标跟踪。

Universal Cross-Prompt Adversarial Attacks on Promptable Concept Segmentation

AdvPCS 从提示变化、概念感知与时序记忆三个层面评估可提示概念分割的脆弱性,在受控数字输入实验中使 SA-CO 文本提示下的三模型平均视频 mIoU 从 70.24% 降至 4.61%,但这不等于对任意提示、模型或现实输入都成立的失效保证。

When Noise Meets Long-Tail: Feature-Threshold Dual Calibration for Robust Pseudo-Labeling

FTC-Seg 在教师—学生半监督分割中同时用原型残差重建改善噪声下的特征、用标注准确率和类别分布偏差调整伪标签阈值,在 2% 标注的四个基准上,DINOv2-S 配置相对 UniMatch V2 提升 2.09–8.54 个 mIoU 百分点,但并非所有配置都最优。

When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation

揭示了视频目标分割标准指标 \(\mathcal{J}\&\mathcal{F}\) 在低时序可见性下会退化为空白帧分类奖励的致命缺陷,并提出分数时序可见性基准 FaVOS 与体积化评估指标 \(\mathcal{J}\&\mathcal{F}_v\)。

When Trackers Fail: VLM-Guided Verification and Recovery for Robust Video Object Segmentation

本文提出 Dual-Agent 框架,将视觉目标跟踪由传统的纯递归传播范式拓展为“验证-恢复”双重闭环,通过免微调的 Qwen3-VL-8B 验证智能体与面向真实跟踪故障微调的 Qwen3-VL-4B 恢复智能体,在无需重构基础追踪器的情况下显著修复遮挡、重入与混淆带来的累积漂移。