🔬 可解释性¶
🎞️ ECCV2026 · 31 篇论文解读
📌 同领域跨会议浏览： 📷 CVPR2026 (34) · 🔬 ICLR2026 (195) · 💬 ACL2026 (63) · 🧪 ICML2026 (91) · 🤖 AAAI2026 (37) · 🧠 NeurIPS2025 (80)
🔥 高频主题： 多模态 ×4 · 对抗鲁棒 ×3
- CFM: Language-aligned Concept Foundation Model for Vision
-
CFM 将语言对齐视觉特征分解成有空间位置、层级关系和文本名称的稀疏概念，在基本保留分类、分割与图像描述性能的同时，让下游预测能够被概念化解释和干预。
- On the Reliability of Cue Conflict and Beyond
-
本文系统质疑了被广泛使用的 cue-conflict 基准在刺激构造与度量两端的可靠性，指出风格迁移线索纠缠、线索信息量失衡、比率型偏差掩盖绝对敏感度、受限标签空间扭曲预测四类问题，并用"人类感知定义 + 可控纯化生成 + 全标签空间 MRR 敏感度度量"的 REFINED-BIAS 框架给出替代方案，在 32 个训练策略模型、多类架构、OpenCLIP/DINOv2 大模型与多级量化模型上消解了原基准无法解释的矛盾结论。
- Seeing Through Circuits: Faithful Mechanistic Interpretability for Vision Transformers
-
把 ViT 的计算图形式化为残差流上的有向图，用「语义分割 + 修复」构造干净/腐化输入对、以目标 logit 差为准则做顺序边剪枝（Vi-CD），在 ViT-B 与 OpenCLIP 上自动发现保真且比最强基线稀疏约 10 倍的类专属电路，并证明这些电路能作为因果开关去抵御 CLIP 排版攻击、压低 RoCOCO 危险检索分数。
- Caption Bottleneck Models
-
CaBM 将图像先转成去除类别名称的自然语言描述，再由独立的纯文本分类器识别类别，并从分类证据中发现概念，在切断视觉特征旁路的同时取得有竞争力但并非全面领先的分类表现。
- DEX-AR: A Dynamic Explainability Method for Autoregressive Vision-Language Models
-
DEX-AR 把每个生成步的注意力图对中间 logit 的梯度当作归因信号，再用"视觉 vs 文本最大梯度差"动态筛选注意力头与生成 token，为自回归 VLM 同时产出逐 token 与整句两个级别的图像热图，在 ImageNet/VQAv2 的扰动评测与 PascalVOC 的分割定位上稳定超过 Grad-CAM、注意力类与扰动类基线。
- From Drop-off to Recovery: A Mechanistic Analysis of Segmentation in MLLMs
-
本文不在 MLLM 上加任何新模块，而是用三组可干预的实验拆解适配器式 MLLM 的分割能力：逐层线性探针发现 adapter 把视觉特征投影进语言空间时出现表示 drop-off，而 LLM 各层又逐步把 mIoU 找回来；注意力阻断证明这种恢复不是残差连接的被动副作用，而是靠跨 token 注意力让分类正确的 token 充当「语义锚点」把误判邻居拉回正确标签；最后指出因果掩码让序列最前面的图像 token 缺乏全局上下文，这一损失可由图像 token 之间的双向注意力消除。
- ProLaViT: Learning Progressive Latent Visual Thoughts in Structured Latent Space
-
ProLaViT 将程序合成的视觉操作轨迹蒸馏为四步连续潜在状态，再按步骤距离约束状态差异，使 Qwen2.5-VL-7B-Instruct 不调用推理时视觉工具也能逐步推理，BLINK-Jigsaw 准确率由基座的 59.33% 提升至 76.00%。
- This Looks Distinctly Like That: Grounding Interpretable Recognition in Stiefel Geometry against Neural Collapse
-
AMP 将每类原型改成 Stiefel 流形上的正交基，再用稀疏容量和空间约束筛选、定位不同证据，在 CUB 的 ResNet50 设置下取得 88.4% 准确率，但其严格保证针对基向量的秩，并不自动等于语义部件互异。
- Towards Robustness against Typographic Attack with Training-free Concept Localization
-
本文把排版攻击的脆弱性定位到 CLIP ViT 中少数「读文字」的注意力头上：在注意力头子空间里随机采样概念方向、用梯度归因打出文本聚焦分数 nTAS 来挖出这些头，再在推理期免训练地对它们做注意力重加权或零消融，在 5 个 CLIP 主干和 4 个排版攻击基准上把目标分类准确率平均提升 6 个百分点以上，同时把文字混淆率压低 10–36 个百分点。
- World Knowledge in the Weights: Reading Concept Circuits of Vision Transformers
-
该工作把跨层转码器（CLT）从语言模型移植到 ViT，直接从输入不变的编码/解码权重读出全局概念电路（模型的"世界知识"）、从稀疏激活读出实例概念电路；共激活重加权后的全局权重经均值消融验证确实承载功能重要性，由此实现无人工标注的自动伪相关发现（Freight Car→graffiti、Hummingbird→bird feeder）与 Waterbird 最差组 +23% 的干预去偏，CLT 电路在忠实性/完备性上全面超过 SAE 基线。
- Blind to Position, Biased in Language: Probing Mid-Layer Representational Bias in Vision-Language Encoders for Zero-Shot Language-Grounded Spatial Understanding
-
B2G 通过探测冻结视觉语言编码器的中间层，把位置敏感的视觉特征和跨语言更一致的文本特征重新用于区域排序，在多语言指代表达分割的九个基准上将平均 mIoU 从 42.42 提高到 49.62，但需要额外的多语言推理开销。
- Evaluating the Interpretability of Sparse Autoencoders with Concept Annotations
-
本文提出一套基于人类概念标注的 SAE 可解释性评估框架，包含支持多对一匹配的 FBMP 算法和基于目标属性扰动的 TAPAScore 因果验证指标，并构建了 synCUB/synCOCO 两个合成扰动数据集；实验表明现有自动评估指标（FMS、MS、CKNNA）无法通过健全性检验，而本文的匹配指标和 TAPAScore 能可靠区分训练/未训练 SAE，且过完备度增加反而会降低扰动对齐质量。
- Learn to Rank: Visual Attribution by Learning Importance Ranking
-
针对视觉归因方法在计算效率、因果忠实性与高分辨率空间细节间的三难困境，本文提出摊销混合归因框架 AHA，通过 Gumbel-Sinkhorn 连续松弛将离散的排序与 Top-k 掩码选择转化为可微置换学习，直接端到端优化 Deletion 与 Insertion 评估指标，单次前向即可生成像素级精细归因热力图。
- Mapping the Concept Landscape: Structural Perception of Global Distributions for Transparent Data Pruning
-
针对传统基于黑盒嵌入向量的数据剪枝无法反映细粒度语义覆盖且不可解释的问题，本文提出 Mapping the Concept Landscape (MCL)，将图文样本显式解耦为实体、事件和属性构成的概念图并聚合为数据集全局语义景观，基于结构化稀缺度与关系度数以贪心最大化边际覆盖的方式实现高效、透明的数据剪枝。
- On the Faithfulness of Post-Hoc Concept Bottleneck Models
-
这篇论文系统分析了 post-hoc CBM 中概念投影（concept projection）的忠实性（faithfulness）问题，证明了分类器准确率不能作为瓶颈层质量的代理指标（随机投影也能达到竞争性能），识别出两个导致不忠实的根本原因——辅助数据集的协变量偏移和 VLM 代理标签的系统性错误——并提出了对应的诊断指标（\(\mathcal{H}\Delta\mathcal{H}\)-散度 和 误差-激活相关性）。
- OPAL: Orthonormal Prototype Alignment Learning for Interpretable Image Classification
-
OPAL 放弃了传统基于局部原型的多阶段聚类与投影管线，通过预定义正交子空间固定类别几何结构，并结合通道维空间竞争机制定位判别性部件，实现了无需任何辅助损失的端到端单阶段可解释图像分类。
- REDistill: Robust Estimator Distillation for Balancing Robustness and Efficiency
-
REDistill 从稳健统计学 M-估计视角重构知识蒸馏目标，用参数 \(\lambda=2/3\) 的幂散度替代传统 KL 散度，在不增加额外参数与计算开销的前提下自适应抑制不可靠教师预测，实现跨架构、免超参搜索的优异蒸馏性能。
- TRINITY: A Multi-Perspective Benchmark for Personal-Style Video Highlight Detection
-
针对传统视频高光检测局限于单一事件驱动显著性的弊端，本文构建了将高光解耦为事件、情感与自然风景三个互补维度的 TRINITY 基准，并提出结合共享时序主干与视角专用专家的多分支并行预测架构，在 Mr. HiSum 与 YouTube Highlights 等基准上取得显著 SOTA 表现。
- Understanding Geometric Representations in Self-Supervised Vision Transformers via Subspace Intervention
-
本文提出了一种基于收敛线性探测头奇异值分解（SVD）的受控子空间干预分析框架，揭示了自监督视觉 Transformer（ViT）中显式几何特征的拓扑编码机制与跨层演化规律，证实 DINOv2 将丰富几何信息高度对齐于紧凑的低秩子空间中，而 MAE 则将几何信号离散化分布于全局空间与通道维度。
- Weight-Space Mixture-of-Experts for Implicit Neural Representation Classification
-
针对隐式神经表示（INR）权重空间分类中参数维度极高且层级频域功能异构的难题，本文提出结合元学习的层次化混合专家（HMoE）Transformer 架构，通过层级与 Token 双阶段稀疏条件计算刷新多项基准 SOTA，并首创基于梯度的权重空间可解释性归因与剪枝方法（Grad-CAG）揭示出判别性子电路的存在。
- Causal Intervention in Concept Bottleneck Models
-
提出无需额外训练的因果干预（Causal Intervention, CI）方法，利用已训练概念瓶颈模型中编码的概念关联结构，将输入图像作为共享上游载体反向传播人工反馈，在极少干预步数下实现对未干预概念的自适应重对齐。
- GridVQA-X: A Diagnostic Framework for Evaluating Multimodal Explainability Methods
-
针对现有后验多模态可解释性（MxAI）方法缺乏真值因果验证的瓶颈，本文构建了首个具备数学可证因果真值与捷径解耦特性的闭世界诊断基准 GridVQA-X，系统揭示了主流解释算法在识别空间关系协同与词袋匹配捷径时的严重失效。
- Learning Physics-based Forward Model Corrections in Unrolled Networks for Diffuser-based Imaging
-
针对基于散射体的无透镜成像中空间变化像差导致的正向模型失配痛点，本文提出 EK-DUN 展开网络，通过特征核分解将点扩散函数解耦为主核与正交像散核并在迭代后段激活，在保持线性卷积与可解析伴随算子的高效计算下显著提升了真机重建质量。
- Multi-Block-Attention-based Color Constancy
-
提出混合颜色恒常性模型 HybridCC，通过 MobileNetV3 骨干分支自适应预测像素显著图，引导统计先验分支以可微软最大值提取块级 Retinex 统计量，并引入块级多头自注意力消除大面积均匀区域引起的聚合偏差，在仅 1.1 MB 参数量下实现跨相机无校准的 SOTA 光源估计。
- Multiple Images Distract Large Multimodal Models via Attention Fragmentation
-
论文揭示了多图多模态大模型中因背景注意力池与因果掩码共同导致的“注意力碎片化”与近因偏差现象，并提出免训练的注意力重掩码机制（Attention Remasking, AR），通过屏蔽背景注意力池并利用首层文本-视觉接地先验动态打通跨图关键链路，显著提升多图推理精度并降低图像顺序敏感性。
- ProtoMappingNet: Interpretable Hierarchical Prototypes through Relational Prototype Mappings
-
ProtoMappingNet 通过在低（纹理）、中（部件）、高（目标整体）三层原型间引入可学习的双向跨层语义映射与几何对齐损失，在无需人工部件标注的弱监督下构建起层次分明、空间嵌套的“部分-整体”可解释原型推理体系。
- R-ESC: Robustly Erasing Space Concepts via Stochastic Feature Remapping
-
针对传统概念消除方法容易破坏保留概念效用且残留聚集特征易被微调探针恢复的缺陷，本文提出了无需训练的 R-ESC 框架，通过原型正交投影解耦特征关联，并引入多专家随机特征重映射将遗忘特征打散融入保留概念分布中，实现了不可逆且高保真的特征级概念消除。
- SPICE: Simple Polysemantic feature Interpretation via Clustering-based Explanations
-
针对深度视觉模型中单个神经元激活多个异构概念的多义性（polysemanticity）瓶颈，SPICE 提出了一种免设预设聚类数 \(K\) 且不依赖特定网络结构的归因足迹自适应聚类框架，首次实现了 CNN 与视觉 Transformer 在神经元概念解耦与宏观表征机制上的统一分析。
- STVFocus: Query-guided Spatio-Temporal Visual Focusing for Video LLMs
-
针对视频中任务相关信息时空密度极低且冗余严重的问题，STVFocus 提出了一种免训练的时空联合视觉聚焦框架，通过由粗到细的层次化时序抽帧与查询引导的帧内空间显著性筛选，将节省的空间显存预算动态重分配给额外关键帧，显著提升了视频大语言模型的跨任务理解精度与可解释性。
- VNC: A Scale-Space Foundation for Learnable 3D Surface Evolution
-
针对传统3D曲面演化数值不规则且潜空间插值缺乏几何可解释性的难题，本文提出无量纲可微的变分邻域曲率算子（VNC）与时空平衡流算法（VNC-Flow），并构建以归一化演化时间为条件的Controllable VAE，诱导出具有明确几何物理层级的径向结构化潜在空间。
- Why Linear Probing Works: Non-Vacuous Generalization Bounds via Effective Dimension
-
针对视觉基座模型冻结特征线性探测所需样本量远低于传统理论下界的谜题，本文利用特征协方差谱急剧衰减特性构建与协方差对齐的数据依赖高斯先验，推导出首个依赖有效维度 \(d_{\text{eff}} \ll d\) 与分类间隔 \(\gamma\) 的非真空 PAC-Bayes 泛化界。