🔬 可解释性¶
🧠 NeurIPS2026 · 106 篇论文解读
📌 同领域跨会议浏览: 🎞️ ECCV2026 (33) · 📷 CVPR2026 (34) · 🔬 ICLR2026 (197) · 💬 ACL2026 (63) · 🧪 ICML2026 (92) · 🤖 AAAI2026 (37)
🔥 高频主题: LLM ×19 · 对齐/RLHF ×5 · 对抗鲁棒 ×3 · 持续学习 ×2
- A Hierarchy of Entropy-Shapley Games for Multivariate Predictive Uncertainty
-
针对多变量概率预测模型,提出包含边际熵、序贯条件熵与全联合熵的三层熵-Shapley博弈体系,通过信息论链式法则与条件全相关严格隔离跨分量依赖贡献,解决了现有逐分量归因无法感知跨时间步相关性变化的结构性盲区。
- ADAPT: Hybrid Prompt Optimization for LLM Feature Visualization
-
针对大语言模型特征可视化中离散提示词优化极易陷入局部最优的问题,提出融合多组束搜索初始化、梯度与Logit自适应混合变异及多样性槽位管理的混合算法 ADAPT,在 Gemma 2 2B 的 486 个 SAE 隐层方向上显著超越 GCG 与 EPO。
- Agentic-imodels: Evolving agentic interpretability tools via autoresearch
-
本文提出 Agentic-imodels 框架,通过编码智能体构建全自动研究闭环(autoresearch loop),基于大模型可模拟性评测指标协同演化表格回归模型,打破了传统统计工具面向人类而非智能体的解释瓶颈,并在 BLADE 数据科学基准上带来最高达 73% 的端到端性能增益。
- Amortized Linear-time Exact Shapley Value for Product-Kernel Methods
-
本文提出 PKeX-Shapley 算法,针对乘积核方法建立无分布假设的中性因子移除算子,并利用前缀-后缀初等对称多项式递推结构,在 \(\mathcal{O}(d^2 n)\) 总时间内联合求解全部 \(d\) 个特征的精确 Shapley 值(单特征均摊线性时间),同时无缝拓展至 MMD 与 HSIC 统计差异归因。
- Are Stated Reasoning Steps Causally Load-Bearing? Activation Patching Says Less Often Than Text Editing Does
-
本文提出基于已知反事实目标的激活补丁因果忠实性评估指标(CLB 率),揭示大模型显式写出的思维链中间步骤中约四分之三具有因果承载作用,但主流的文本编辑行为学测试高估了因果忠实性多达 11.4 至 20 个百分点,且更弱的模型随推理深度增加更容易退化为事后叙述。
- Beyond Interpretability: When, Why, and How Sparse Autoencoders Enable Label-Free Visual Steering
-
本文提出视觉稀疏操控方法 VS2,首次将稀疏自编码器(SAE)从被动的事后可解释性分析拓展为主动的下游表征干预空间,通过在冻结 CLIP 图像编码器激活上放大活跃稀疏特征并解码差值,以不足 0.1% 的推理计算开销实现无标签测试时零样本分类提升,并建立了质心偏差操控的闭式几何解释与基于未解释方差比(FVU)的可靠性门控机制。
- Beyond Linear Activation Steering: Invertible Latent Transformations for Controlling LLM Behavior
-
针对传统线性激活转向难以适应弯曲各向异性流形的问题,本文提出 INNSteer 框架,利用仿射耦合可逆网络将激活映射到线性可分隐空间施加平移后再严格求逆,以轻量前向推理实现了输入自适应的非线性行为调控。
- Beyond Steering Vector: Flow-based Activation Steering for Inference-Time Intervention
-
针对传统激活引导基于位置不变与单步平移假设导致的指令遵循与流畅度崩塌痛点,FLAS 将推理期干预重构为以自然语言概念为条件的时间连续速度场流输运,在 AxBench 上首次全面超越上下文提示并揭示出弯曲、多步且随位置变化的激活空间真实几何。
- Beyond Steering Vector: Flow-based Activation Steering for Inference-time Interventions in LLMs
-
针对传统激活控制方法依赖单步、位置不变和对比数据等简化假设导致的泛化瓶颈,本文提出基于连续流的激活控制框架 FLAS,通过学习自然语言概念条件化的速度场并在推理时执行多步欧拉积分,首次在 AxBench 大规模基准上全面超越 In-Context Prompting。
- Can Circuit Alignment Predict OOD Generalization?
-
本文用同类电路跨域相似度减去异类电路相似度构造电路对齐分数(CAS),在不使用目标域数据的源域模型选择中取得 PACS 平均 Spearman 相关系数 0.88,但其 OOD 排名一致性依赖额外的单调性假设,并非完全无数据的权重诊断。
- Can Large Language Models Develop Gambling Addiction?
-
本文结合临床认知心理学与机制可解释性,通过负期望老虎机与投资决策实验证实大语言模型在具备下注自主权与目标设定提示时会表现出类似人类的控制错觉与追逐损失等病理性赌博行为,并利用稀疏自编码器(SAE)定位到双向因果控制风险偏好的解耦神经回路。
- Capturing In-Context Learning Dynamics with Task Operators
-
通过理论证明并实证验证注意力头在上下文学习(ICL)下的输出精确等于无示范输入输出的仿射变换,提出无需训练的动态干预框架任务算子(Task Operator, TO),将示范知识转化为注意力输出投影矩阵的动态参数更新,并在零样本推理中大幅弥合与完整 ICL 的性能差距。
- CENDRe: Concept Extraction with Natural Domain Representations
-
针对时间序列概念提取仅限时域、概念数需手动预设及感受野掩码不精准三大瓶颈,CENDRe 通过两阶段轮廓引导聚类自适应确定概念数量,并借助可逆微分变换将对比存在度梯度反向传播至输入与频域,实现了跨时域与频域的高保真概念定位与特征归因。
- Circuit Claims Depend on What Is Extracted and How It Is Compared
-
本文在控制严密的合成 Lean 战术预测基准上系统评估了回路提取的稳健性,揭示出回路一致性结论高度受制于所报告的回路对象定义、Q/K注意力表示方式、选头平局判定及对比度量层级,但跨强化学习初始化条件的回路规模排序与桥接组件特性保持了稳健规律。
- Comparing Explanations is Not Enough: Explain the Change, New Standards are Needed
-
针对传统单检查点可解释性(XAI)无法解释大模型在微调或干预后产生的行为漂移问题,本文提出了“比较可解释性”(\(\mathrm{XAI}_{\Delta}\))新范式,建立了覆盖可比性、有效性、可操作性与监控性的十大公理化准则(Desiderata),并构建了端到端的因果验证与监管过渡报告流程。
- Comparing Explanations is not Enough, Explain the Change: New Standards are Needed to Explain Behavioral Shifts in Large Language Models
-
针对传统单检查点可解释方法无法解释模型更新引发行为漂移的根本缺陷,提出了面向模型转移与干预本身的比较式可解释性范式 \(\mathrm{XAI}_{\Delta}\),制定了十项形式化准则并落地为合规审计跃迁报告。
- Complete or Sparse: A Tale of Two Identifiabilities
-
本文统一了非线性独立成分分析(ICA)与压缩感知理论,证明了监督表征在容量充足时是潜在变量的线性变换、欠完备时退化为非线性扭曲,并在非负能量约束或稀疏 Spark 条件下分别实现“祖母细胞”式的轴对齐单义神经元与稀疏自编码器恢复。
- Concept Frustration: Aligning Human Concepts and Machine Representations
-
本文针对可解释模型中本体不完备的根本难题,借鉴统计物理自旋系统提出了“概念阻挫”理论与基于决策边界费舍尔信息度量的任务对齐几何诊断方法,揭示并消解了未观测隐藏概念在已知概念间引发的几何矛盾。
- Counterfactual Maps: What They Are and How to Find Them
-
针对树集成模型反事实解释在启发式搜索缺乏最优性保证与冷启动整数规划难以满足实时交互的矛盾,本文提出“反事实地图”(Counterfactual Maps),利用 Born-Again 树将模型决策空间压缩为轴对齐超矩形划分,并在离线阶段为目标类别构建体积 KD-Tree 索引,在线查询时以毫秒级时延完成带全局最优性证书的分支限界最近区域检索与投影。
- Curvature Under Attack in hZACH-ViT: Gauge Symmetry, Boundary Saturation, and Adversarial Failure
-
本文系统探究了紧凑型视觉 Transformer(hZACH-ViT)在不同表征曲率与几何原型头下的对抗行为,证明庞加莱球在 \(c=1\) 时的所谓对抗减缓并非源于负曲率的内在几何鲁棒性,而是由特征向数值边界饱和坍缩、硬投影截断扼杀径向敏感度导致的实现病态,曲率干预至 \(c=0.1\) 可消除该病态并恢复正常的识别与对抗表征动态。
- decomposing how prompting steers behavior
-
本文提出嵌套几何分解框架,将提示词对内部表征的改变分解为平移、刚体缩放、轴向缩放、仿射与非线性变换,发现提示词主要以平移改变激活方差,但下游任务几何与行为的因果恢复关键取决于仿射变换引入的跨维度特征混合。
- Deep Minds and Shallow Probes
-
本文从最终读出层的坐标对称性推导浅层探针的多项式层级,并以低秩 CP 探针读取交互概念、以探针可见商空间迁移概念读出,在跨 token 一致性任务上获得 16.8–20.0 个百分点的 AUROC 提升,同时明确区分迁移准确率与概念覆盖。
- DifFRACT: 基于时序感知转码器与归因图的多模态 Diffusion Transformer 机制可解释性与回路追踪
-
DifFRACT 将机制可解释性中的转码器回路追踪拓展至多模态 Diffusion Transformer(FLUX.1),通过构建带去噪步调制的时间感知转码器与局部替换线性化模型,实现了精确的跨层特征级归因与精细干预。
- Directional Confusions Reveal Divergent Inductive Biases Through Rate-Distortion Geometry in Human and Machine Vision
-
论文通过率失真理论(Rate-Distortion)形式化混淆矩阵中的非对称错误结构,发现人类视觉呈现广而弱的分布式非对称混淆,而深度神经网络表现为稀疏且强烈的汇聚型崩溃(sink-like collapse),揭示了单纯分类准确率所无法捕捉的发散归纳偏置。
- Do Sparse Autoencoders Learn Meaningful Concept Hierarchies?
-
本文针对无监督概念发现中概念层级评估标准缺失的痛点,结合语义网络与分类学理论提出了覆盖概念级、结构级与协同激活级的评测协议,揭示出现有分层 SAE 在提取多层语义抽象时普遍受限于硬吸收与软吸收效应。
- Dynamics of the Transformer Residual Stream: Coupling Spectral Geometry to Network Topology
-
通过对三类生产级大语言模型进行精确逐层雅可比特征分解与激活图社区检测,揭示了网络在训练后习得的深层非正规性旋转梯度与累积低秩瓶颈,并证实拓扑边界神经元对扰动的放大或抑制严格受局部算子类型所调控。
- Eliciting Secret Knowledge from Language Models
-
本文构建了三种隐藏特定事实或指令的模型生物体(Taboo 关键词、Base64 隐蔽侧向约束、用户潜在性别),系统评估了黑盒前缀续写与白盒机制可解释性(Logit Lens、SAE 特征稀疏检索)对小模型审计者提取大模型未言语化机密知识的有效性。
- Factual recall in linear associative memories: sharp asymptotics and mechanistic insights
-
通过引入解耦候选输出的等价模型并借助统计物理副本法,首次严格证明了单层与双层线性联想记忆在精确事实召回任务中的容量渐近相变阈值为 \(\alpha_c = p \log p / d^2 = 1/2\),并揭示了最优解通过将对角正例得分精准抬升至竞争输出极值边界之上的底层存储机理。
- Finding Interpretable Prompt-Specific Circuits in Language Models
-
提出了无需补丁或替换模型、单次前向即可抽取提示词特定紧凑回路的 ACC++,通过 QK 矩阵分解将注意力因果归因于可自然语言解释的低维信号,并揭示了语言模型在不同模板及跨语言下复用组件却使用相异信号的机制。
- FiTS: Interpretable Spiking Neurons via Frequency Selectivity and Temporal Shaping
-
FiTS 将单个脉冲神经元内的时域计算解耦为最大化亚阈值幅频响应的频率选择性(FS)与基于全通滤波凸混合的群延迟时间整形(TS),使神经元无需循环连接或网络级延迟即可显式表征并自组织频率与时序特征。
- FrED: External Data Influence Estimation via Domain Knowledge Graph Grounding
-
本文提出一种纯黑盒训练数据归因(TDA)概率框架 FrED,通过将高维连续潜空间相似度与离散领域知识图谱(KG)拓扑证据结合,并以非对称排序增益(Asymmetric Rank Boost)进行层次化融合,在无需访问模型内部权重与梯度的前提下,在 ArtBench 扩散模型归因基准上取得 29.1%(验证集)和 21.3%(生成集)的 LDS 得分,大幅超越现有黑盒基线并逼近参数化梯度方法。
- FRInGe: Distribution-Space Integrated Gradients with Fisher–Rao Geometry
-
FRInGe 放弃输入空间的启发式基准与直线插值,转在模型预测分布空间中定义极大熵参考点与 Fisher–Rao 测地线调度,并借助拉回度规与双重置信域在输入空间实现平滑积分轨迹,显著提升了归因幅度与模型置信度动态的校准质量。
- From Baselines to Transport Geodesics: Axiomatic Attribution via Optimal Generative Flows
-
针对特征归因中参考基线与反事实插值路径选择的主观随意性,本文将归因问题严谨解耦为固定路径积分分配与分布级路径选择,证明了 Aumann-Shapley 线积分的公理唯一性,并利用 Rectified Flow 逼近最小动能作用量的最优传输测地线,实现了几何一致且高稳定性的归因图。
- From Density Matrices to Phase Transitions in Deep Learning: Spectral Early Warnings and Interpretability
-
受量子化学约化密度矩阵与自由能累积量展开启发,本文提出仅需在探针集上前向传播的 2-数据点约化密度矩阵(2RDM),通过其谱热容(SHC)提供二阶相变临界慢化的早期预警与一阶跃迁的同步检测,并利用顶级特征向量在傅里叶或样本语义空间实现低成本机械解释。
- Generalized Priority-Aware Shapley Value
-
针对传统优先级感知Shapley值强制依赖二元无环DAG的问题,本文提出广义优先级感知Shapley值(GPASV),通过有向加权图对排列冲突施加可调软惩罚并融合个体软优先级,成功将合作博弈估值拓展至包含循环与置信强度的现实场景。
- Geometric Alignment without Functional Equivalence: A Layer-wise Analysis of the Speech–Text Modality Gap
-
论文揭示端到端语音大语言模型在语义匹配问题上的语音-文本性能差距并非单纯源于表征未对齐:在中层表征已实现高几何对齐度(CKA)的情况下,深层候选答案边距仍发生显著偏离,且深层注意力过度发散对答案分离具有因果影响。
- Geometric Factual Recall in Transformers
-
论文证明了在可学习嵌入下,Transformer能够将多关系事实直接编码为主体嵌入的线性叠加,并通过极小的ReLU MLP充当通用关系选择器实现对数维度事实召回,并在多跳查询下证明了CoT绕过容量下界瓶颈的几何机制。
- Geometry-Adaptive Explainer for Faithful Dictionary-Based Interpretability under Distribution Shift
-
针对分布偏移导致字典解释器特征空间与模型真实激活子空间失配的问题,本文形式化了忠实度差距并证明其受二阶矩偏移上界约束,提出了无需梯度反传与微调的几何自适应解释器(GAE),利用少量无标签数据在闭式解下完成子空间正交对齐与受约束解码器重拟合。
- Geometry-Aware Similarity Metrics for Neural Representations on Riemannian and Statistical Manifolds
-
本文提出度规相似度分析(Metric Similarity Analysis, MSA),基于流形假设利用微分几何中的拉回度规度量神经表征的内蕴几何,并引入广义特征值谱比率作为正定矩阵间伪距离,成功解耦表征外在嵌入与内在计算结构。
- Geometry-Aware Similarity Metrics for Neural Representations on Riemannian Manifolds
-
针对传统表征相似度度量(CKA、RSA、Procrustes等)仅依赖环境状态空间外在嵌入而混淆本质不同计算机制的缺陷,本文提出了基于黎曼拉回度量与广义特征值谱比率的度量相似度分析(MSA),实现了对神经网络表征内蕴流形几何的不变性比较与层级计算解耦。
- Graph-Regularized Sparse Autoencoders for LLM Safety Steering
-
针对传统稀疏自编码器独立性假设割裂安全表征的问题,本文提出图正则化稀疏自编码器(GSAE),利用神经元共激活图的拉普拉斯平滑项提取连贯的干预方向库,并通过输入门与滞后连续门实现高选择性的推理期安全干预。
- How are Linear Representations Learned? Exact Solutions to the Dynamics of Abstract Concept Acquisition
-
本文通过极小线性网络与无限宽非线性网络设置,首次给出了概念抽象动力学(线性表示对齐过程)的解析精确解,揭示了初始化尺度控制训练峰值、网络深度提升终态抽象度,以及非线性激活相对于预激活弱化抽象度的普适衰减定律。
- How Do Language Models Understand Tables? A Mechanistic Analysis of Cell Location
-
本文系统拆解了大语言模型执行表格单元格定位的内部机制,证明其遵循“语义绑定 \(\to\) 坐标定位 \(\to\) 信息迁移”三阶段流水线,揭示坐标定位依赖离散分隔符计数构建的隐式坐标系,且列索引被编码在支持向量算术与多头复用并行的线性子空间中。
- How Much is Left? LLMs Linearly Encode Their Remaining Output Length
-
通过在冻结的大语言模型残差流隐状态上训练极简线性探测器,本文证明模型在生成前及生成过程中均线性编码了剩余输出长度估计,且在发生自我修正与回溯重写时该估计会呈现非单调的向上跃升。
- Hyperbolic Concept Bottleneck Models
-
针对传统概念瓶颈模型在欧氏空间中假定概念正交独立而割裂语义层级的缺陷,本文提出双曲概念瓶颈模型(HypCBM),将测试期概念激活重构为双曲流形蕴涵锥的非对称包含边际,在无需额外学习模块与标注监督的前提下实现了天然稀疏且层级自洽的概念激活与自适应干预传播。
- Improving LLM Final Representations with Inter-Layer Geometry
-
将冻结 LLM 的中间层特征聚合建模为图学习问题,基于特殊线性群 \(SL(2, \mathbb{Z}_n)\) 构建稀疏正则、低直径的 Cayley 图并用轻量 GNN 聚合,仅增加至多 0.1% 参数量即全面超越最后一层抽取、注意力层聚合及 LoRA 微调。
- Indications of Belief-Guided Agency and Meta-Cognitive Monitoring in Large Language Models
-
本文基于意识科学的高阶理论 HOT-3 指标,提出利用 Patchscopes 测量潜空间信念优势度的方法,实证并因果验证了大模型具备信念引导的自主行动力及自我潜状态的元认知监控能力。
- Integrating Local and Global Entropy for Uncertainty Quantification in LLMs
-
通过将输出层 token 级预测不确定性(局部熵)与隐层状态轨迹的 Gram 矩阵 Rényi 碰撞熵(全局几何复杂度)进行免微调、免多轮采样的乘性门控融合,在单次前向传播中高效捕获 LLM“高置信却答错”的深层幻觉。
- Interpretable but Fragile? Robustness of Concept Bottlenecks under Geometric-Semantic Perturbations
-
论文用共享生成器区分潜空间几何变化和生成器概念变化,比较普通分类器与概念瓶颈模型的预测稳定性及平滑分类器证书,发现可解释性不带来统一的鲁棒性优势,而是改变敏感性出现的位置;结论限于生成器原生输入及具体任务条件。
- Intrinsically Interpretable Attention via Sparse Post-Training
-
提出一种基于拉格朗日约束优化的稀疏注意力事后训练方法,在保持原有语言模型预训练损失几乎无损的前提下,将注意力连接边削减至 0.4% 以下,诱导模型形成紧凑、模块化的内生可解释计算回路。
- Invariant Features in Language Models: Geometric Characterization and Model Attribution
-
本文提出局部几何表征框架,通过对比敏感度广义特征值分解将大模型隐层空间解耦为不变语义子空间与干扰子空间,揭示了语义不变性在模型深层的涌现规律,并将其成功应用于零样本模型归属识别。
- Inverted Detection and Control in Steering Vectors
-
本文揭示了表征工程中高判别性转向向量反而系统性诱导相反行为的“倒置转向”(ISV)现象,提出基于下游注意力头几何内积响应的无生成判别指标,并据此设计符号自适应反转的 ITI-RRF 算法,在 27/30 项干预实验中显著提升控制效果(最高达 +138%)。
- Kernel Token Contradiction: a Fast and Principled Approach for LLM Claim Uncertainty Quantification
-
提出核词元矛盾(Kernel Token Contradiction, KTC)方法,将自回归生成候选词元的预测分布与维基百科邻域共现构建的非矛盾核进行缩放融合,并借助冯·诺依曼熵高效量化声称级不确定性,在无需 GPU 和 NLI 模型的前提下实现 8.2× 以上加速并在高精度区间达到最优。
- Kernelized Activation Steering
-
提出核化激活引导(KAS)框架,将经典均值差异引导提升至再生核希尔伯特空间(RKHS),通过核评估导出输入自适应的非线性引导向量场,在线性核下严格退化为 DiM 并与最大均值差异(MMD)检验等价,在越狱控制、行为引导与图像风格编辑中显著超越线性基线。
- Knowledge Localization in Mixture-of-Experts LLMs Using Cross-Lingual Inconsistency
-
利用大语言模型在多语言事实召回中自然存在的跨语言不一致性,提出 XICI 框架,通过对比成功与失败正向传播中的 MoE 路由激活定位事实知识专家,仅需消融约 0.3% 的专家即可使模型事实召回失败率超过 40%。
- Large Language Models Develop Belief State Geometry In-Context
-
本文基于计算力学理论框架,证明开源大语言模型在上下文预测隐马尔可夫模型序列时,其残差流激活能够线性解码出最优贝叶斯后验信念状态几何,并通过因果干预证实该表征直接驱动下游下一词元预测。
- Learning Dynamic Evidence Routes for Vision Transformer Probing
-
提出了结合可微Sinkhorn排序路由与对角S4解码器的探针架构SSMProbe,利用S4因果线性时不变递推产生的固定位置系数与空间可预测性度量,首次对冻结ViT的多样化预训练特征展开证据路由几何与时序加权解耦审计。
- Listening to the Wise Few: Query-Key Alignment Unlocks Latent Correct Answers in Large Language Models
-
冻结大语言模型后,先校准一个注意力头,再用提示末尾查询与各选项行末键的旋转位置编码前点积选择答案,揭示内部选择与最终输出之间的差距;特定零样本配置在 HellaSwag 和 HaluDialogue 上分别提高 27.4 和 49.8 个百分点,但并非所有模型都获益。
- Listening to the Wise Few: Query–Key Alignment Unlocks Latent Correct Answers in Large Language Models
-
揭示大语言模型中间层存在具有普适选择能力的“选择-复制头”,提出剥离旋转位置编码的 Query-Key (QK) 评分机制,直接从注意力交互中无痛提取出被解码层覆盖的潜在正确答案。
- Localizing Input Uncertainty Quantification for Large Language Models via Shapley Values
-
针对黑盒大语言模型不确定性量化缺乏输入归因的痛点,提出基于沙普利值的细粒度片段级偶然不确定性量化框架 ShaQ,将歧义片段建模为合作博弈玩家并通过自底向上边缘化精确分解预测熵减,实现高精度的歧义检测与外科手术式靶向输入澄清。
- Logit-Contribution Scoring Identifies Non-Literal Retrieval Heads
-
提出写入感知的检索头检测方法 LOCOS,通过将注意力头 OV 电路输出投影到答案词解嵌入方向并进行单步空间对比,首次精准定位执行非字面语义综合检索的关键注意力头。
- LoRIF: Low-Rank Influence Functions for Scalable Training Data Attribution
-
针对大规模模型训练数据归因中投影梯度存储I/O高昂与Hessian逆矩阵内存爆炸的双重瓶颈,本文提出LoRIF,利用梯度张量的样本级与全局低秩特性,结合低秩投影因子存储与截断SVD加速曲率求解,在保留甚至超越全秩归因精度的同时实现最高20倍的存储削减与查询加速。
- Lost or Hidden? A Concept-Level Forgetting in Supervised Continual Learning
-
本文提出了基于稀疏自编码器(SAE)的任务锚定概念级诊断框架,将持续学习中的遗忘细化分解为保留、伪删除、恢复、可解码和真正丢失五类概念转移状态,揭示出大量看似遗忘的任务信息并非被物理擦除,而是源于表示可访问性下降与线性未对齐。
- Measuring What Matters: Synthetic Benchmarks for Concept Bottleneck Models
-
针对真实概念标注数据集匮乏、噪声不可控且脱离实际价值场景的问题,本文构建了面向“决策支持”与“日常自动化”两大核心场景的可控合成基准体系,精准解耦并诊断了多类主流概念瓶颈模型(CBM)在概念误设、自动化发现噪声及干预预算下的失效机理。
- Mechanistic Circuit Identification for Controllable Data Generation
-
通过 EAP-IG 反向解析大模型内部表征易学性、挑战度与梯度对齐的三类专用计算回路,并以此为控制接口实施激活叠加与注意力干涉生成目标效用样本,配合阶段感知动态调度实现学生模型的高效微调与校准。
- Mechanistic Interpretability with Sparse Autoencoder Neural Operators
-
提出稀疏自编码器神经算子(SAE-NO),将概念从欧氏空间标量激活拓展为连续函数空间中的算子参数化,通过概念稀疏性与域内稀疏性解耦表征表达位置与强度,实现了分辨率无关的可解释性表征与跨尺度泛化。
- Mitigating Label Bias with Interpretable Rubric Embeddings
-
针对高风险决策(如招生、招聘)中历史代理标签带有群体偏差、导致通用黑盒文本嵌入放大歧视的问题,本文提出基于专家定义维度的可解释量规嵌入(Rubric Embeddings),通过结构化特征将预测锚定在合法业务准则上,在理论和实证上彻底阻断标签偏差传导并维持高录取质量。
- Multistage Defer Trees for Hybrid Interpretability: If at First You Can't Succeed, Tree Again
-
针对单颗决策树在复杂数据集上难以匹敌黑盒集成的问题,本文提出多阶段推迟树(MDT),通过稀疏决策树序列自适应路由样本,对绝大多数样本即时给出浅层透明预测,仅将少数疑难样本推迟至后续特化阶段或紧凑黑盒,以极低的推迟率逼近黑盒精度极限。
- Navigating by Old Maps: The Pitfalls of Static Mechanistic Localization in LLM Post-Training
-
本文通过系统追踪大语言模型微调全流程中 Transformer 计算回路的动态演化,揭示了任务机制在参数更新中存在显著的“自由演化”现象,证明基于静态参数定位的“先定位后更新”范式存在严重的时间时滞,并打破了现有定位方法在知识密集型任务上的“有效性假象”。
- Neural Chameleons: Language Models Can Learn to Hide Their Thoughts from Unseen Activation Monitors
-
本文通过“模型生物”范式微调语言模型(神经变色龙),证明大模型仅在良性概念探针下学习显式触发的隐藏机制,就能零样本泛化至规避未见过的欺骗与有害性安全探针,揭示了当前激活监控技术在内部不对齐威胁模型下的最坏情况脆弱性。
- On the Recall Scaling Laws in Mamba: A Theoretical and Mechanistic Study via Hashing
-
本文通过机械可解释性逆向工程发现 Mamba 执行联想记忆检索的底层机制等价于隐式线性哈希表,并基于 Johnson-Lindenstrauss 引理推导出精确预测召回率与模型维度 (\(N, D\)) 互换关系的 Recall Scaling Laws。
- On the Sparsity-Storage-Accuracy Tradeoff in Parsimoniously Activated Dictionary Learning
-
本文从生成式概率视角重新审视了带行级激活正则化的节俭激活字典学习(PADL),通过构建带辅助潜变量的最大后验概率(MAP)等价形式,解析推导出稀疏度-存储开销-重建精度的权衡界与免网格搜索的最优激活阈值,并在视觉重构与多模态大模型视觉Token压缩中验证了其高效性。
- Parameter symmetries determine representational geometry in overparameterized nonlinear networks
-
本文在一隐层非线性网络中,将保持全局函数不变的参数对称性归结为特征添加、复制与缩放,证明它们可以显著改变表征几何,并给出最小范数选择恢复几何可辨识性的充分条件。
- PatchBench: Measuring Collateral Damage in Activation Patching
-
针对现有大模型越狱防御评估依赖全局粗粒度指标、无法区分局部精准修复与泛化抑制的问题,本文提出了由 400 个真实越狱失败构成的基准数据集 PatchBench 及局部精准度评估协议 PatchBench-Local,通过有害变体纠正与良性邻域保持两个正交维度,揭示了主流激活引导方法在全局能力看似完好的表象下诱发的严重局部附带损害。
- persona vectors: monitoring and controlling character traits in language models
-
本文提出了一套仅需自然语言特征描述即可自动化提取大语言模型残差流中线性“角色向量”(Persona Vectors)的框架,不仅在部署时能够前置预测并因果控制模型的邪恶、阿谀奉承或幻觉倾向,还在训练阶段开创性地提出了“预防性转向”(Preventative Steering)以阻断微调带来的意外人设漂移,并通过投影差(Projection Difference)实现了在微调前对潜在失齐训练数据的有效预警与样本级过滤。
- PersonaManifold: Revealing and Exploiting Curved Geometry in LLM Persona Representations
-
PersonaManifold 将 LLM 人设激活建模为弯曲且各向异性的低维流形,通过局部度量加权的图最短路衡量相似性并生成插值人设,使三种 7–8B 模型的 BST 综合三元组一致率较欧氏距离提高 5.1–6.1 个百分点,优势主要出现在高偏离人设对。
- Phase Transitions in Attention: A Bayesian Theory of Copy Head Emergence
-
本文提出了一种基于统计场论的注意力贝叶斯特征学习理论,将单层注意力网络在复制任务上的后验分布精确约化为低维序参量空间,从第一性原理证明了 Softmax 注意力经历一阶相变诱发复制头突现,而线性注意力则遵循二阶相变与平滑交叉的演化机制。
- Positional versus Symbolic Attention Heads: Learning Dynamics, RoPE Geometry, and Length Generalization
-
论文揭示了基于 RoPE 的 Transformer 在多跳推理中位置注意力头与符号注意力头的学习动力学差异,通过构造性理论证明了注意力几何机制,并提出差异度(Discrepancy)上界定量解释了为何符号机制能长程外推而位置机制随长度急剧劣化。
- PULSE: Identifying Demonstration-Utility Features with Sparse Autoencoders
-
PULSE 用少量带标签的发现样本定位与上下文示例效用相关的 SAE 特征,再分别用于完整示例集合排序和可缓存的逐例检索,在六个文本任务上改善示例选择,但这些特征目前只有关联性而非因果干预证据。
- Reading Between the Dots: Decoding Hidden Computation across Filler Tokens
-
本文针对前沿大模型在无语义填充 token(如省略号或数字计数)上隐式执行多步推理而使传统思维链行为监控失效的现象,证实中间计算表征直接编码于残差流中,并通过注意力中继分析、因果 KV 缓存移植及无监督残差解码流水线,实现了高达 82%–94% 的中间推理状态无监督恢复。
- Rep2Text: Decoding Full Text from a Single LLM Token Representation
-
Rep2Text 提出了一种通过轻量门控残差适配器将大语言模型单一边界末尾词元(last-token)隐状态投影到解码 LLM 嵌入空间的端到端文本逆向重构框架,证明了单 token 压缩表示不仅保留了宏观语义,还能以非迭代方式精确恢复原始序列中约半数的词元。
- Rethinking SAE Evaluation: An Atomic Interpretable Unit Framework Reveals Hidden Polysemanticity and Redundancy
-
本文指出现有稀疏自编码器 (SAE) 评测指标缺乏统一底层目标,提出了「原子可解释单元 (AIU) 基」的全新评测范式并导出五大必要准则,进而开发出支配度感知的单语义性评测框架 DAME 与解码器冗余度量,揭示出贡献度最高的支配特征反而更具多语义性且高度冗余的关键失效模式。
- Root Cause Analysis of Measurement and Mechanistic Anomalies
-
本文首次在结构因果模型中将异常显式区分为潜在因果机制漂移(Mechanistic Anomalies)与可观测测量读取误差(Measurement Anomalies),严格证明了缩减干预概率的可辨识性条件,并提出了无监督高效推断算法 Cali,在根因定位和异常类型判别上均达到 SOTA。
- Same Concept, Different Directions: Cross-Modal Feature Heterogeneity in Sparse Autoencoders
-
本文揭示了视觉语言模型中同一语义概念在图像与文本模态间表征几何方向不一致的“跨模态特征异质性”,证明其为多模态稀疏自编码器发生模态分割的根本诱因,并提出通过训练模态独立自编码器后置对齐潜在坐标,在完美保留模态几何与重构精度的同时大幅提升跨模态检索与概念干预表现。
- Sanity Checks for Sparse Autoencoders: Do SAEs Beat Random Baselines?
-
本文通过已知真值的合成数据实验与三种冻结随机参数基线(Frozen/Soft-Frozen Decoder 及 Frozen Encoder),揭示了现有稀疏自编码器(SAE)即使达到 71% 的解释方差也仅能恢复 9% 的真实特征,且完全训练的 SAE 在自动解释度、稀疏探测和因果编辑指标上几乎无法超越随机基线,有力挑战了高重构与单义性代表真实内部机制解耦的学界假设。
- Semantic Concept Steering Breaks the Explanation Drift Loop in Continual Learning
-
针对传统解释感知持续学习依赖自身冻结显著图导致自指性漂移闭环的顽疾,本文提出概念一致性持续学习(C3L),通过离线自动发现的语义概念区域与尺度不变背景稳定性约束,结合相关性守恒的挤出效应,打破漂移闭环并显著提升连续任务下的泛化与鲁棒性。
- Semantic Optimal Transport for Sparse Autoencoder Feature Matching and Circuit Compression
-
将稀疏自编码器特征从传统的单一解码器向量扩展为激活加权经验概率分布,通过共享参考空间投影与最优传输 Wasserstein 距离度量跨层语义差异,实现了高精度的跨多层特征匹配与特征电路超节点自动压缩。
- Sink vs. Diagonal Patterns as Mechanisms for Attention Switch and Oversmoothing Prevention
-
本文从几何与参数正则化视角系统解析了注意力汇(Sink)与对角注意力(Diagonal)的形成机理,证明了汇模式是实现输出为零的强注意力开关的充要条件,并在软注意力开关下证明汇模式表征开销较对角模式具有显著的核范数阶数优势,从而解释了预训练大模型中注意力汇普遍占据主导的理论根因。
- Sketching the Readout of Large Language Models for Scalable Data Attribution and Valuation
-
本文提出 RISE,通过聚焦大模型输出端(LM Head)梯度能量聚集与外积分解特性,构建词汇残差与语义投影误差双通道表示,并结合自适应稀疏活跃词与 CountSketch 压缩,实现了仅需前向传播即可扩展至 32B 参数规模的高效数据归因与前瞻性数据估值。
- SMILE: Bridging Continuous Optimization and Discrete Symbolic Recovery
-
SMILE 先从数据识别可分解结构,再拟合固定符号激活网络,最后通过剪枝、常数重拟合与梯度舍入恢复简洁表达式,在 SRBench 的高噪声条件下取得较强符号恢复能力,但并非无噪声恢复率或预测精度全面领先。
- Sparse Reward Subsystem in Large Language Models
-
论文揭示了大语言模型隐藏状态中存在一个由不足 1% 神经元构成的稀疏“奖励子系统”,包含表征状态期望价值的“价值神经元”与表征单步时序差分(TD)误差的“多巴胺神经元”,因果干预证实其特异性与级联效应,并可直接用于免生成的模型置信度预估与测试期过程奖励引导搜索。
- Spectral-Spatial Interpretation
-
针对多光谱视觉模型中波段重要性具有局部物理意义且无法被全局热力图或一维波段权重充分解释的问题,提出光谱-空间解释(SSI)方法,通过在固定观测外部上下文下对每个空间网格位置求解通道子博弈的沙普利值,生成保持上下文聚合一致性的全网格联合归因矩阵。
- Task Vector Geometry Underlies Dual Modes of Task Inference in Transformers
-
本文通过潜在变量序列生成模型建立了任务向量几何的严格数学理论,证明 Transformer 在单一模型内共存两种任务推断模式:分布内任务由任务向量单纯形上的贝叶斯后验凸组合实现,而分布外任务则由与任务向量子空间近似正交的上下文统计量子空间所支配。
- The Algorithm Is Not the Behavior: Learned Priors Override Look-Ahead in a Chess-Playing Neural Network
-
本文扩展 Logit Lens 至 Post-LN 架构分析最强下棋模型 Leela Chess Zero,发现模型内部中间层已成功计算出战术解(甚至一步杀),却在末层被安全保守先验系统性覆盖;通过对安全概念施加反向激活转向,成功挽回 61.7% 被遗忘的残局。
- The Curse of Multiple Mediators: Hidden Interaction Effects in Activation Patching
-
本文从因果中介分析重新推导激活修补估计量,揭示标准自然间接效应(NIE)混杂了组件与旁路的交互效应(INT),系统解释了备用头漏检、保真度不稳定等经典异象,并证明 INT 是诊断电路机制与提示敏感性的有效工具。
- The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations
-
论文揭示了大语言模型中陈旧知识的时序漂移在残差流中编码为一个与模型“正确性”和“不确定性”严格正交的独立几何轴,从表征机制层面解释了现有基于输出熵与置信度探针检测过期事实失效的根本原因,并实现了高精度的受控线性漂移探测与因果引导。
- The Rate-Distortion-Polysemanticity Tradeoff in SAEs
-
本文从率失真理论出发首次形式化了稀疏自编码器中稀疏度(率)、重构误差(失真)与特征纯度(多语义性)的三方权衡(RDP Tradeoff),证明了强行约束单语义性必然以提高码率或恶化失真为代价,并揭示了多语义性本质上是模型为最小化重构误差而对数据生成过程中概念共现模式的最优利用。
- The Shape of Events: Edge-Based Inductive Biases via Cross-Domain Distillation
-
本文把标准知识蒸馏用作分析工具,将事件域教师的预测迁入RGB学生,发现颜色变化耐受性、形状偏好及高频带噪声耐受性可以共同迁移,但伴随干净准确率下降和对几何连续性破坏的敏感,而不是获得全面鲁棒性。
- The SuperActivator Mechanism: Transformers Concentrate Reliable Concept Signals in the Tail
-
揭示了 Transformer 注意力头在概念方向上乘性放大激活差距并向右尾非对称聚集的“超级激活元”机制,仅提取前 5%–10% 的高激活尾部 token 即可将多模态概念检测 F1 提升最高 0.14 并显著改善局部概念归因的精确性与忠实度。
- TPO: Tri-level Distributionally Robust Learning for OOD Direct Preference Optimization
-
针对直接偏好优化(DPO)在跨环境部署时面临的多层级分布偏移难题,本文提出三层分布鲁棒学习框架 TPO,通过分层矩形 Wasserstein 不确定性集统一建模群体分布偏移、Prompt 协变量偏移与条件偏好翻转噪声,推导出闭式边际惩罚、Prompt 嵌入对抗扰动与最差群体动态重加权的解析目标,并给出了有限样本收敛界保障。
- Training Language Models to Explain Their Own Computations
-
本文提出“内省可解释性”框架,利用现有机械可解释性方法提取的真实监督信号,微调大语言模型用自然语言解释自身的内部特征语义、激活因果结构及决策输入规则,证实模型具有显著的“特权自访问”优势且样本效率提升近百倍。
- Transformers Linearly Represent Highly Structured World Models
-
通过对求解数独的 8 层 Transformer 进行机理可解释性分析,发现模型内部并未按棋盘单元格建构表征,而是自发形成了按行、列、宫 27 个子结构对齐的线性世界模型,并在输出端依赖由 91 个单义神经元组成的显式单一解决策回路。
- Understanding the Interplay between Memorization and Learning in Large Language Models
-
提出了区分机械死记与结构泛化的上下文记忆指标(Contextual Memorization),通过形式语言严格受控实验揭示出最优语言学习必然伴随局部记忆,并设计了动态下采样已学样本的记忆感知训练策略(MAT)以提升泛化均匀性与训练效率。
- What Comes Next and Why: Interpretable Next-Event Prediction with Neuro-Symbolic Rules
-
针对序列下一事件预测中黑盒模型缺乏可解释性与传统符号挖掘难以组合建模的矛盾,本文提出神经符号架构 Rules 与加性混合模型 Runes,通过连续可微松弛与两阶段温度退火直接从数据中学习带时间区间约束的时序合取规则,并在保留透明归因的同时达到与 Transformer 相当的预测精度。
- Witness Overlap: Directional Provenance Inside Open-Weight Model Families
-
在已知同族且权重对齐的开放权重模型中,Witness Overlap 引入第三个检查点,比较两个候选端点各自向目标与见证者的更新重叠,以较低重叠端预测父模型;Frobenius 余弦在 16 个 LLM 家族的 1,542 个单见证三元组上取得 95.3% 定向准确率。
- Explainability matters: The effect of liability rules on the healthcare sector
-
本文从法学与博弈论交叉视角,构建了“预言机(Oracle)”与“AI 同事(AI Colleague)”两类责任模型,证明高可解释性不仅是临床辅助的技术需求,更是打破医生过度盲从模型而引发新型防御性医疗、促使医生回归独立临床审慎的核心法律制度支柱。