Make Mechanistic Interpretability Auditable: A Call to Develop Guidelines via Continuous Collaborative Reviewing¶

会议: ACL2026
arXiv: 2606.00033
代码: 无公开代码仓库；论文提出平台与审计框架设想
领域: 机制可解释性 / AI 安全审计 / 元科学
关键词: 机制可解释性, 审计标准, 连续评审, 社区指南, 源证据追踪

一句话总结¶

这是一篇 position paper，主张机制可解释性研究需要补上“可审计性”这一层，通过连续协作评审平台、社区精炼指南和源证据追踪系统，把零散复现、负结果和方法学批评沉淀成可用于安全关键场景的审计协议。

研究背景与动机¶

领域现状：Mechanistic Interpretability（MI）已经能给神经网络内部机制提供很多有价值的解释，并被用于模型 steering、幻觉检测、AI auditing 等方向。随着医疗 AI、自动驾驶、金融监管等高风险场景开始关注可解释性，MI 的结论不再只是研究洞察，还可能成为部署和治理决策的证据。

现有痛点：论文用一个典型例子说明问题：两篇 MI 研究对同一行为机制给出相互冲突的解释，且都经过同行评审；直到第三篇论文用统一框架分析后，才发现二者都部分正确，但由于实验方法不一致而不可直接比较。这样的冲突在普通研究讨论中可以接受，但在医疗诊断、自治系统或金融监管中，利益相关者需要知道“哪条解释可信、为什么可信、证据链在哪里”。

核心矛盾：MI 的实验很容易受到指标选择、腐化样本构造、组件粒度、因果干预设置等细节影响。当前社区有教程、课程、论坛和博客讨论，但缺少标准化、持续更新、可追踪的审计流程。结果是：很多有用的复现、负结果和方法学提醒散落在社交媒体、论坛、私信和短帖里，难以进入正式论文，也难以被后来者系统使用。

本文目标：作者不是直接给出一套最终审计标准，而是呼吁社区建立产生标准的机制。目标包括：组织论文外的 meta-result，发展 community-refined guidelines，把 claim 依赖的假设和证据显式追踪起来，并探索 agentic AI 辅助的源证据审计。

切入角度：论文把 MI 审计视为类似软件工程规范、临床 GRADE、生命科学 MIAME 的“方法学基础设施”问题。标准不应由少数权威闭门制定，而应由开放社区基于实验仓库、复现结果、争议讨论和专家验证不断精炼。

核心 idea：用一个 Collaborative Meta-Analysis Platform 承载连续评审和实验仓库，再把其中反复出现、被专家和证据支持的好实践转成 living guidelines；同时开发 source-based auditing，让每个解释性 claim 都能回溯到具体假设、实验、图表、代码和其他 claim。

方法详解¶

整体框架¶

论文提出的不是模型算法，而是一套 MI 审计生态系统。整体分为三层：第一层是 Continuous Reviewing，让复现、负结果、批评、补充实验和小型 partial results 不必等到新论文才能被记录；第二层是 Community-Refined Guidelines and Protocols，把平台上反复出现的有效实践凝练成社区认可的最小标准；第三层是 Source-Based Automated Auditing，用显式证据链和概率逻辑帮助人和 AI agent 追踪 claim 的可信度。

在这个框架里，同行评审仍然存在，但它不再是唯一质量控制节点。论文外的“清理工作”被赋予明确位置：研究者可以上传实验仓库、评论 claim、记录复现失败、补充边界案例，平台则把这些 meta-knowledge 组织成可搜索、可引用、可累积的社区记忆。

关键设计¶

连续协作评审平台:
- 功能：集中收纳论文之外的 meta-analysis 结果，包括评论、批评、复现、replication、负结果、post-hoc extension、partial result 和小规模反例。
- 核心思路：平台包含实验仓库和论坛。实验仓库保存假设、证据、claim、代码和论文链接；论坛支持研究者围绕 claim 和 guideline 页面持续辩论。它类似 OpenReview、LessWrong 和 GitHub 的组合，但重点不是发布论文，而是持续修订已有研究的证据状态。
- 设计动机：当前很多有价值的 MI 经验散落在 Twitter、Discord、论坛或私人通信里，容易丢失，也难以被新研究者和 LLM 检索。平台化可以把这些知识从易失的讨论变成机构记忆。
社区精炼的最小指南:
- 功能：把平台中的常见好实践转成可用于社区评审和专业审计的 guidelines。
- 核心思路：研究者可以创建 Proposed Guideline 页面，例如“某类 circuit validity 必须跑某个 sanity check”。支持方和反对方都要用论文、实验仓库或 meta-result 提供证据。专业审计机构需要选用标准时，可以查看这些页面上的证据链和争议历史。
- 设计动机：作者明确反对把指南变成僵硬教条。指南应是 minimal、logically justified、empirically supported 的最低要求，帮助研究者避免遗漏关键检查，而不是阻止新方法探索。
源证据追踪与自动审计辅助:
- 功能：追踪一个 claim 依赖哪些假设、实验、图表、代码、其他 claim，并在依赖被削弱时更新其可信度。
- 核心思路：source-based auditing 不只是引用论文，而是定位到论文内部具体证据，例如某个 plot、某个 ablation、某个腐化样本设置。论文建议用 agentic AI 辅助追踪长依赖链、运行 evaluation harness，并用 Probabilistic Soft Logic 等概率逻辑框架对假设和观察之间的关系赋权。
- 设计动机：MI claim 数量太多，人工逐条源审计成本极高。自动系统不能替代人类最终判断，但可以把 explanation 转成可测试 claim，暴露选择性证据、后验假设、缺失 ablation 和相互冲突解释。

损失函数 / 训练策略¶

本文没有训练模型，也没有损失函数。它的“训练策略”更像制度设计：先通过开放平台积累 meta-result，再让社区从证据支持的讨论中逐步形成 living guidelines，最后用源证据追踪和 agentic AI 工具降低审计成本。作者强调这套机制需要实验性试点，例如 surveys、workshops 和早期社区参与，而不是立刻宣布一套强制标准。

实验关键数据¶

主实验¶

缓存中没有传统模型实验、数据集指标或性能数字；论文是立场与框架提案。它使用案例、表格和附录示例来论证为什么 MI 审计需要标准化。以下表格记录论文报告的可核查主张，而不是补造不存在的实验数值。

证据类型	缓存中报告的内容	作用
冲突案例	两篇 MI 论文对同一机制给出冲突解释，第三篇工作发现二者部分正确但方法不可比	说明同行评审不足以保证 MI claim 可审计
Table 1	interpretability illusions、cherry-picking、missing sanity checks、no causal validation 等通用陷阱及审计指南	给出跨方法的高层风险分类
Table 2	probing、activation patching、sparse decomposition、activation steering 等方法特定陷阱	说明不同 MI 技术需要不同审计项
平台设计	experiment repositories + forums + proposed guideline pages	把零散 meta-result 组织为连续评审基础设施
自动审计	source-based reasoning、agentic AI、Probabilistic Soft Logic	降低大规模 claim 依赖追踪成本

消融实验¶

论文没有消融实验。可以把三个提案组件理解为互补模块，而非已经量化比较的系统变体：

组件	解决的问题	缓存中的关键依据
Continuous Reviewing	论文外复现、批评和负结果难以沉淀	作者指出 meta-knowledge 常埋在博客、论坛、Twitter、Discord 或私信中
Community-Refined Guidelines	MI 缺少可共同执行的最小实验标准	作者引用 MIAME、GRADE、High Integrity C++ 作为跨学科标准化先例
Source-Based Auditing	claim 的假设、证据和依赖链不透明	作者建议具体追踪到图表、实验、代码和依赖 claim，并用概率逻辑辅助赋权

关键发现¶

本文没有报告“某方法比某 baseline 高多少”的数值结果，因此不应把它当成经验性能论文来读。
它的核心贡献是问题 framing：MI 需要从“解释是否有趣”升级到“解释是否可审计、可比较、可被高风险场景采用”。
作者对标准化保持克制：指南应是最低要求和审计辅助，而不是一票否决式 checklist。

亮点与洞察¶

把 MI 的可信度问题从单篇论文提升到社区基础设施层：很多 MI 争议不是因为作者不严谨，而是领域没有统一记录和比较实验假设的地方。这个视角比单纯呼吁“多做复现”更有系统性。
强调论文外知识的价值：负结果、小反例、复现失败和方法学批评通常不够新，难以发表，但对审计最关键。平台化连续评审能给这些“清理工作”赋予可见性和激励。
source-based auditing 比 citation 更细：普通引用只能说“看过某篇论文”，而源证据追踪要求说明 claim 依赖哪张图、哪个 ablation、哪个 corrupt prompt、哪个 seed 或 metric。这个粒度对 MI 特别重要。
对标准化风险有自觉：作者没有把指南包装成绝对真理，而是强调 minimal guidelines、guides not doctrines 和 encourage evolution，避免标准过早冻结新领域。

局限与展望¶

这是一篇倡议型论文，尚未实际搭建平台，也没有收集用户参与数据。其可行性仍需要 surveys、workshops 或小规模社区试点验证。
平台是否能吸引研究者贡献“清理工作”存在激励挑战。论文提出 reviewer portfolio、meta-analysis portfolio 和 partial contributor 等机制，但这些是否能被学术评价体系认可还未知。
社区指南如何治理仍未解决：谁有权合并/废弃 guideline、如何防止操纵投票、匿名与实名如何平衡、专业审计机构如何采纳，都需要进一步设计。
自动审计系统本身会引入 hallucination、错误代码执行、错误证据匹配等新风险，必须有人类复核和可追溯日志。
对 frontier model 或大规模 MI 方法，穷尽测试计算成本很高；即使有平台和指南，也很难完全解决可扩展验证问题。

评分¶

新颖性: ⭐⭐⭐⭐☆ 不是提出新 MI 算法，而是提出审计基础设施和 source-based claim tracing，问题抓得很准。
实验充分度: ⭐⭐☆☆☆ 缓存中没有量化实验或用户研究，论证主要依赖案例、类比和设计提案。
写作质量: ⭐⭐⭐⭐☆ 结构清晰，能把平台、指南、自动审计三件事串起来；少量主张仍停留在愿景层。
价值: ⭐⭐⭐⭐☆ 对 MI 安全治理、可解释性评审和研究基础设施建设很有启发，尤其适合推动社区讨论。