Explainability matters: The effect of liability rules on the healthcare sector¶

会议: NeurIPS 2026
arXiv: 2509.17334
领域: 可解释性
关键词: 可解释性 AI, 医疗责任, 防御性医疗, 博弈论分析, 弱自主系统

一句话总结¶

本文从法学与博弈论交叉视角，构建了“预言机（Oracle）”与“AI 同事（AI Colleague）”两类责任模型，证明高可解释性不仅是临床辅助的技术需求，更是打破医生过度盲从模型而引发新型防御性医疗、促使医生回归独立临床审慎的核心法律制度支柱。

研究背景与动机¶

人工智能系统在医疗健康领域的辅助诊断与决策支持正快速渗透，然而当 AI 给出错误诊断或误导治疗导致患者遭受人身损害时，法律责任应如何在医生、医疗机构与 AI 制造商之间分配，成为了制约医疗 AI 落地与患者权益保护的核心瓶颈。现有法律体系中，患者通常受限于产品责任诉讼中极高的举证成本（如算法内部缺陷与因果关系的证明难度极大），转而更倾向于依据侵权法过错责任或违约责任起诉具体经治医生或医疗机构。这种举证难易度的不对称性，使得法律激励机制客观上产生了扭曲。

在弱自主性（Weak Autonomy）的现有临床辅助范式下，医生始终保有最终签字与执行权，这导致只要医生采纳系统的输出，法律归责边界便极易向医生倾斜。如果采用完全不透明的黑盒模型，医生为了规避个人过错侵权诉讼，最理性的自保策略往往是放弃自身临床独立判断而全盘依从机器结论——因为符合被官方准入的辅助系统建议可作为排除自身“过失（Negligence）”的有力抗辩理由，甚至能将过错甩给系统缺陷。这种行为异化直接将临床诊断推向了“新型防御性医疗”的深渊，严重损害患者的根本健康利益。

本文的切入角度是：超越传统的单纯准确率（Accuracy）技术指标，从法律激励与博弈收益的底层逻辑探究“可解释性（Explainability）”对临床医生行为选择的根本性重构机制。核心 idea：将医疗 AI 抽象为完全黑盒的“预言机”与具备完整因果推理依据的“AI 同事”两类博弈对立形态，证明只有具备真正临床可理解性的可解释系统，才能将全盘依从的防御性策略转变为基于独立过错审查的责任机制，从法律规制源头规避防御性医疗。

方法详解¶

整体框架¶

本文构建了一个法学与博弈论结合的分析框架，重点考察 AI 系统的准确率 $p$、可解释性程度 $E$ 以及医生的勤勉尽责水平 $k$ 对医生决策收益及最终责任分配的影响。系统首先区分黑盒预言机（Oracle）与透明协作者（AI Colleague）两种极端场景，进而形式化推导医生在面对 AI 诊断建议时选择“系统性依从（Systematic Agreement）”还是“独立临床评估（Independent Assessment）”的博弈无差异条件。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["患者临床数据输入与医疗 AI 系统推断"] --> B["预言机场景：黑盒无解释博弈模型"]
    A --> C["AI 同事场景：可解释协同审查机制"]
    B --> D["防御性依从策略：将机器采纳作为过失免责盾牌"]
    C --> E["双向审查博弈：独立纠错能力与误判风险权衡"]
    D --> F["无差异阈值分析：准确率驱动的盲从异化"]
    E --> G["法律勤勉阈值推导：可解释性降低对超常勤勉的要求"]
    F --> H["制度重构：将可解释性作为医疗 AI 准入与责任分配的核心法律门槛"]
    G --> H

关键设计¶

1. 预言机场景下的防御性依从博弈分析：解释黑盒模型如何诱发盲从

在完全不具备可解释性的黑盒“预言机（Oracle）”设定下，医生无法洞悉模型结论背后的因果证据与病理链条。设定损害赔偿总额为 $L$，无责任收益为 $0$，医生完全承担排他性医疗责任时的收益为 $-L$，而当系统与医生共同导致错误时的连带/分担责任收益为 $X$（满足 $-L \le X \le 0$）。若系统准确率为 $p$，医生选择依从系统的期望收益为 $E_A = p \times 0 + (1-p)X = (1-p)X$；而若医生选择不依从，一旦系统正确则医生因违背先进工具建议被直接判定过失，期望收益为 $E_D = p(-L) + (1-p) \times 0 = -pL$。

通过求解无差异条件 $E_A = E_D$，推导出医生在两种策略之间无差异的准确率临界值： $$p' = \frac{X}{X - L}$$ 当分担责任对医生较为有利（$X \to 0$）时，即使模型准确率极低（$p' \to 0$），医生也会选择依从；即使在对医生最不利的均摊假设下（$X \approx -L$），临界准确率也仅为 $p' \to 0.5$。由于合规准入的医疗 AI 其准确率必然显著高于 50%，依从机器结论成为了医生规避过失责任的绝对占优策略。医生为求自保主动让渡临床裁量权，形成了典型的以算法为盾牌的新型防御性医疗。

2. AI 同事场景下的独立审查机制：构建以解释为中介的过失判定标准

当引入具备完全解释能力的“AI 同事（AI Colleague）”时，法律上的过失（Negligence）判定标准发生根本性转移：医生不能再以“采纳了 AI 建议”作为免责抗辩，而必须像对待人类同级医生同事的会诊意见一样，结合既有临床指南对 AI 给出的解释进行实质性审查。若 AI 给出错误诊断但其附带解释存在明显漏洞，未加甄别的医生将承担全额过失责任（收益为 $-L$）；反之，若医生成功识别 AI 错误并给出正确裁决，则免于责任（收益为 $0$）。此时，责任归属不再由单纯的采纳与否决定，而是取决于医生的过失审查能力与 AI 解释的客观真实性。

3. 医生勤勉度与解释能力的耦合建模：推导独立评估的无差异阈值

为了定量描述医生在解释辅助下的纠错能力，模型引入了系统准确率 $p$、可解释性程度 $E \in (0, 1]$ 以及医生的主观勤勉系数 $k \in [0, 1]$（$k \to 1$ 代表具有完全谨慎勤勉能力的理想医生）。医生识别 AI 错误的能力 $d_m$ 以及将 AI 正确结论误判为错误的概率 $w$ 分别建模为： $$d_m = k \cdot p \cdot E, \quad w = (1-k)(1 - p \cdot E)$$ 在此设定下，医生面临两种纯策略： - 系统性依从（Systematic Agreement）：期望责任损失仅来源于 AI 自身出错的概率，即 $E_{SA} = (1-p)L$。 - 独立临床评估（Independent Assessment）：期望责任损失由两部分构成：未能识别 AI 错误的概率 $(1-d_m)(1-p)$ 与将正确 AI 误判为错误的概率 $w \cdot p$，其总期望责任为 $E_{IA} = (1 - k \cdot p \cdot E)(1-p)L + [(1-k)(1 - p \cdot E)]pL$。

令 $E_{SA} = E_{IA}$ 解出医生选择独立审查优于系统性依从的勤勉度临界阈值 $k'$： $$k' = \frac{1 - p \cdot E}{(1-p)E + 1 - p \cdot E}$$ 该式从数学上揭示了关键制度规律：当系统具有极高的可解释性（$E \to 1$）时，所需勤勉度临界值 $k'$ 逼近 $0.5$；而在可解释性极差（$E \to 0$）时，$k' \to 1$。这意味着，越是缺乏解释的模型，越要求医生具备超出常人的极高审慎能力才能避免责任陷阱，否则医生必然倒向盲目依从；而高可解释性大幅降低了医生开展有效独立审查的技术门槛，使普通勤勉水平的医生均有动机行使临床专业裁量权。

4. 制造商标的责任转移通道：虚假解释与性能不符的归责穿透

在 AI 同事架构下，AI 制造商的法律责任从难以界定的“诊断算法通用缺陷”精准收敛至“解释与结论不符的欺诈/缺陷”。具体划分为两类情形：(1) AI 结论错误，但系统生成了一套看似天衣无缝的合理化虚假解释（Hallucination / Facade of correctness），导致达到法定谨慎标准的医生也无法察觉；(2) AI 结论客观正确，但给出了荒谬、无关的解释诱使医生错误否定。在这两类因解释与内在机制脱节导致的误导情形中，因果链条直接穿透医生的中间行为，法律责任彻底回归制造商，从而倒逼开发商在训练与工程落地中保证解释的真实忠实性（Faithfulness）。

实验关键数据¶

主实验¶

论文对“预言机（Oracle）”与“AI 同事（AI Colleague）”在不同责任规则与人机交互模式下的法律性质、期望收益结构及责任承担主体进行了严谨的对比分析：

交互范式	系统可解释性 $E$	医生主导策略	医生期望损失平衡点方程	制造责任触发机制	防御性医疗倾向
预言机 (Oracle)	$E = 0$ (完全黑盒)	系统性依从 (Systematic Agreement)	$p' = \frac{X}{X - L}$	产品责任需证明因果缺陷（诉讼阻力极高）	严重恶化（医生以算法为盾牌避免过失）
AI 同事 (AI Colleague)	$0 < E \le 1$ (具备解释)	独立临床评估 (Independent Assessment)	$k' = \frac{1 - p \cdot E}{(1-p)E + 1 - p \cdot E}$	解释欺诈/解释与输出严重脱节（归责链路明确）	显著抑制（医生重获临床专业裁量空间）

敏感性与阈值消融分析¶

论文重点分析了在典型受控准入准确率设定下（以官方认证基准准确率 $p = 0.70$ 为代表），系统可解释性 $E$ 的变化对维持医生独立评估所需的最低勤勉阈值 $k'$ 的影响关系：

准入准确率 $p$	可解释性参数 $E$	纠错能力乘数 $p \cdot E$	最低勤勉度阈值 $k'$	策略选择结果判定
0.70	0.10 (极低解释)	0.070	0.971	仅极度审慎医生（$k \ge 0.97$）才做独立评估，绝大多数医生选择盲从
0.70	0.30 (低解释)	0.210	0.908	阈值极高（$k \ge 0.91$），普通医生缺乏独立审查动力
0.70	0.50 (中等解释)	0.350	0.813	勤勉要求收敛至 $k \ge 0.81$
0.70	0.70 (良好解释)	0.490	0.681	多数中上水平医生（$k \ge 0.68$）主动选择独立审查
0.70	0.90 (高解释)	0.630	0.528	阈值大幅下降至 $k \ge 0.53$
0.70	1.00 (完全解释)	0.700	0.469	阈值降至 $k < 0.50$，普通及初级医生均有动力独立复核并纠错

关键发现¶

缺乏解释的黑盒系统是诱发防御性医疗的制度放大器：在 $p \ge 0.5$ 的准入前提下，只要存在分担责任可能，理性医生的占优策略永远是放弃质疑、无脑依从，无论其自身专业技能多高。
可解释性能够非线性地释放医生的临床纠错潜力：当解释质量 $E$ 从 0.10 提升至 1.00 时，要求医生独立履责的勤勉阈值 $k'$ 从 0.971 剧降至 0.469，使得常规资质医生即可从容承担临床守门人角色。
制造商责任界定在可解释架构下更为清晰：通过将审查客体从“复杂的黑盒内部权重”转换为“输出解释是否如实反映推理证据”，大幅削减了产品责任中因果链条的举证成本，有效平衡了医患企三方的诉讼博弈结构。

亮点与洞察¶

跨学科理论视角的范式突破：打破了机器学习社区将 XAI 仅视作“辅助调试、事后特征加权或心理安全感”的传统技术叙事，首次用法学过失理论与严格博弈收益模型证明，可解释性实质上是维系医疗侵权法归责闭环、防止医生制度性甩锅的必要前置条件。
对防御性医疗演化路径的前瞻性预警：精准指出了医疗 AI 引入可能带来的反常风险——如果只考核模型准确率而忽视可解释性，AI 不仅无法提升整体医疗质量，反而会成为临床医生推卸过错、进行防御性医疗审查套利的“合法避风港”。
对监管机构认证标准的关键启发：明确提出 ISO/IEC 42001 与各国医疗器械审批机构（如 FDA/CE）在制定 AI 临床准入标准时，绝不能单卡基准 AUC/Accuracy 指标，必须将“可审计、可质证的解释生成能力”提升为一票否决式的强制合规条款。

局限与展望¶

模型抽象中将责任收益常数化：博弈推导中将法律损害赔偿 $L$、分担比例 $X$ 设为静态确定值，未考虑不同司法管辖区中惩罚性赔偿、精神损害抚慰金以及失权抗辩等多维裁量因素的动态扰动。
医生勤勉度与解释能力的线性假定：公式中将纠错概率假定为 $d_m = k \cdot p \cdot E$ 的乘积形式，尚未深入刻画真实临床认知负荷（Cognitive Overload）可能导致的“过度依赖解释（Automation Bias）”或“过长解释引起疲劳忽略”等非线性认知心理学效应。
后续拓展方向：进一步引入多阶段连续博弈，模拟放射科“二读（Second Reader）”与“初筛（First Reader）”不同管线位置对博弈平衡点的实证校准，并探索将因果推断框架与实际医疗侵权司法判例库进行量化实证比对。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 从法律侵权与博弈论维度严格重构 XAI 价值，立意深远且极具前瞻性
实验充分度: ⭐⭐⭐⭐ 理论推导与数学建模推演自洽完整，但缺乏针对真实医疗侵权判决数据的统计拟合
写作质量: ⭐⭐⭐⭐⭐ 概念界定严谨，法律概念与博弈形式化表述融合极佳，逻辑环环相扣
价值: ⭐⭐⭐⭐⭐ 对医疗 AI 的立法监管、器械准入认证以及人机协同伦理具有重大的指导价值

交互范式	系统可解释性 \(E\)	医生主导策略	医生期望损失平衡点方程	制造责任触发机制	防御性医疗倾向
预言机 (Oracle)	\(E = 0\) (完全黑盒)	系统性依从 (Systematic Agreement)	\(p' = \frac{X}{X - L}\)	产品责任需证明因果缺陷（诉讼阻力极高）	严重恶化（医生以算法为盾牌避免过失）
AI 同事 (AI Colleague)	\(0 < E \le 1\) (具备解释)	独立临床评估 (Independent Assessment)	\(k' = \frac{1 - p \cdot E}{(1-p)E + 1 - p \cdot E}\)	解释欺诈/解释与输出严重脱节（归责链路明确）	显著抑制（医生重获临床专业裁量空间）