跳转至

Investigating Linear Probe Robustness to Linguistic Register, Medical Specialty, and Corpus Shifts in Medical QA

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/mnishant2/MedProbe_release
领域: 医学自然语言处理
关键词: 线性探针, 语域偏移, 几何真值假说, 医学问答, 跨语料迁移

一句话总结

论文系统解耦了医学问答中线性探针迁移的语域、专科与语料三大输入变量,实证发现线性真值方向对语域变化(\(\Delta_{\text{register}} \approx -0.095\) AUROC)与临床专科(\(\Delta_{\text{specialty}} \approx -0.031\))高度鲁棒且本质线性,但会在跨语料迁移时显著退化(\(\Delta_{\text{dataset}} \approx -0.21\)),证明探针捕获的真值信号部分绑定于数据集的题目构造机制。

研究背景与动机

在临床医疗与健康咨询场景中,大语言模型(LLM)若以高度自信的语气生成看似合理却存在致命错误的医学处方、药物禁忌症或鉴别诊断,可能引发极其严重的医疗事故。为了在这些错误回答输出给医生或患者之前进行拦截,近年来模型可解释性与内部状态探测领域兴起了一条重要技术路线——线性探针(Linear Probes)。该方法假设大模型的隐状态空间中存在由真实陈述与虚假陈述所构成的稳定超平面法向量,即所谓的“几何真值方向”(Truth Direction),从而允许系统仅凭单次前向传播的内部激活值即可判定事实正确性。

然而,现有学术界对几何真值假说的普适性与鲁棒性存在尖锐争议。一方面,以 Marks & Tegmark 为代表的研究证实真值方向在线性可分性与因果干预下具有普适性;另一方面,以 Levinstein & Herrmann 以及 Haller 等人为代表的质疑者则指出,探针极度依赖训练数据的表面相似性,面对否定句或微小同义释义等表面扰动时极易失效。这种争议在跨任务与跨数据集评测中尤为混乱,因为既有的跨语料迁移实验同时混杂了多种变化因素:题目编写风格(如教科书式 vs 口语化)、涉及的临床专科范围、错误干扰项(distractors)的作者构造偏好以及数据集的固有难度。一旦跨语料迁移性能暴跌,研究者根本无法判定这种失效究竟是由语言表述风格变化所致,还是源于特定语料集的结构性伪影。

解决这一长期分歧的关键切入点,在于将复合的输入变化拆解为受控的单一变量并在隔离条件下系统检验。医学问答恰好提供了天然且严格的检验场域:同一医疗事实既可能以权威医学教材的严谨术语出现,也可能体现为电子病历的极简缩写、患者在健康论坛上的日常叙述或普通用户的网络口语。核心 idea:将医学问答中线性探针的迁移变化正交解耦为语言语域(Linguistic Register)、医学专科(Medical Specialty)和语料集(Corpus Shift)三个独立维度;通过构建涵盖 4 种语域变体的 4,000 条受控重写基准,在 4 种不同规模的开源 LLM(2B–8B)上严格实测,系统证明线性真值方向对语域风格与临床专科高度稳定,但极易崩塌于特定语料集的干扰项构造,从而明确了线性探针在临床部署中的安全边界。

方法详解

整体框架

方法流水线包含受控语料重构、前向表征抽取、线性探针训练以及三轴迁移评估四个核心阶段。首先,以经典医学考试基准 MedQA 为锚点,通过受控重写生成教科书、患者叙述、病历速记与网络口语 4 种语域变体,同时利用 S-MedQA 映射 15 个临床专科,并引入 MedMCQA 与 MMLU-medical 作为对照语料。接着,将问答对封装入统一的 Yes/No 判断对话模板,在冻结的 LLM 上提取最后一个问题词元处的各层隐状态。随后,利用教科书语域训练 \(L_2\) 正则化逻辑回归探针,并与均值差(Difference-of-Means)探针及单隐层 MLP 探针进行线性结构验证。最后,在保持事实底层逻辑完全锁定的前提下,独立评测语域鲁棒性、专科泛化性、跨语料迁移能力及事后概率校准表现。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入医学问答对<br/>(Question, Candidate Answer)"] --> N1["受控语域重写与三轴解耦<br/>4种语域 × 15种医学专科 × 3大多选语料"]
    N1 --> P1["冻结LLM前向传播与表征抽取<br/>Yes/No提示词末尾词元隐状态提取"]
    P1 --> N2["末尾问题词元线性探针与几何真值验证<br/>L2逻辑回归 vs 均值差 vs MLP探针"]
    N2 --> N3["多维度零样本与隔离迁移评估<br/>语域鲁棒性 / 专科泛化 / 跨语料迁移测试"]
    N3 --> N4["事后概率校准与失效归因诊断<br/>Platt缩放 / 否定句与迷惑项错误分析"]
    N4 --> Out["诊断决策与事实性告警<br/>模型内部事实性判别输出"]

关键设计

1. 受控语域重写与三轴解耦:消除跨语料评测中风格、专科与语料的混杂效应

既有探针鲁棒性评测往往直接对比不同数据集,导致语言风格、专业领域与题目构造混淆在一起。为了严格分离这三个变量,研究从 MedQA 测试集中随机采样 500 个事实单元,每个事实包含题干、标准正解 \(a_i^+\) 以及随机采样的错误干扰项 \(a_i^-\)。利用 Claude Sonnet 4.5 配合严格的少样本提示词与反向保错范例(wrong-preserving exemplars),将每个 (问题, 答案) 对重写为 4 种典型语域:教科书语域(\(R_{\text{textbook}}\),正式规范全句)、患者语域(\(R_{\text{patient}}\),通俗口语代词)、临床病历语域(\(R_{\text{note}}\),电报式短语与医学缩写)和网络口语语域(\(R_{\text{colloquial}}\),松散句法与网络用语),生成 \(500 \times 4 \times 2 = 4,000\) 个受控变体。重写质量通过多模型跨家族交叉裁判(Grok 4.1/4.3 与 GPT-5 Nano),确保事实保真度与语域地道性,并引入 Gemini 3 Flash 完整复现验证重写器中立性。在此基础上,利用 S-MedQA 映射 15 个临床专科(351 个事实对齐),并结合 MedMCQA 与 MMLU-medical 构成互不交叠的独立评估轴。

2. 末尾问题词元线性探针与几何真值验证:验证医学事实表征的线性可分本质

生成式模型的事实性判断容易受到自回归采样随机性与输出格式的干扰,且学术界对内部状态是否存在真正的线性真值向量存疑。为了消除格式干扰,所有输入均采用统一的单轮对话提示词:“Is this answer medically correct? Respond with Yes or No.”。该设计将对全句事实性的判断集中收束于提示词最后一个问题词元(last question token)的隐状态 \(h_t^\ell \in \mathbb{R}^d\)。在 4 个开源大模型(Gemma-2-2B-it、Gemma-3-4B-it、Qwen2.5-7B-Instruct、Llama-3-8B-Instruct)的偶数层提取该表征,并在教科书语域 80% 的事实切分上训练 \(L_2\) 正则化逻辑回归探针(\(M_{\text{textbook}}\),\(C=1.0\))。为了检验几何真值假说,该设计同时构建了无参数、无正则化的类均值差探针(Difference-of-Means, \(M_{\text{diff}}\)): $\(w = \frac{\mu_+ - \mu_-}{\|\mu_+ - \mu_-\|}, \quad \mu_+ = \mathbb{E}[h \mid y = 1], \quad \mu_- = \mathbb{E}[h \mid y = 0]\)$ 其判别超平面置于投影均值的中点。同时,引入单隐层非线性网络(\(M_{\text{MLP}}\),128 个 ReLU 神经元)进行对照,严格检验非线性特征交互是否带来增量。

3. 多维度零样本与隔离迁移评估:量化语域风格、临床专科与数据集间的鲁棒性落差

为了衡量真值方向在不同扰动下的衰减幅度,设计采用严格锁定的事实级留出切分(fact-level split),确保正负极性样本共同进退。评估涵盖:(1) 语域迁移差距 \(\Delta_{\text{register}} = \text{AUROC}(D_{\text{test}}^r) - \text{AUROC}(D_{\text{test}}^{R_{\text{textbook}}})\),并在真实 Reddit 论坛患者提问语料 MedRedQA(\(n=84\))上检验人类自然文本迁移;(2) 专科隔离迁移差距 \(\Delta_{\text{specialty}}\),将 15 个专科划分为 7 个训练专科与 8 个留出测试专科进行 5 次独立随机抽样;(3) 跨语料迁移差距 \(\Delta_{\text{dataset}}\),将固定在 MedQA 最佳层的探针零样本迁移至 MedMCQA(500 条验证集)与 MMLU-medical。为了彻底排除题干长短与问答格式的影响,设计还构建了重格式化对照集(将 MedMCQA 的简短问句重写为 MedQA 式的临床长病例题干,保持答案完全不变),并将探针表现与模型输出端置信度基线(Token 熵 \(B_{\text{ent}}\)、自洽性 \(B_{\text{sc}}\)、自评概率 \(P(\text{True})\))进行全面对标。

4. 事后概率校准与失效归因诊断:揭示探针置信度失真与特定病理级错误模式

高 AUROC 仅代表模型具备良好的相对排序能力,并不意味着原始探针输出可以当作临床安全概率。为此,设计将留出集切分为 10% 校准集与 10% 最终测试集,使用 10 箱等宽划分计算预期校准误差(ECE)。评估包含原始探针 ECE 以及单参数 Platt 缩放(Platt scaling)和保序回归(Isotonic regression)两种事后校准方法。同时,对 Llama-3-8B 模型在各语域上置信度最高的错误样本(Top-8 假阳性与假阴性)进行手工归因分析,系统总结出模型在临床探针应用中的三类典型失效模式:双向极度自信(两极分化)、伪合理干扰项接纳(常发生于通俗语境)以及否定陈述误判(模型将包含明确 not 词汇的正确否定当成错误陈述)。

一个完整示例

以关于“右心衰竭最常见病因”的 MedQA 临床事实为例,展示 4 种语域重写在参考模型(Gemma-2-2B-it)下的困惑度(Perplexity)与探针表现: - 教科书语域 (\(R_{\text{textbook}}\)):“What is the most frequently encountered etiology of right-sided heart failure?” 困惑度为 8.6,模型探针基准性能达到 0.775 AUROC。 - 患者语域 (\(R_{\text{patient}}\)):“My dad was told he has right-sided heart failure, what usually causes it?” 困惑度微升至 13.1,探针平均 AUROC 仅下降 0.047,保持在 0.728。 - 病历速记语域 (\(R_{\text{note}}\)):“Most common etiology R-sided HF?” 困惑度急剧飙升至 62.0,探针平均 AUROC 下降 0.144 至 0.631。 - 网络口语语域 (\(R_{\text{colloquial}}\)):“ok so what actually causes right side heart failure lol” 困惑度达到 51.6,探针平均 AUROC 下降 0.079 至 0.696。

在此案例中,虽然表面形式从规范拉丁医学用词跳变到高度压缩的病历简写或网络俚语(困惑度跨度超过 7 倍),但线性探针依然维持了显著高于随机水平的辨别能力,证实语域变化未能瓦解真值方向。

损失函数 / 训练策略

探针训练采用标准的带 \(L_2\) 正则化的二元交叉熵损失: $\(\mathcal{L}(w, b) = -\frac{1}{N} \sum_{i=1}^N \left[ y_i \log \sigma(w^T h_i + b) + (1 - y_i) \log (1 - \sigma(w^T h_i + b)) \right] + \frac{1}{2C} \|w\|_2^2\)$ 其中超参数正则化系数固定设为 \(C = 1.0\)。所有表征提取基于 HuggingFace 官方实现的 bf16 精度 eager attention 模式,无需 LoRA 或模型参数微调。层选择策略主要采用各模型在留出验证集上的最佳层(通常稳定处于网络深度的 40%–60% 区间),并在附录中与跨语域平均最佳单层及教科书盲选单层进行了严格敏感性对照。

实验关键数据

主实验

主实验在 4 个 LLM 上对比了教科书分布内(In-distribution)表现,以及在语域偏移(\(\Delta_{\text{register}}\))、专科隔离迁移(\(\Delta_{\text{specialty}}\))和跨语料迁移(\(\Delta_{\text{dataset}}\))下的 AUROC 变化量,并对比了无参数均值差探针在语域迁移上的表现。

模型 最佳层 分布内 AUROC (95% CI) Acc @0.5 F1 @0.5 Acc @Youden \(\Delta_{\text{register}}\) \(\Delta_{\text{specialty}}\) \(\Delta_{\text{dataset}}\) \(\Delta_{\text{register}}^{\text{diff}}\)
Gemma-2-2B-it Layer 15 0.733 [0.67, 0.79] 0.640 0.625 0.685 -0.064 -0.053 -0.22 -0.045
Gemma-3-4B-it Layer 25 0.768 [0.71, 0.83] 0.695 0.684 0.715 -0.085 -0.010 -0.21 -0.079
Qwen2.5-7B-Instruct Layer 23 0.795 [0.74, 0.85] 0.735 0.720 0.765 -0.126 -0.016 -0.23 -0.073
Llama-3-8B-Instruct Layer 29 0.802 [0.74, 0.86] 0.740 0.740 0.765 -0.104 -0.045 -0.20 -0.101
平均值 (Mean) — 0.775 0.703 0.692 0.733 -0.095 -0.031 -0.21 -0.075

消融实验

消融实验分为两部分:其一为跨语料梯级与格式控制评估,检验跨语料剧烈退化的诱因;其二为线性探针与非线性 MLP、均值差探针及事后校准指标的对比。

表 1:跨语料迁移梯级与题型格式控制实验(AUROC 及 95% CI)

测试评估集合 Gemma-2-2B-it Gemma-3-4B-it Qwen2.5-7B-Instruct Llama-3-8B-Instruct 平均值
MedQA 教科书基准 (留出验证集) 0.737 [0.67, 0.80] 0.770 [0.71, 0.83] 0.795 [0.74, 0.85] 0.801 [0.74, 0.86] 0.776
MMLU-medical (5 个医学学科) 0.585 [0.57, 0.60] 0.614 [0.59, 0.64] 0.690 [0.67, 0.71] 0.721 [0.70, 0.75] 0.653
MedMCQA (原生印度医考题) 0.520 [0.50, 0.54] 0.555 [0.53, 0.58] 0.564 [0.54, 0.59] 0.603 [0.58, 0.63] 0.561
MedMCQA 重构版 (长病例文题干) 0.517 [0.47, 0.56] 0.532 [0.47, 0.59] 0.608 [0.54, 0.67] 0.581 [0.51, 0.65] 0.559
MedRedQA (真实患者 Reddit 提问) 0.542 [0.49, 0.60] 0.606 [0.55, 0.66] 0.695 [0.65, 0.75] 0.680 [0.62, 0.73] 0.631

表 2:探针架构、基线与校准消融分析(4 模型全均值)

探针配置 / 评估基线 教科书 \(R_{\text{textbook}}\) 患者 \(R_{\text{patient}}\) 病历 \(R_{\text{note}}\) 口语 \(R_{\text{colloquial}}\) 全语域平均 说明
线性逻辑回归探针 (\(M_{\text{textbook}}\)) 0.780 0.728 0.631 0.696 0.709 基础线性探针
均值差探针 (\(M_{\text{diff}}\)) 0.754 0.723 0.731 0.715 0.731 无参数纯几何方向,病历语域大幅反超
单隐层 MLP 探针 (\(M_{\text{MLP}}\)) 0.807 0.766 0.743 0.738 0.763 仅微弱提升 +0.037,置信区间绝大多数重合
自评概率基线 \(P(\text{True})\) 0.760 0.703 0.722 0.678 0.716 需解码首词元,大模型上逼近线性探针
自洽性基线 \(B_{\text{sc}}\) (\(\tau=0.7\)) 0.671 0.635 0.667 0.631 0.651 采样 3 次一致性,显著落后探针 6-11 点
生成 Token 熵基线 \(B_{\text{ent}}\) 0.584 0.501 0.566 0.470 0.530 接近或低于随机概率 (0.50)
原始探针校准误差 (Raw ECE) 0.231 0.377 0.356 0.400 0.341 严重未校准(显著远高于 0.05 安全阈值)
Platt 缩放校准误差 (Platt ECE) 0.086 0.151 0.135 0.166 0.135 事后校准降幅超 50%,但绝大多数仍 >0.05

关键发现

  • 语域与专科鲁棒性极强:语域平均迁移降幅仅为 0.095 AUROC,专科迁移降幅仅为 0.031 AUROC。在 15 个专科测试中,罕见病甚至在表征空间更容易被探针切分(因专有名词激活了更孤立的表征空间),打破了常规认为罕见病更难判断的直觉。
  • 跨语料迁移严重崩塌:探针从 MedQA 迁移到 MedMCQA 时平均暴跌 0.21 AUROC(绝对性能仅 0.52–0.60),迁移到 MMLU-medical 亦下降 0.12。然而将 MedMCQA 的短题题干改写为 MedQA 式临床长病例后,AUROC 仍停留在 0.559(对比原版的 0.561),彻底证伪了“题型文体差异导致跨语料失效”的假设。
  • 本质线性与正则化反噬:MLP 相比线性探针仅有 +0.037 的微弱增益,且在 16 个评测组合中有 15 个均处于统计不显著区间;无参数的均值差探针 \(M_{\text{diff}}\) 在病历语域上甚至反超逻辑回归探针 0.070 AUROC,表明逻辑回归的 \(L_2\) 惩罚过度过拟合了教科书语料分布,反而损害了极限风格下的泛化能力。
  • 输出端基线疲软与严重校准失真:生成熵 \(B_{\text{ent}}\) 完全无法作为事实性指标(在 Llama-3-8B 上掉至 0.46),而原始探针 ECE 高达 0.341。更严重的是,各语域的最佳判定阈值 \(\tau_J\) 在 0.04 到 1.00 之间剧烈震荡,说明排序能力虽保留,但绝对标尺完全不可跨场景通用。

亮点与洞察

  • 正交变量解耦实验设计:通过首创的受控重写基准(MedQA-4K),彻底厘清了困扰表征探测领域多年的“泛化 vs 脆弱”学术争议,明确了表面扰动与深层语料伪影的本质区别。
  • 均值差探针反超正则化分类器:在语言风格跨度最大的病历简写语域中,无参数的纯几何均值差探针全面战胜传统逻辑回归,揭示了强监督学习的泛化惩罚效应。
  • 真实患者问答与多重裁判验证:不仅在合成变体上评测,更接入真实 Reddit 患者文本(MedRedQA)并引入双跨家族大模型双盲交叉评审,确保了学术结论的高度可复现性与临床外推性。

局限与展望

  • 选择题诱导偏差:所有评估均基于四选一多选题的题干与干扰项设置,其错误选项均经过专家精心设计,无法完全等同于大模型在自由开放式生成中自发产生的幻觉与部分正确答复。
  • 语料与命题地域强绑定:MedQA 源于美国执业医师考试(USMLE),MedMCQA 源自印度医考,语料跨度与地域医疗实践存在耦合,且全篇仅限于英文语料,缺乏多语言泛化验证。
  • 单一真值维度的局限:模型对否定句的系统性拒绝表明一维真值向量容易将“语法否定”误判为“事实错误”,未来需探索引入独立极性维度的二维真值子空间架构。

相关工作与启发

  • vs Marks & Tegmark (2024):他们提出了几何真值假说并在通用事实问答中验证了线性均值差探针;本文将其成功拓展至复杂的医学专业领域,并证实该假说对专业专科与通俗语域鲁棒。
  • vs Levinstein & Herrmann (2024) / Haller et al. (2025):他们质疑探针极度脆弱、易被表面释义击穿;本文通过严格控制事实不变的重写实验表明,语言风格并非致盲因素,跨语料构造伪影才是真正根因。
  • vs Orgad et al. (2025):他们指出探针仅在同任务家族内迁移;本文在同一任务(医学多选 QA)内部进一步下挖,指出即使同一任务家族,不同题库作者的干扰项设计即可导致迁移崩塌。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次正交解耦医学探测的语域、专科与语料维度,澄清了长期学术分歧。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 4 个代表性开源模型、4000 个受控重写变体、真实患者论坛数据及详实消融。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨连贯,实验图表与统计置信度标注极其完备。
  • 价值: ⭐⭐⭐⭐⭐ 为临床部署内部监控探针确立了不可跨语料零样本使用的明确安全准则。