Probing Syntactic Knowledge in Instruction-Tuned LLMs¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM推理
关键词: 拒绝机制, 知识拒绝, 安全拒绝, 机制可解释性, 激活导向
一句话总结¶
本文针对知识拒绝(KR)与安全拒绝(SR)长期割裂研究的现状,构建了 213 组结构严格配对的四元组基准,通过控制性微调与表征层机制分析,揭示了大语言模型拒绝行为遵循“先承诺拒绝、后特异细化”(commit-then-specify)的层级生成机制。
研究背景与动机¶
随着大语言模型在真实复杂场景中的广泛落地,模型不仅需要具备生成准确答案的能力,更需要在面对超出能力边界或违反规范边界的请求时做出合理解除与拒绝。现实中的拒绝行为通常分为两类:其一是知识型拒绝(Knowledge-based Refusal, KR),即当用户查询涉及模型知识库之外的事实、虚构实体或不可验证前提时,模型基于认识论边界(epistemic limitations)主动弃权;其二是安全型拒绝(Safety-based Refusal, SR),即当请求涉及隐私泄露、危险操作、欺诈等规范约束(normative constraints)时,模型基于使用安全准则予以拦截。尽管 KR 和 SR 在表面上均呈现出高度相似的礼貌性拒答文本(如“我无法回答该问题”),但过往文献却几乎处于完全割裂的研究状态——KR 主要在不确定性估计、幻觉抑制与认知诚实性脉络下探索,而 SR 则深植于模型安全对齐、越狱防御与合规过滤体系之中。
这种学术维度的长期割裂导致了一个核心基础科学问题悬而未决:知识拒绝与安全拒绝在模型内部究竟共享统一的隐空间表征机制,还是由两套彼此独立的计算通路分别驱动?厘清这一问题不仅对于理解大模型的内在表征架构至关重要,更直接决定了拒绝校准技术的泛化逻辑——强化安全拒绝是否会意外诱发知识层面的过度拒答,抑或是提升知识弃权能力能否正向迁移至安全护栏。然而,系统化探究 KR 与 SR 的内部联系面临两大严峻壁垒:在数据层面,既有公开基准在提示词语义域、句子句式和表面词汇特征上差异巨大,极易将表面文本风格与内在拒绝信号相混淆;在模型层面,主流指令微调模型历经各不相同且不透明的多阶段对齐流水线,难以确定其内部表征差异源自拒绝类别本身还是历史训练阶段的偏差。
为了彻底消除任务语义与训练历史的混淆干扰,本文提出了标准化的解耦研究范式。作者构建了一个包含 20 个大类、213 组具有严格控制变量的对比四元组数据集 \((x_{KR}, x_{SR}, x_{KC}, x_{SC})\),使得同组内的拒绝请求与其良性控制请求仅在最小语义触发因子上存在差异,从而能够通过残差隐状态差值精准提取出纯粹的知识与安全拒绝方向;同时设计了兼顾通用推理能力与双重拒绝行为的顺序微调策略(Seq-KS)。核心 idea:大语言模型的拒绝行为是一个“先承诺、后细化”(commit-then-specify)的两阶段过程——浅层至中层先由一个共享且主导的通用拒绝方向决定整体“是否拒绝”,并在更深层网络中通过与注意力头及 MLP 紧密耦合的特异性表征,分流指定该拒绝是源于认知不确定性还是规范安全约束。
方法详解¶
整体框架¶
本文构建了从控制性微调、对比探针提取、方向投影分解到行为学因果验证的完整分析闭环。针对输入提示词,模型在每层最后一个 token 处提取残差流隐状态;通过减去各自严格对应的良性控制基准,消除模板风格和句式长度影响,分离出知识拒绝方向与安全拒绝方向;随后计算两者之间的夹角对齐程度,并在正交分解下拆解共享成分与特异性残差;最后通过词表对齐(Logit Lens)、注意力头/MLP 消融以及激活导向(Activation Steering)确立表征的因果效应。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入查询与良性控制配对<br/>(KR, SR, KC, SC)"] --> B["受控对比提示与序列微调架构<br/>Seq-KS: 保持通用性能的同时注入双重拒绝"]
B --> C["共享拒绝方向提取与正交分解<br/>提取d_K与d_S,分解为共享基向量与正交特异性残差"]
C --> D["非对称交叉探针迁移机制<br/>验证SR->KR强迁移与KR->SR弱迁移的表征包含关系"]
D --> E["高层认知与规范特异化分解<br/>深层注意力头与MLP特异性分流语义框架"]
E --> F["双重激活导向与行为调制<br/>干预残差流,调控拒答概率与解释理据"]
关键设计¶
1. 受控对比提示与序列微调架构:消除提示风格混淆与训练历史偏差 针对过往评测中 KR 与 SR 数据集在句法模式、领域主题和长度分布上严重失配的缺陷,本文设计了分层提示构建体系。首先在 20 个典型领域定义具体动作请求框架(Semantic Frames)与共享模板骨架(如查询联系方式、获取权限等),并固定局部上下文锚点词;随后利用 GPT-4o-mini 并行实例化虚构不可查实体(诱发 KR)和敏感真实实体(诱发 SR);再通过最小编辑生成移除了触发词的良性对照组 \(x_{KC}\) 和 \(x_{SC}\)。经规则过滤、GPT-5 评分与人工验证(Cohen's \(\kappa = 0.82\)),最终筛选出 213 组经 6 个测试模型一致判定的干净四元组。在模型端,作者评估了不同微调顺序对模型通用性能的冲击,发现先安全后知识(Seq-SK)会导致严重的过度拒答并大幅损害通用知识推理能力,而先知识后安全(Seq-KS)能够完美保持 MMLU 与 TriviaQA 表现,为底层表征机制分析奠定了无偏的受控基线。
2. 共享拒绝方向提取与正交分解:几何层面剥离通用拒答与特异残差 为从隐空间数学上检验 KR 与 SR 是否共享计算机制,本文在网络各层 \(\ell\) 的最后一个 prompt token 处提取残差流激活,利用差分均值法(Difference-in-Means)定义两种拒绝类型的几何位移向量: $\(d_{K}^{\ell} = \mathbb{E}_i \left[ h^{\ell}(x_{KR,i}) - h^{\ell}(x_{KC,i}) \right], \quad d_{S}^{\ell} = \mathbb{E}_i \left[ h^{\ell}(x_{SR,i}) - h^{\ell}(x_{SC,i}) \right]\)$ 通过余弦相似度 \(\text{simshift}_{\ell} = \cos(\hat{d}_{K}^{\ell}, \hat{d}_{S}^{\ell})\) 衡量方向一致性,并在峰值对齐层 \(\ell^*\) 定义两者的平分角单位向量作为共享拒绝方向 \(\hat{d}_{\text{common}}^{\ell} = (\hat{d}_{K}^{\ell} + \hat{d}_{S}^{\ell}) / \|\hat{d}_{K}^{\ell} + \hat{d}_{S}^{\ell}\|\)。随后将每个位移向量正交投影分解为投影分量 \(d_{r,\text{proj}}^{\ell} = (\hat{d}_{r}^{\ell} \cdot \hat{d}_{\text{common}}^{\ell}) \hat{d}_{\text{common}}^{\ell}\) 与正交残差分量 \(d_{r,\text{spec}}^{\ell} = \hat{d}_{r}^{\ell} - d_{r,\text{proj}}^{\ell}\)。分析显示共享分量模长高达 0.92–0.95,证明两种拒绝在前向传播中具有极强的主干重合,但 0.32–0.39 的正交残差模长同时证实了类别特异性子空间的存在。
3. 非对称交叉探针迁移机制:揭示安全拒绝与知识拒绝的表征包含阶数 针对高几何相似度是否意味着内部机制完全对称等价的问题,本文训练了跨类别线性探针。探针 SR\(\rightarrow\)KR 在安全拒绝数据(SR vs. SC)上训练决策边界,并在不重新训练的情况下直接用于预测知识拒绝(KR vs. KC);反向探针 KR\(\rightarrow\)SR 则在知识数据上训练并迁移至安全数据。实验揭示了跨模型高度稳健的非对称现象:SR\(\rightarrow\)KR 探针迁移准确率高达 0.80–0.86,而 KR\(\rightarrow\)SR 迁移准确率显著暴跌至 0.58–0.63,形成了稳定的跨类型泛化差值 \(\Delta = +0.22 \sim +0.27\)。这一机制表明,安全拒绝表征更纯粹地抓取了通用拒绝的主干特征,因而能够向下兼容涵盖知识拒绝;而知识拒绝判定边界则高度耦合了针对事实不可判定性的专用条件特征,难以独立泛化至安全准则违规的判定。
4. 高层认知与规范特异化分解:定位深层语义分化与关键组件贡献 为了探明非对称残差究竟在何处产生并承载何种具体语义,研究引入了以最终层 KR 特异残差 \(\hat{d}_{\text{ref}} := d_{K,L,\text{spec}} / \|d_{K,L,\text{spec}}\|\) 为基准的层级投影追踪与 Logit Lens 词表解码。层级投影表明,KR 与 SR 的投影值在前中部层均紧贴于零,直到最后几层才剧烈分化——KR 强正向偏转,SR 强负向偏转。Logit Lens 进一步证实:共享方向 \(\hat{d}_{\text{common}}\) 强化了通用拒答语气词(sorry、regret),压制了肯定回应词(yes、sure);而特异对比方向 \(\hat{d}_K - \hat{d}_S\) 则在词汇级别实现了严整的解耦:KR 正向对应认识论不确定性修辞(Based、presently、Sadly),SR 负向则对应法律、合规与隐私词汇(legal、illegal、privacy)。组件级消融表明,这一特异化过程显著依赖位于高层的少部分特定注意力头(OV 回路)以及网络最深层(深度 > 0.9)的 MLP 模块计算。
损失函数 / 训练策略¶
微调实验在两张 NVIDIA H200 GPU(各 144GB 显存)上完成全参数有监督微调。优化器采用 AdamW,最大学习率设为 \(2 \times 10^{-6}\),配置 10% 线性预热的余弦退火调度,权重衰减置 0。训练采用 bf16 混合精度,有效全局 batch size 为 8(每卡 batch size 1,梯度累加 8 步),总共训练 3 个 epoch。评估指标将开放问答细分为回答正确率(Corr.)、错误非拒绝率(Inc.)和主动弃权率(Ref.),在安全端分别评估 AdvBench/XSTest-unsafe 违规拦截率(Unsafe Ref.)与 XSTest-safe 良性误拒率(Safe Ref.)。
实验关键数据¶
主实验¶
论文在 Llama-3-8B-Instruct、Qwen2.5-7B-Instruct、Gemma-2-9B-it 以及更新的 Qwen3.5-9B、Gemma-3-12B-it 等多模型及其受控微调版本上展开评测。下表汇总了基础指令模型与微调变体(\(*\))在残差激活相似度、峰值拒绝位移对齐度、内部探针准确率及跨类别迁移表现上的关键数据。
| 模型 | 状态 | \(\text{sim}(KR, SR)\) | \(\text{sim}(KC, SC)\) | 峰值位移对齐 \(\text{simshift}_{\ell^*}\) | 探针 KR | 探针 SR | SR\(\rightarrow\)KR 迁移 | KR\(\rightarrow\)SR 迁移 | 迁移差距 \(\Delta\) |
|---|---|---|---|---|---|---|---|---|---|
| Llama-3-8B | 原始 | 0.898 | 0.938 | 0.794 | 0.947 | 0.818 | 0.847 | 0.589 | +0.258 |
| Llama-3-8B | Seq-KS (\(*\)) | 0.898 | 0.923 | 0.745 | 0.960 | 0.834 | 0.854 | 0.631 | +0.223 |
| Qwen2.5-7B | 原始 | 0.983 | 0.988 | 0.789 | 0.962 | 0.816 | 0.805 | 0.580 | +0.225 |
| Qwen2.5-7B | Seq-KS (\(*\)) | 0.980 | 0.985 | 0.750 | 0.962 | 0.858 | 0.847 | 0.597 | +0.250 |
| Gemma-2-9B | 原始 | 0.951 | 0.957 | 0.711 | 0.962 | 0.856 | 0.859 | 0.586 | +0.273 |
| Gemma-2-9B | Seq-KS (\(*\)) | 0.942 | 0.947 | 0.699 | 0.956 | 0.861 | 0.863 | 0.595 | +0.268 |
| Qwen3.5-9B | 最新开源 | 0.982 | 0.988 | 0.781 | 0.958 | 0.805 | 0.836 | 0.580 | +0.255 |
| Gemma-3-12B | 最新开源 | 0.949 | 0.956 | 0.721 | 0.947 | 0.818 | 0.841 | 0.608 | +0.234 |
消融实验¶
消融实验重点验证了不同拒绝微调次序与数据混合模式对模型通用能力、知识问答以及安全对齐表现的深远影响(以 Llama-3-8B 体系为例)。
| 训练配置方案 | MMLU Acc.↑ | GSM8K Acc.↑ | TriviaQA 错误率 Inc.↓ | TriviaQA 拒答率 Ref. | NQ 错误率 Inc.↓ | AdvBench 拦截率↑ | XSTest 良性误拒 Safe Ref.↓ | 说明 |
|---|---|---|---|---|---|---|---|---|
| Original(原始) | 62.90% | 65.50% | 19.77% | 17.16% | 42.08% | 21.35% | 26.40% | 原始指令基线,安全拒答偏低 |
| Knowledge-tuned (CRaFT) | 65.51% | 42.30% | 8.74% | 39.68% | 21.02% | 31.35% | 59.60% | 显著压低错误率,但良性误拒严重反弹 |
| Safety-tuned (FalseReject) | 57.36% | 50.34% | 19.21% | 32.29% | 26.81% | 64.81% | 12.40% | 安全性增强,但推理与知识精度滑坡 |
| Seq-SK (先安全后知识) | 46.64% | 35.31% | 8.32% | 49.51% | 9.45% | 95.38% | 74.80% | 安全抑制过度扩散,通用能力发生灾难性崩塌 |
| Merged (混合重排微调) | 55.38% | 52.28% | 14.22% | 47.92% | 18.39% | 70.77% | 16.00% | 单次微调折衷,综合指标弱于分阶段顺序 |
| Seq-KS (先知识后安全, 本文) | 61.84% | 66.57% | 12.04% | 30.48% | 34.68% | 69.42% | 15.20% | 最佳权衡点:保持基础推理与知识准确,误拒率最低 |
关键发现¶
- 模板虚假关联被严格排除:在所有 6 个被测模型的全部网络层中,\(\Delta\text{sim} = \text{sim}(KR, SR) - \text{sim}(KC, SC)\) 恒为负值。这在数学上证伪了“KR 与 SR 的相似性仅仅是因为共享提示词句式”的假设,确立了拒绝几何重合的内在表征属性。
- 跨类型迁移存在显著的单向性:在所有测试模型中,SR 训练的探针迁移到 KR 的准确率恒定比 KR 迁移到 SR 高出 22% 至 27%。在 XSTest 衍生数据子集以及反向微调(Seq-SK)模型中该现象依然完全重合,表明该非对称性是大模型内部表征的先验内在属性,而非由特定训练配方引发的人工产物。
- 特异性表征在高层爆发而非逐步累积:在网络深度 0.0 到 0.85 之间,知识残差向量的投影值几乎与零重合,直到最后几层(最后 10% 深度)才呈指数级发散,证实了深层 MLP 块与特定注意力头对认识论与规范性理由的语义具象化作用。
亮点与洞察¶
- 提出拒答行为的“承诺-细化”(Commit-then-Specify)两步机制:首次从底层表征几何层面解释了为何大模型对不同动机的拒绝能产生极其相似的表象——前中层先在共享方向上敲定“拒绝意向”,后在高层通过正交特异维度注入“为什么拒绝”的具体认识论或规范性解释。
- 精巧构建无混淆四元组对照基准:通过分层语义框架与局部锚点,实现了对用户真实意图的严格控制,将复杂的拒答行为剥离为纯粹的线性位移向量,为后续机制解释研究树立了高质量的数据控制标准。
- 激活干预可实现精准的拒答动机诱导:在残差流中向模型施加微调提取的特异性方向向量 \(+\hat{d}_{K,\text{spec}}\) 或 \(+\hat{d}_{S,\text{spec}}\),不仅能够直接调节模型拒答率,更能在不改变事实的情况下直接重构其拒绝理据(如让虚构问题输出隐私违规声明,或让安全问题输出不确定性答复)。
局限与展望¶
- 局限于白盒开源权重模型:当前分析强依赖于模型逐层残差流激活抽取、探针训练与干预消融,难以直接推广至仅提供 API 接口的黑盒商业大模型,未来需要探索基于黑盒输出行为的高保真代理表征探测手段。
- 仅聚焦于单轮交互场景:现实中的安全攻击(如多轮越狱伪装)或复杂知识问答往往在多轮对话中演进,上下文累积如何影响共享拒绝承诺与特异化分流过程尚待深入考查。
- 基准追求高对比度牺牲了开放多样性:213 组对比四元组高度强调结构与局部词汇匹配,其边界案例与真实世界复杂模糊的现实拒答请求存在一定分布漂移。
相关工作与启发¶
- vs Arditi et al. (2024):Arditi 等人提出安全拒绝在语言模型内部由单一方向介导(Single refusal direction),但其视角局限于安全合规场景;本文证明了该拒绝方向可向上提升为跨越知识与安全的统一主干,同时进一步揭示了单方向之外不可忽视的高层特异残差结构。
- vs Zhu et al. (2025b, CRaFT) & Zhang et al. (2025, FalseReject):过往工作分别在降低知识幻觉弃权和缓解安全过度拒答上单点突破;本文将两类前沿训练算法置于统一实验框架下进行时序编排消融,得出了“先知识后安全”的最优微调实践范式。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次打破知识拒绝与安全拒绝的学术割裂,建立统一的机制表征解释框架。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 款不同代际大模型、多维几何投影、线性探针、组件消融与因果激活导向,论据环环相扣。
- 写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰准确,实验设计控制变量极其严密,逻辑自洽且行文流畅。
- 价值: ⭐⭐⭐⭐⭐ 为大模型对齐阶段的拒答校准、幻觉控制以及推理时拒绝导向干预提供了扎实的理论指引。