Conflict-Aware Logit Adapters for Utility-Preserving Anti-Distillation¶

会议: NeurIPS 2026
arXiv: 2610.31046
领域: 模型压缩
关键词: 反知识蒸馏, 推理轨迹保护, 逻辑回归适配器, 梯度冲突优化, 大语言模型安全

一句话总结¶

针对黑盒推理轨迹易被小模型通过监督蒸馏窃取的问题，提出训练时冲突感知 Logit 适配器（CALA），通过轻量残差适配器与虚拟代理学生升步引导，在保证教师模型可用性与自然流畅度的同时大幅抑制下游蒸馏仿冒。

研究背景与动机¶

随着思维链（Chain-of-Thought, CoT）、多步推理采样与过程监督的发展，大语言模型展现出卓越的复杂问题解决能力，并普遍在其输出中附带详尽的中间推理轨迹。然而，这种高密度的推理分解过程不仅便利了终端用户，也为恶意攻击者提供了极高价值的监督信号——攻击者只需通过黑盒 API 收集输入与推理轨迹对，即可使用标准的自回归下一个 Token 预测微调轻量学生模型，从而低成本窃取前沿模型的专有推理机制。

现有的输出隐私防御主要针对训练数据提取或记忆泄露，而数据中毒防御则假设防御者拥有学生训练集的控制权，这些假设在黑盒部署场景下均不成立。最直接的防御方案是基于解码期的干预，例如反蒸馏采样（Antidistillation Sampling, ADS），其在解码循环中实时引入代理模型计算惩罚项。但 ADS 存在显著痛点：一是在线调用代理模型导致推理延迟激增、峰值显存翻倍；二是容易引发“反蒸馏作弊”（anti-distillation hacking）现象，即模型虽然给出了正确的最终答案，但中间推理链充斥着无意义片段、跨语言乱翻或语法崩坏，严重破坏了面向合法用户的可读性与可解释性。

如何在不修改底层教师权重的前提下，摆脱推理期对辅助模型的依赖，并在抑制蒸馏有效性的同时保留自然流畅的推理表达？本文的核心 idea 是将防御干预由解码期前移至训练期，在冻结教师模型顶层挂载轻量残差 Logit 适配器，利用虚拟代理学生的一次非提交梯度上升步探测蒸馏敏感位置，并通过冲突感知投影优化与双层教师锚点正则化，在受限的高概率候选集上平衡反蒸馏与实用性目标。

方法详解¶

整体框架¶

CALA 旨在构建一个训练时固化防护能力、推理期零辅助模型开销的防御型教师模型。整体处理流程包含训练期与推理期两个阶段：在训练阶段，保持底层大模型骨干网络及语言模型头完全冻结，仅在输出层附加微型残差适配器 $A_\theta$。对于输入的推理样本批次，首先由可微分的代理学生计算交叉熵损失，并通过虚拟梯度上升构建对抗性探针，指示哪些 Token 处于学生模仿的脆弱边界；接着在 top-$k$ 高概率候选集上构建带熵权重的反蒸馏损失；同时，结合教师顶层输出与中间层隐藏状态构建双重实用性锚点；最后通过冲突感知优化动态投影梯度，防止效用正则项冲刷掉防御信号。在推理阶段，无需任何代理模型参与，仅需通过标量系数 $\delta$ 调节适配器残差注入强度，直接按照标准温度与采样策略生成文本。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入提示与推理序列"] --> FrozenT["冻结教师模型<br/>提取最终隐状态 ht 与中间层隐状态 ht^(m)"]
    FrozenT --> ResAdapt["轻量残差适配器<br/>计算修正项 A_theta(ht) 并叠加上层 Logit"]
    ResAdapt --> VirtualAscent["虚拟代理学生升步<br/>非提交梯度上升探测模仿脆弱位置"]
    VirtualAscent --> DistillSupport["候选集受限反蒸馏<br/>在 top-k 候选上按熵加权计算 KL 散度"]
    FrozenT --> DualAnchor["双层教师效用锚点<br/>顶层 KL 锚定 + 中间层 JS 平滑一致性"]
    DistillSupport --> ConflictOpt["冲突感知优化<br/>约束投影自适应权衡反蒸馏与效用梯度"]
    DualAnchor --> ConflictOpt
    ConflictOpt --> AdaptParam["仅更新适配器参数 theta"]
    ResAdapt --> InferScale["推理期强度缩放<br/>z_t^(delta) = z_base + delta * A_theta(ht)"]
    InferScale --> OutText["兼顾高可用性与低可蒸馏性的推理轨迹"]

关键设计¶

1. 轻量残差适配器：以极低参数量实现模型内嵌的防御能力 传统解码期防御需要在自回归生成时逐 Token 运行一个辅助模型，推理开销不可承受。CALA 将防护能力内化至教师模型结构中。设冻结教师在位置 $t$ 的最终隐藏层状态为 $h_t$，原始未缩放的 Logit 为 $\tilde{z}_t = W_{\mathrm{lm}} h_t$。CALA 引入一个轻量级的 MLP 适配器 $A_\theta$，直接映射隐藏状态至词表维度的 Logit 修正项： $$z_t = \tilde{z}_t + A_\theta(h_t), \qquad q_t = \mathrm{softmax}(z_t)$$ 在全流程中，教师骨干参数及语言模型头完全冻结，仅更新轻量参数 $\theta$。这一设计确保了底层强大的推理表征不被破坏，同时在部署时可以通过线性插值控制防御强度 $z_t^{(\delta)} = \tilde{z}_t + \delta A_\theta(h_t)$，无需在推理时加载任何辅助网络。

2. 双层教师效用锚点：约束高概率支撑集以杜绝表面退化 若缺乏强效用约束，反蒸馏损失容易将概率质量推向低概率的尾部不可靠区域，导致输出产生严重胡言乱语或跨语言崩坏。CALA 提出了包含两层监督视角的效用约束目标 $\mathcal{L}_{\mathrm{util}} = \mathcal{L}_{\mathrm{base}} + \mathcal{L}_{\mathrm{mid}}$：首先，在原始顶层 Logit 的 top-$k$ 集合 $\mathcal{K}_t^T$ 上使用单向 KL 散度建立顶层基座锚点： $$\mathcal{L}_{\mathrm{base}} = \frac{1}{N}\sum_t \mathrm{KL}\left(\Pi_{\mathcal{K}_t^T}(\tilde{z}_t) \,\Vert\, \Pi_{\mathcal{K}_t^T}(z_t)\right)$$ 它强制适配器保留原始教师对高概率正确 Token 的偏好，维持下游任务准确率。其次，受中间层对比解码机制启发，模型中间层往往编码了更平滑、通用的自然语言连贯性偏好，而较少受特定任务极端拟合影响。CALA 将中间层隐藏状态 $h_t^{(m)}$ 经由同一个 LM 头投影得到 $\tilde{z}_t^{(m)} = W_{\mathrm{lm}} h_t^{(m)}$，并在其 top-$k$ 集合 $\mathcal{K}_t^m$ 上引入对称的 Jensen-Shannon（JS）散度： $$\mathcal{L}_{\mathrm{mid}} = \frac{1}{N}\sum_t \mathrm{JS}\left(\Pi_{\mathcal{K}_t^m}(z_t),\, \Pi_{\mathcal{K}_t^m}(\tilde{z}_t^{(m)})\right)$$ 该约束促使适配后的分布在进行反蒸馏调整时，依然依附于教师模型内在的语言流畅先验，有效根除了生硬碎片和退化词。

3. 虚拟代理学生升步与受限反蒸馏：精准打击模仿脆弱位置 为了在下游真实学生模型未知的前提下有效生成抗蒸馏监督信号，CALA 在训练循环中引入一个轻量代理学生模型 $S_\phi$。然而，若直接优化让学生损失最大，会导致教师产生过于极端的毒化输出；CALA 采用“虚拟探针”机制，不改变代理学生本身的参数，而是让代理学生沿交叉熵损失梯度的反方向在局部 $\ell_2$ 球内执行单次虚拟非提交升步： $$\phi^+ = \phi + \rho \frac{\nabla_\phi \mathcal{L}_{\mathrm{CE}}(\phi)}{\|\nabla_\phi \mathcal{L}_{\mathrm{CE}}(\phi)\|_2}$$ 利用扰动后的参数 $\phi^+$ 获取当前轨迹的预测分布 $u_t^+ = S_{\phi^+}(x_{\leq t})$。$u_t^+$ 代表了当前轨迹下学生模型最容易出现认知动摇的局部替代分布。接着，在 $u_t^+$ 的 top-$k$ 支持集 $\mathcal{K}_t^S$ 上计算受限 KL 散度，并引入基于虚拟学生预测熵的归一化权重 $w_t^S = \frac{\mathrm{Entropy}(\mathrm{softmax}(u_t^+))}{\log |\mathcal{V}|}$： $$\mathcal{L}_{\mathrm{anti}} = \frac{\sum_t w_t^S \mathrm{KL}\left(\Pi_{\mathcal{K}_t^S}(u_t^+) \,\Vert\, \Pi_{\mathcal{K}_t^S}(z_t)\right)}{\sum_t w_t^S}$$ 在模型容易犹豫的高不确定性位置赋予更大优化权重，从而在不影响确定性语法词的前提下精准破坏蒸馏信号。

4. 冲突感知梯度投影优化：杜绝防御信号被效用正则项冲刷 在多目标优化中，效用保留梯度 $g_u = \nabla_\theta \mathcal{L}_{\mathrm{util}}$ 与反蒸馏梯度 $g_a = \nabla_\theta \mathcal{L}_{\mathrm{anti}}$ 经常处于正交乃至方向对立状态。固定权重容易导致强效用梯度将反蒸馏信号彻底抵消。CALA 将该问题形式化为带约束的一阶投影问题：在保证向 $g_a$ 方向有一阶最小下降余量 $\kappa \|g_a\|_2^2$ 的前提下，寻找最接近效用梯度的更新方向 $d^\star$： $$\min_d \frac{1}{2}\|d - g_u\|_2^2 \quad \text{s.t.} \quad \langle g_a, d \rangle \geq \kappa \|g_a\|_2^2$$ 推导给出的闭式自适应解为： $$\nabla_\theta \mathcal{L} = g_u + \lambda^\star g_a, \qquad \lambda^\star = \max\left(0, \kappa - \frac{\langle g_u, g_a \rangle}{\|g_a\|_2^2 + \epsilon}\right)$$ 当效用梯度自身已包含足够的抗蒸馏分量时，$\lambda^\star=0$ 优先保证效用；当两者出现冲突（内积变小或为负）时，$\lambda^\star$ 自动增大，精确注入抗蒸馏修正量，形成严格的防御下界保障。

实验关键数据¶

主实验¶

实验选用 DeepSeek-R1-Distill-Qwen-7B 作为被保护教师，Qwen2.5-1.5B 作为训练期代理学生，Llama-3.2-3B 作为下游攻击者学生模型。对比 baseline 包括解码期反蒸馏采样 ADS 以及纯温度采样控制。在三个权威基准（GSM8K、MATH、MMLU）上测定教师准确率（保留效用）与下游学生蒸馏后准确率（蒸馏泄露度，越低越好）。

基准测试	防御方法	评估点 (Point 1 / 2 / 3 / 4)	教师准确率 (%) ↑	蒸馏学生准确率 (%) ↓	流畅度评分 (1-100) ↑
GSM8K	CALA (本文)	Point 1 (δ=0.25) Point 2 (δ=0.75) Point 3 (δ=0.80) Point 4 (δ=0.85)	89.7 83.5 79.2 65.1	55.5 50.8 47.3 34.2	97.30 93.05 93.68 85.63
GSM8K	ADS [NeurIPS'25]	Point 1 Point 2 Point 3 Point 4	89.7 84.0 78.9 64.8	61.0 55.7 50.4 38.6	96.54 89.81 69.68 47.84
GSM8K	Temperature	τ=0.90 / 1.16 / 1.26 / 1.50	90.0 / 88.3 / 89.4 / 52.5	59.7 / 57.0 / 61.2 / 54.1	96.96 / 96.26 / 95.49 / 27.62
GSM8K	无蒸馏学生基线	-	-	43.5	-
MATH	CALA (本文)	Point 1 / Point 2 / Point 3	61.6 / 57.7 / 56.5	13.5 / 12.7 / 11.7	93.96 / 93.35 / 86.65
MATH	ADS [NeurIPS'25]	Point 1 / Point 2 / Point 3	58.2 / 57.9 / 58.8	13.3 / 13.1 / 14.0	85.74 / 85.70 / 86.41
MMLU	CALA (本文)	Point 1 / Point 2 / Point 3	72.2 / 68.4 / 67.7	50.9 / 49.9 / 48.0	90.71 / 88.17 / 82.07
MMLU	ADS [NeurIPS'25]	Point 1 / Point 2 / Point 3	69.5 / 68.0 / 65.4	50.4 / 49.4 / 47.9	87.73 / 86.55 / 70.73

在推理效率与显存开销方面（H100 GPU，Batch Size 64，Seq Len 1024）：

模型配置	批次生成耗时 (s) ↓	生成吞吐 (Tokens/s) ↑	平均显存 (GB) ↓	峰值显存 (GB) ↓
原始基座教师	25.8	828.5	15.26	20.07
CALA (本文)	31.5 (仅轻微开销)	708.3	15.88	20.24
ADS [NeurIPS'25]	89.2 (+245% 耗时)	465.1 (-44% 速度)	32.39 (+112% 显存)	39.28 (+96% 显存)

消融实验¶

在 GSM8K 基准上针对损失项、候选集约束与优化算法进行系统消融测试（固定在典型点 $(\tau, \delta)=(0.50, 0.85)$，考察教师与学生准确率）：

实验变体配置	教师准确率 (%) ↑	蒸馏学生准确率 (%) ↓	准确率裕度 $\Delta$ ↑	教师流畅度评分 ↑
CALA 完整架构	65.1	34.2	30.9	85.63
去除中间层锚点 $\mathcal{L}_{\mathrm{mid}}$	63.0	38.0	25.0	84.33
去除 $\mathcal{L}_{\mathrm{mid}}$ + 去除 top-$k$ 截断	60.7	47.9	12.8	57.25
去除熵加权 + $\mathcal{L}_{\mathrm{mid}}$ + top-$k$ 截断	71.0	51.8	19.2	未评测
去除顶层效用锚点 $\mathcal{L}_{\mathrm{base}}$	26.6 (效用彻底崩溃)	28.8	-2.2	未评测
去除虚拟学生升步 (直接用原代理)	66.3	41.0	25.3	未评测
去除冲突感知优化 (固定权重求和)	33.3 (梯度冲突导致崩溃)	18.1	15.2	未评测

关键发现¶

消除表面退化作弊：ADS 在防御强度增大时，虽然学生准确率下降，但其推理链流畅度发生断崖式下跌（GSM8K P4 降至 47.84，MMLU 降至 42.52），出现大量语种交替与语法破碎；而 CALA 在相近教师准确率下依然维持了 85+ 的流畅度评分，证明其防蒸馏机制来自内在的信息扰动而非制造垃圾文本。
冲突感知优化的不可替代性：消融实验显示，如果去掉冲突感知更新（固定权重），模型在强防御目标下教师准确率直接腰斩至 33.3%；若去掉基座锚点 $\mathcal{L}_{\mathrm{base}}$，教师准确率溃退至 26.6%。这证实了梯度正交/对抗冲突是防蒸馏联合训练中的核心障碍，闭式投影能够有效化解该矛盾。
推理期几乎零开销：CALA 仅带来约 5.7 秒每批次的延迟，显存增加不到 0.2GB；相比之下 ADS 因在线计算双模型，延迟翻了 3.4 倍，峰值显存逼近 40GB。
鲁棒性与迁移泛化：使用 Qwen 训练的适配器防御信号能无缝迁移至 Llama-3.2 与 Gemma-2 架构；在针对 PPL 困惑度过滤自适应攻击下，CALA 依然保持显著的保护能力。

亮点与洞察¶

训练期固化代替解码期干预：将对抗性防御迁移至轻量残差适配器中训练，以极小参数量将推理期的辅助模型依赖彻底剥离，彻底解决了在线防蒸馏的工程落地瓶颈。
数学严密的梯度冲突闭式解：将多目标对抗问题抽象为带一阶下降界保证的最优投影问题，推导出的动态标量 $\lambda^\star$ 计算精炼且具备坚实的理论支撑。
双视角效用锚定消除“防御作弊”：巧妙融合顶层确定性预测与中间层平滑语言表征，从根本上杜绝了依靠语言碎片化降智来防御蒸馏的伪防御现象。

局限与展望¶

假设局限于黑盒自回归蒸馏：防御机制假设攻击者直接使用生成的推理文本做自回归 Next-Token 模仿，对于经过强重写器（Paraphraser）重述、或结合外部代码解释器/搜索验证器的复合提取攻击，防护效果可能有所衰减。
跨 Tokenizer 代理构建挑战：当前训练期代理学生要求与教师模型拥有兼容的词表空间，若需跨异构 Tokenizer 构造代理，需要引入序列级对齐或概率跨空间投影。
极高强度下的非线性效用折损：当强度参数 $\delta > 0.85$ 时，教师模型准确率呈现加速下滑趋势，在实际部署中需要按场景精细调谐 $\delta$ 阈值。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出内嵌残差适配器与虚拟代理升步机制实现免在线辅助模型的抗蒸馏，方法框架极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖三项权威基准、跨模型跨任务迁移、自适应 PPL 攻击、自动化流畅度裁决及详尽消融。
写作质量: ⭐⭐⭐⭐⭐ 理论推导完备自洽，图表设计清晰，逻辑链条严密。
价值: ⭐⭐⭐⭐⭐ 为前沿推理大模型商业化部署中的知识产权保护提供了高实用性、低推理成本的工业级解法。