Breaking Adversarial Transferability in Fine-Tuned Speech Recognition¶

会议: NeurIPS 2026
arXiv: 2610.09109
OpenReview: https://openreview.net/forum?id=Hk5S6s2xN9
代码: https://github.com/rohban-lab/TransferBreaker
领域: 音频/语音
关键词: 自动语音识别、对抗迁移性、对抗微调、隐空间雅可比正则化、黑盒鲁棒性

一句话总结¶

针对基于公开基础模型微调的私有 ASR 系统容易遭受对抗扰动黑盒迁移攻击的安全隐患，本文提出 TransferBreaker 框架，通过基模型对抗微调、隐空间雅可比正则化与混合梯度对抗微调，在保持干净样本识别精度的同时将跨模型对抗字错误率从 92.6% 显著压缩至 27.8%。

研究背景与动机¶

随着大规模自监督与弱监督预训练的发展，以 Whisper、wav2vec 2.0 和 MMS 为代表的公开语音基础模型已成为现代自动语音识别（ASR）系统的核心基石。在产业界与专业场景中，组织通常从开源社区获取这些强大的预训练底座，利用内部或特定语种数据进行下游微调，并以私有黑盒服务的形式对外提供推理接口。开发团队普遍抱有一种直觉假设：只要模型参数与梯度不公开，缺乏白盒访问权限的攻击者便难以构建高杀伤力的对抗攻击，有限的访问接口本身构成了一道天然的防御屏障。

然而，本文的研究打破了这一安全幻想。实验揭示了一个严峻的迁移性脆弱漏洞：攻击者只需在公开可获取的基础模型上白盒生成人耳难以察觉的微小声学对抗扰动，这些扰动便能近乎无损地跨模型迁移至私有微调后的目标系统，使目标模型的平均字错误率（WER）从正常的 16.4% 暴增至 92.6%，甚至产生接近白盒攻击的破坏效果。即便将微调规模扩展至 1,000 小时语音，这种迁移攻击的杀伤力依然顽固存在。面对这一威胁，传统的白盒防御基线——标准对抗微调（Standard-AFT）显得力不从心。ASR 系统涉及长变长自回归序列解码与数万量级的大词表分类，如果在全扰动空间内强行约束模型的局部灵敏度，不仅优化目标过于宽泛、容易对模型产生过度约束导致干净性能显著回退，而且依然无法有效阻断来自底座模型的特定迁移漏洞。

面对这一两难困境，核心症结在于现有防御将“零查询黑盒迁移威胁”误当成了“无约束全空间白盒对抗”，忽视了攻击者扰动全部源自公开基模型这一关键归纳偏置。本文的核心 idea 是：将防御目标精确收敛至导致迁移的共享对抗子空间，提出 TransferBreaker 统一微调框架，通过固定基模型生成对抗样本阻断主要迁移路径，引入以冻结基模型为锚点的隐空间雅可比正则化抑制声学扰动引起的特征漂移，并借助基-目标混合梯度插值抵御感知防御的自适应黑盒替代攻击。

方法详解¶

整体框架¶

TransferBreaker 的核心目标是切断对抗扰动从公开基模型 $f_b$ 向私有目标模型 $f_t$ 的迁移渠道，同时兼顾应对防守感知型自适应攻击（Adaptive Surrogate Attacks）的泛化能力。整个微调流程包含三个紧密协同的模块：首先，基模型对抗微调（Base-AFT）在微调过程中直接采用由冻结基模型 $f_b$ 生成的动量 PGD 扰动训练目标模型，将鲁棒化预算集中在攻击者实际利用的子空间；其次，隐空间雅可比正则化（LJ-Regularization）利用冻结基模型的干净特征作为固定锚点，强力约束目标模型在扰动输入下的隐层表征位移，抑制局部雅可比灵敏度；最后，混合梯度对抗微调（HybridGrad-AFT）通过动态调度插值基模型与目标模型的归一化梯度，生成兼具基模型关联度与目标攻击性的混合扰动，构筑对抗替代模型的深层防线。

在每个微调步中，系统以伯努利概率随机选取来自 Base-AFT 或 HybridGrad-AFT 的扰动样本，与干净音频一同前向传播，联合优化任务识别损失与隐空间正则化损失。方法的整体流水线如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入音频与文本<br/>(x, y)"] --> B["扰动生成器<br/>伯努利二选一采样"]
    B -->|"I = 0"| C["基模型对抗微调<br/>固定基模型动量 PGD 扰动"]
    B -->|"I = 1"| D["混合梯度对抗微调<br/>基-目标梯度动态插值 PGD"]
    C --> E["声学扰动样本合成<br/>x + δ (SNR ≥ 27 dB)"]
    D --> E
    E --> F["双路前向特征提取<br/>基模型干净表征 vs 目标模型扰动表征"]
    F --> G["隐空间雅可比正则化<br/>锚定冻结基模型的 L2 距离约束"]
    E --> H["序列任务损失计算<br/>CTC / Cross-Entropy"]
    G --> I["联合反向传播优化<br/>更新私有目标模型参数"]
    H --> I

关键设计¶

1. 基模型对抗微调：聚焦攻击者实际可达的迁移扰动子空间 标准对抗微调（Standard-AFT）每次都基于当前迭代的微调模型 $f_t$ 寻找最坏情况扰动 $\max_{\|\delta\|_p \leq \epsilon} \mathcal{L}_t(x+\delta, y)$，经一阶泰勒展开后等价于在全局输入空间惩罚目标模型的梯度范数 $\mathbb{E}[\|\nabla_x \mathcal{L}_t(x, y)\|_q]$。在长序列、大词表的语音识别场景中，这种全局约束过于严苛且方向发散，极易造成欠拟合或严重损害干净识别率。Base-AFT 抓住黑盒威胁模型的核心边界：攻击者无法获取 $f_t$，只能对公开基模型 $f_b$ 求解攻击扰动 $\delta_{\text{base}} \approx \epsilon u_b(x)$，其中 $u_b(x)$ 是基模型损失梯度 $\nabla_x \mathcal{L}_b(x, y)$ 对应的单位方向向量。Base-AFT 的优化目标直接设定为最小化目标模型在该基模型主导扰动下的损失期望： $$\min_{\theta_t} \mathbb{E}_{(x,y)}\left[\mathcal{L}_t(x, y) + \epsilon \langle \nabla_x \mathcal{L}_t(x, y), u_b(x) \rangle \right]$$ 这一设计将防御的对抗正交约束精确投射到基模型脆弱子空间 $\mathcal{U}_b(x) = \text{span}\{u_b(x)\}$ 内，不仅消除了在无关扰动方向上盲目防守的算力与容量开销，更直接封堵了跨模型迁移攻击的核心通道。

2. 隐空间雅可比正则化：以冻结基模型为锚点抑制定向灵敏度 研究团队在实证分析中发现，对抗样本引起的字符错误率（CER）与特征隐空间中的均方根距离（RMS Latent Distance）呈现强烈的正相关，单纯依靠输出层交叉熵或 CTC 损失的梯度回传无法充分抑制深层声学隐状态的剧烈偏移。为此，LJ-Regularization 在编码器隐状态层显式施加不变性约束。不同于常规自一致性（Self-Invariance）采用微调模型自身的干净输出作为基准（极易退化或发生表征坍塌），LJ-Regularization 选择完全冻结的公开基模型 clean 输出 $h_b(x)$ 作为恒定不变的几何锚点： $$\mathcal{L}_{\text{LJ-Regularization}} = \frac{1}{d} \left\| h_t(x+\delta) - h_b(x) \right\|_2^2$$ 理论分析证明，若将表征漂移定义为 $g(x) \triangleq h_t(x) - h_b(x)$，扰动位移定义为 $\Delta(x, \delta) \triangleq h_t(x+\delta) - h_t(x) \approx J_{h_t}(x)\delta$，则 LJ-Regularization 对参数 $\theta_t$ 的外层梯度更新恰好等于自一致性更新叠加一项由干净漂移向量导向的修正项：$\nabla_\theta \mathcal{L}_{\text{self}} + \frac{2}{d} J_\theta h_t(x+\delta)^\top g(x)$。这一机制在拉近扰动表征与干净基准的同时，直接压低了输入方向上的隐空间雅可比乘积范数 $\mathbb{E}[\|J_{h_t}(x)\delta\|_2^2]$，从几何层面拉平了声学编码器在对抗方向上的流形起伏。

3. 混合梯度对抗微调：动态插值提炼本质跨模型共享对抗扰动 尽管 Base-AFT 与 LJ-Regularization 对基于公开发布基模型的零查询攻击具有压倒性防御效果，但在面对自适应攻击者时仍存在暴露面。自适应攻击者同样了解防御机制，利用自身数据集以相同流程训练一个替代模型 $f_s$ 并迁移攻击。为赋予目标模型抵御近白盒替代攻击的广义鲁棒性，同时避免退化为盲目全面的 Standard-AFT，HybridGrad-AFT 将注意力集中在本质对抗扰动集合 $V_F(x) \subseteq V_b(x) \cap V_t(x)$ 上。在 PGD 优化的第 $j$ 步（共 $n$ 步），调度器通过动态系数融合基模型梯度方向 $u_b^{(j)}$ 与目标模型梯度方向 $u_t^{(j)}$： $$g_H^{(j)} = (1 - \gamma t_j) u_b^{(j)} + \gamma t_j u_t^{(j)}, \quad t_j = \frac{j+1}{n}$$ 在优化初期，扰动主要由基模型梯度引导，确保其牢固扎根于基模型的结构脆弱点；随着步数递增，逐步放大目标模型的梯度权重，引导扰动收敛到同时对基模型和目标模型均高度敏感的共享重叠子空间。在默认参数 $\gamma = 0.5$ 下，末步实现了基模型与目标模型的等权融合，使训练生成的样本能够兼顾对公开基模型和未知替代模型的双重鲁棒性。

损失函数 / 训练策略¶

TransferBreaker 的最终训练目标将干净语音识别损失、对抗样本任务损失以及隐空间正则项统一集成： $$\mathcal{L}_{\text{Total}} = \mathcal{L}(f_t(x), y) + \lambda_1 \mathcal{L}(f_t(x+\delta), y) + \lambda_2 \frac{1}{d} \|h_t(x+\delta) - h_b(x)\|_2^2$$ 其中扰动 $\delta = I \cdot \delta_{\text{hybrid}} + (1-I) \cdot \delta_{\text{base}}$，指示变量 $I \sim \text{Bernoulli}(p)$，默认设置概率 $p = 0.5$。任务损失 $\mathcal{L}$ 与底层架构保持解耦，在自回归模型（如 Whisper）上为序列交叉熵，在非自回归声学模型（如 Wav2Vec 2.0、MMS）上为联结主义时间分类（CTC）损失。损失权重默认设为 $\lambda_1 = 4.0, \lambda_2 = 2.5$。对抗扰动生成遵循感知不可察约束，严格限制在声学信噪比 $\text{SNR}(x, x+\delta) \geq 27\text{ dB}$（对应幅值约束 $\|x - x^*\|_\infty \leq \sqrt{P(x) / 10^{2.7}}$）。所有模型均采用 AdamW 优化器微调 4 个 epoch，初始学习率为 $1 \times 10^{-5}$，搭配 10% 线性预热及线性衰减策略。

实验关键数据¶

主实验¶

论文在 Common Voice 24 的三种不同语系语言（波兰语 PL、葡萄牙语 PT、阿拉伯语 AR）以及四种主流 ASR 骨干架构（Whisper-Medium、Wav2Vec2-Large-XLSR、MMS-1B、Whisper-Large-V3-Turbo）上开展了系统评测。下表展示了基模型（Base）、标准微调（FT）、标准对抗微调（Std-AFT）以及 TransferBreaker（Ours）在干净输入和基模型迁移对抗输入（Base-Adv）下的核心字错误率（WER %）表现（越低越好）：

语言与骨干模型	评测设置	Base	标准微调 (FT)	Std-AFT	TransferBreaker (本文)	相对 FT 降幅
波兰语 (PL)
Whisper-Medium	Clean WER / Base-Adv WER	15.3 / 118.1	9.6 / 86.7	12.9 / 44.0	12.0 / 24.2	-62.5%
Wav2Vec2-Large-XLSR	Clean WER / Base-Adv WER	18.8 / 102.0	12.2 / 86.2	17.3 / 33.7	16.8 / 24.8	-61.4%
MMS-1B	Clean WER / Base-Adv WER	12.9 / 104.7	8.9 / 84.0	12.4 / 28.7	10.7 / 17.2	-66.8%
Whisper-Large-V3-Turbo	Clean WER / Base-Adv WER	13.4 / 128.0	9.6 / 68.4	10.8 / 32.2	11.8 / 20.8	-47.6%
葡萄牙语 (PT)
Whisper-Medium	Clean WER / Base-Adv WER	22.2 / 147.9	12.5 / 83.6	16.1 / 42.9	15.1 / 21.7	-61.9%
Wav2Vec2-Large-XLSR	Clean WER / Base-Adv WER	30.0 / 117.2	19.8 / 109.9	26.4 / 41.9	23.9 / 32.7	-77.2%
MMS-1B	Clean WER / Base-Adv WER	19.8 / 171.0	14.2 / 97.9	18.2 / 34.5	16.4 / 23.1	-74.8%
Whisper-Large-V3-Turbo	Clean WER / Base-Adv WER	16.9 / 158.6	12.6 / 75.8	12.9 / 45.3	12.7 / 19.3	-56.5%
阿拉伯语 (AR)
Whisper-Medium	Clean WER / Base-Adv WER	38.4 / 164.2	24.7 / 110.0	28.1 / 58.4	26.2 / 36.5	-73.5%
Wav2Vec2-Large-XLSR	Clean WER / Base-Adv WER	35.0 / 124.9	22.9 / 105.1	28.2 / 48.5	26.4 / 36.8	-68.3%
MMS-1B	Clean WER / Base-Adv WER	34.1 / 136.4	24.7 / 97.3	31.0 / 50.9	28.5 / 38.9	-58.4%
Whisper-Large-V3-Turbo	Clean WER / Base-Adv WER	37.2 / 158.4	24.9 / 106.1	28.8 / 52.6	26.3 / 38.0	-68.1%
全模型与语种平均	Clean WER / Base-Adv WER	23.7 / 135.9	16.4 / 92.6	20.3 / 42.8	18.9 / 27.8	-64.8%

消融实验¶

为严格解耦 TransferBreaker 各核心机制的作用，作者在波兰语与葡萄牙语上针对基模型对抗、自适应替代攻击（Surrogate-Adv）以及隐空间雅可比正则化（LJR）进行了专项消融验证（指标为 WER %）：

骨干模型与评测场景	Base-AFT (单模块)	Base + Std-AFT (双模块组合)	TransferBreaker (完整模型)	机制增益说明
波兰语 (Whisper-Medium)
- 干净输入 (Clean WER)	11.0	13.1	12.0	兼顾准确率与鲁棒性
- 基模型攻击 (Base-Adv WER)	22.4	30.2	24.2	Base-AFT 防守基模型最专一
- 自适应替代攻击 (Surrogate-Adv WER)	57.6	46.8	44.1	HybridGrad-AFT 显著阻断替代迁移 (-13.5)
波兰语 (Wav2Vec2-Large-XLSR)
- 干净输入 (Clean WER)	15.9	16.7	16.8	波动在可控范围内
- 基模型攻击 (Base-Adv WER)	24.0	28.9	24.8	优于标准微调组合
- 自适应替代攻击 (Surrogate-Adv WER)	54.2	44.7	40.7	替代模型攻击 WER 压低 13.5 个百分点
葡萄牙语 (MMS-1B)
- 干净输入 (Clean WER)	16.2	17.5	16.4	保持低词错误率底色
- 基模型攻击 (Base-Adv WER)	22.2	28.8	23.1	保持稳健抑制力
- 自适应替代攻击 (Surrogate-Adv WER)	60.3	43.7	42.8	面对完全防御感知的替代者展现强韧性

在隐空间雅可比正则化（LJR）的单独消融中（表 3 与表 5），移除 LJR 后全模型在波兰语 Whisper-Medium 上的 Base-Adv WER 从 24.2% 退化至 28.4%；在雅可比灵敏度实测中，LJR 将 $\mathbb{E}[\|J_{h_t}(x)\delta\|_2^2]$ 从 438,244 剧烈压缩至 147,456（降幅达 66.4%），Wav2Vec2 上更是从 5,041 骤降至 529，充分证实了该正则项在平滑流形层面的物理实效。

关键发现¶

迁移攻击具有普遍毁灭性：在所有语言和架构上，基础模型对抗样本均能轻易穿透私有黑盒防线，未经防御的微调模型平均 WER 攀升至 92.6%，部分配置下甚至因大量插入/删除错误突破 100%（如葡萄牙语 Wav2Vec2 达 109.9%）。
Base-AFT 优于 Std-AFT 的机制解析：在直接面对 Base-Adv 时，Base-AFT 的表现全面碾压 Std-AFT（例如在波兰语 Whisper-Medium 上，Base-AFT 的 WER 为 22.4%，而 Std-AFT 仅能防至 44.0%）。这证明针对黑盒迁移威胁，将对抗预算集中在攻击者唯一能够构建的子空间比漫无边际地防御全空间更具效力。
防御协同的互补权衡：纯 Base-AFT 在遭遇防御感知型替代攻击时会出现防御盲区（Surrogate-Adv WER 接近 60%）；HybridGrad-AFT 成功填补了这一短板，以略微牺牲少许 Base-Adv 纯度的代价，将自适应替代攻击大幅削弱至 40% 左右，而 LJR 则在此基础上部分补偿了基模型防御的损失，达成帕累托最优平衡。

亮点与洞察¶

颠覆了微调黑盒安全假设：清晰指出了开源基础模型生态下“私有微调+黑盒部署即安全”的虚假安全感，通过严密的理论建模与横跨 1,000 小时微调规模的实证，确立了基础模型向微调模型对抗迁移性这一关键安全威胁。
诱导偏置驱动的子空间对抗训练：突破了以往盲目照搬图像分类领域白盒对抗训练的教条，巧妙利用攻击者信息不对称的先验，用单侧固定的基模型替代动态最坏情况搜索，兼顾了低训练开销与超高防御精度。
冻结基模型锚定正则化（LJ-Regularization）：在避免 Siamese 网络常见表征坍塌的同时，构建了连接隐层位移与定向雅可比矩阵范数的理论桥梁，为复杂序列模型的表征平滑提供了无需昂贵二阶导数计算的高效实现路径。

局限与展望¶

作者承认的局限：模型引入对抗样本生成与双路前向计算，增加了约 2 至 3 倍的微调训练计算开销；且在极其低资源的方言或跨域极端分布漂移下，基模型本身的表征质量可能制约防御锚点的效能。
延伸发现的局限：当前的威胁模型集中在非目标攻击（Untargeted Attack）上，虽然在 ASR 破坏场景中已足够危险，但对特定恶意指令注入（Targeted Attack）的跨模型迁移与防御机制尚未完全展开深入讨论。
未来改进方向：可进一步探索参数高效微调（PEFT / LoRA）条件下的 TransferBreaker 简化版本，降低梯度回传与前向缓存的显存开销，并拓展到语音大模型端到端语音问答（Speech-LLM）系统。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统揭示并理论形式化公开 ASR 底座对私有微调模型的对抗迁移漏洞，提出的三位一体防御体系极具针对性与启发意义。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 种主流 ASR 架构、多语系数据集、跨越 1,000 小时微调规模，且包含了严苛的防御感知自适应黑盒替代攻击评测与雅可比敏感度数值量化。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨，从动机、理论推导、几何表征分解到算法伪代码环环相扣，图表详实且极富解释力。
价值: ⭐⭐⭐⭐⭐ 对当今依赖开源语音基础模型构建企业级私有 ASR 服务的安全防护具有直接且重大的工程落地与理论指导价值。