Enhancing Speech Large Language Models through Reinforced Behavior Alignment¶

会议: NeurIPS 2026
arXiv: 2509.03526
领域: 语音与音频
关键词: 语音大语言模型、强化行为对齐、跨声学不变性、CA-GRPO、非流利鲁棒性

一句话总结¶

VIRBA 针对语音大语言模型在不同说话人、口音和非流利扰动下决策漂移的问题，构建同语义多视图语音指令组，融合规则验证、声学不变性与自适应推理等多维奖励，并通过跨声学组相对策略优化（CA-GRPO）实现了鲁棒的端到端行为对齐。

研究背景与动机¶

近年来，语音大语言模型（SpeechLM）通过连接语音编码器、音频分词器或端到端架构，将大语言模型的理解与生成能力扩展到了口语交互场景。然而，现有 SpeechLM 与以转录文本作为提示的文本 LLM 之间仍然存在显著的能力鸿沟：即便模型能够完全正确地转录用户的语音输入，其给出的回答在指令遵循、事实正确性、推理深度以及安全性上仍明显落后于纯文本大模型。传统观点往往将这一差距归咎于语音特征与文本 Token 之间的模态表征失配或自动语音识别（ASR）误差，进而试图仅依靠扩大配对数据规模或改进前端音频编码器来解决。

然而，口语交互的本质远非“文本加上声学噪声”。在真实的口语对话中，同一个语义意图可以由不同的说话人表达，伴随多样的口音、语速、情感语调、房间混响、背景噪声，以及停顿、语气词（fillers）、重复、假起始（false starts）和自我修正等自然口语非流利（disfluency）特征。实证基准（如 DOWIS、VocalBench-DF）表明，现有模型极易受到声学表象扰动的干扰——面对同一问题的不同朗读版本，模型往往会诱导出截然不同的回答策略，甚至在遇到轻微口吃或背景杂音时彻底丧失推理能力。现有的监督微调（SFT）和直接偏好优化（DPO）通常将单个音频-响应样本孤立处理，本质上是在做教师模仿，无法显式约束跨声学视角的决策一致性，也难以诱导可验证的复杂推理策略。

本文的切入角度是：将语音大模型的对齐目标从“单样本教师模仿”重塑为“跨声学视角的策略不变性优化”。模型对于语义相同但声学实现各异的口语请求，应当保持一致、正确且精炼的响应策略。核心 idea：构建多视图语音指令组，设计融合教师偏好、规则可验证性、跨声学语义一致性与自适应推理的四维混合奖励，并提出跨声学组相对策略优化（CA-GRPO），在全组响应分布上强化跨声学不变的鲁棒推理策略。

方法详解¶

整体框架¶

VIRBA 是一个面向语音原生行为对齐的强化学习框架。整个流水线包含四个主要阶段：首先，利用强文本大语言模型（如 Llama-3.1-70B-Instruct）合成多样化的种子指令和参考回复；其次，利用前沿语音合成与声学增强技术，将每条语义指令扩展为涵盖说话人、口音、噪声与非流利特征的多视图语音指令组；接着，被优化的 SpeechLM 对各个声学视图分别采样多条候选回复；最后，通过组合偏好、规则验证、跨声学不变性及自适应思考的多维奖励函数评估候选回复，并在跨声学组相对策略优化（CA-GRPO）目标下更新模型参数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["语义指令与参考答案<br/>文本提示 q_i 与教师响应 y_i*"] --> B["多视图语音生成<br/>合成说话人/口音/噪声/非流利视图"]
    B --> C["SpeechLM 响应采样<br/>对各声学视图分别采样 N 条回复"]
    C --> D["四维混合奖励建模<br/>偏好 + 规则验证 + 不变性 + 自适应推理"]
    D --> E["跨声学组相对策略优化<br/>组内优势归一化与裁剪重要性更新"]
    E --> F["对齐后 SpeechLM 策略<br/>跨声学鲁棒且具备可验证推理能力"]

关键设计¶

1. 多视图语音生成：打破单一样本模仿的声学敏感瓶颈 针对以往数据微调将单条音频孤立看待、模型容易记住声学毛刺并产生策略漂移的问题，VIRBA 将优化单元从单个“音频-回复对”提升为“语义指令组”。对于任意语义指令 $q_i$，系统不仅合成标准播音音色的音频，还生成 $K=4$ 个主声学视图 $\mathcal{A}_i = \{x_i^{(1)}, \dots, x_i^{(K)}\}$，系统性引入说话人音色、区域口音、韵律语速、房间脉冲混响、背景噪声以及真实的口语非流利模式（包括语气词“um/like”、重复词、假起始和自发修正）。此外，数据集中还混入来自真实人类录音与 DOWIS/VocalBench-DF 风格的鲁棒子集。这种构建方式迫使模型在探索时感知到：无论表面声学特征如何变化，其底层的语义目标完全等价，为后续的不变性正则与组优化提供了结构化土壤。

2. 四维混合奖励建模：兼顾偏好表达、规则正确性与跨声学一致性 为了避免单一奖励模型导致的过度冗长、幻觉或脆弱性，VIRBA 设计了覆盖不同失效模式的复合奖励函数： $$R = \alpha R_{\mathrm{pref}} + \gamma R_{\mathrm{ver}} + \eta R_{\mathrm{inv}} + \rho R_{\mathrm{think}}$$ 其中，偏好奖励 $R_{\mathrm{pref}}$ 采用控制长度的 LLM 评审机制，以教师回复为基准评估开放域回答的实用性与连贯性；可验证奖励 $R_{\mathrm{ver}}$ 针对短问答采用正则化精确匹配与 F1 分数、多选题检查标签一致性、遵循类指令运行解析器、翻译任务结合 BLEU/COMET，提供硬性锚点以抑制幻觉；声学不变性奖励 $R_{\mathrm{inv}}$ 计算同一语义指令下不同声学视图生成的响应之间的成对语义相似度，惩罚因口音或填充词诱发的观点飘移；自适应推理奖励 $R_{\mathrm{think}}$ 则根据任务难度自适应引导思考过程，仅在推理确实提升最终正确率时给予正向激励，防止模型在简单日常问答中陷入冗长“过度思考”。

3. 跨声学组相对策略优化：在全组响应分布上强化鲁棒策略 传统的成对 DPO 基线通常仅在多视图候选池中挑选一个最优解和一个最差解做相对优化，这会丢弃大量有价值的中间候选样本。VIRBA 提出的 CA-GRPO 将每个语义指令的所有声学视图 $k \in \{1,\dots,K\}$ 及每个视图下采样的 $N$ 个回复统一构成候选组 $G_i = \{(k,n)\}$。计算该语义组内部的奖励均值 $\bar{R}_i$ 与标准差 $\sigma_i$，由此得到样本优势函数： $$A_{i,k,n} = \frac{R_{i,k,n} - \bar{R}_i}{\sigma_i + \epsilon}$$ 该优势度量直接反映了候选响应在面对特定声学输入时，相对于整个语义组平均水平的相对优劣。CA-GRPO 的目标函数结合了 PPO 式的重要性采样权重裁剪与参考模型的 KL 散度约束： $$\mathcal{L}_{\mathrm{CA}} = -\mathbb{E}_{i,k,n}\left[\min\left(r_{i,k,n}A_{i,k,n},\ \operatorname{clip}(r_{i,k,n}, 1-\epsilon_c, 1+\epsilon_c)A_{i,k,n}\right)\right] + \beta_{\mathrm{KL}} D_{\mathrm{KL}}(\pi_\theta \parallel \pi_{\mathrm{ref}})$$ 其中 $r_{i,k,n} = \frac{\pi_\theta(y_{i,k,n}|x_i^{(k)})}{\pi_{\mathrm{old}}(y_{i,k,n}|x_i^{(k)})}$。同时在训练初期混入多视图监督预热损失 $\mathcal{L}_{\mathrm{CE}} = -\frac{1}{K}\sum_{k=1}^K \sum_t \log p_\theta(y_{i,t}^\star|x_i^{(k)}, y_{i,<t}^\star)$ 以防止冷启动崩溃。

一个完整示例¶

考虑一个带有典型口语非流利现象的用户请求：“um, can you give, like, an ethical solution to data privacy, but keep it practical?” - 多视图生成：系统为该指令生成 4 个声学版本：$x_1$（清晰普通话 TTS 语速）、$x_2$（轻微口音加速版）、$x_3$（办公室咖啡厅背景嘈杂音版）、$x_4$（保留原文所有语气词“um/like”及停顿的非流利版）。 - 模型采样：SpeechLM 对每个视图采样 $N=4$ 条候选回答，全组共产生 16 条候选回复。 - 综合打分： - 基线 SpeechLM 在面对非流利视图 $x_4$ 时，受语气词干扰往往只给出泛泛而谈的免责声明或用户协议建议，未落实“实用且合规”的要求； - 某些候选回复给出了过度冗长的通用理论推演，受到 $R_{\mathrm{think}}$ 的长度抑制； - VIRBA 选出的优质回答明确提出了数据最小化、目的限制、细粒度访问日志以及差分隐私聚合分析，且解释了具体实施的可审计性； - $R_{\mathrm{inv}}$ 检测到清晰视图 $x_1$ 与嘈杂/非流利视图 $x_4$ 的策略高度一致，赋予高不变性得分； - 组优化更新：CA-GRPO 将这 16 条回复放入同一组内进行归一化优势计算，大幅提升了那些在所有声学干扰下均保持逻辑严密与事实正确的响应生成概率。

损失函数 / 训练策略¶

训练过程采用两阶段机制： 1. SFT 预热阶段：使用教师高质量回复在多视图音频上进行 3,000 步交叉熵预热，优化器采用 AdamW，全局批大小为 512，最大学习率为 $1 \times 10^{-4}$，配合余弦学习率衰减。 2. CA-GRPO 强化对齐阶段：每个指令设置 $K=4$ 个声学视图，每视图采样 $N=4$ 个响应，AdamW 学习率为 $5 \times 10^{-6}$，裁剪阈值 $\epsilon_c = 0.2$，KL 正则系数 $\beta_{\mathrm{KL}} = 0.05$，监督损失混合系数 $\lambda = 0.2$。初始奖励权重设置为 $\alpha=0.35$（偏好）、$\gamma=0.30$（验证）、$\eta=0.25$（不变性）、$\rho=0.10$（推理），并在验证集上根据具体任务微调。

实验关键数据¶

主实验¶

论文在指令遵循、声学鲁棒性、口语问答及音频推理等多个基准上评测了 VIRBA。下表展示了指令遵循与鲁棒性上的核心主实验结果（以 Qwen2-Audio 与 Qwen2.5-Omni 为主干）：

模型	Alpaca LC (%)	Speech IFEval (%)	DOWIS LC (%)	Disfluency LC (%)	Consistency (%)
Qwen2-Audio (base)	50.0	38.5	42.1	35.4	82.6
GLM-4-Voice	64.2	52.3	56.1	50.6	91.2
Qwen2.5-Omni	71.8	60.7	63.0	57.4	94.1
Kimi-Audio	70.1	59.4	61.5	56.8	93.8
Audio Flamingo 3 (AF3)	68.5	57.8	60.2	55.6	93.1
Step-Audio-R1	72.4	62.1	64.8	58.0	94.6
TTS-SFT (Qwen2-Audio)	63.0	44.7	47.6	41.8	89.3
Group-DPO (Qwen2-Audio)	66.5	50.2	54.0	48.8	94.5
Single-view RL (Qwen2-Audio)	69.7	55.8	57.3	50.4	91.7
VIRBA (Qwen2-Audio)	76.2	64.5	66.8	61.7	96.2
VIRBA (Qwen2.5-Omni)	79.4	68.2	70.1	65.0	96.9

下表汇报了口语问答与音频推理任务的实验结果（准确率或归一化得分）：

模型	WebQuestions	TriviaQA	SpeechR (MC)	SpeechR (Gen)	SoundMind	MMAR
Qwen2-Audio (base)	10.1	19.7	45.8	39.0	41.2	31.4
GLM-4-Voice	32.2	39.1	51.0	44.2	46.5	34.8
Qwen2.5-Omni	38.6	50.4	57.4	50.1	54.8	38.9
Kimi-Audio	43.2	57.4	61.8	55.0	59.3	45.2
Audio Flamingo 3	42.8	56.2	64.2	58.0	62.8	50.5
Step-Audio-R1	44.5	58.0	70.5	64.2	69.8	56.4
Single-view RL	40.7	55.1	52.7	46.2	48.9	36.0
VIRBA (Qwen2-Audio)	47.9	61.8	62.8	56.9	60.6	42.7
VIRBA (Qwen2.5-Omni)	51.3	65.2	67.4	61.3	65.5	49.8

消融实验¶

在 Qwen2-Audio 主干上对核心模块进行的消融分析如下：

配置变体	IF (Alpaca LC)	SpeechR	MMAR	DOWIS	Robust (Disfl.)	Consistency	说明
完整 VIRBA	76.2	62.8	42.7	66.8	61.7	0.962	完整模型表现最优
去掉可验证奖励 ($R_{\mathrm{ver}}$)	72.4	56.6	37.9	64.0	58.6	0.956	推理与问答大幅掉点（SpeechR -6.2）
去掉不变性奖励 ($R_{\mathrm{inv}}$)	71.8	59.1	40.2	58.3	52.9	0.913	鲁棒性与一致性暴跌（DOWIS -8.5, 一致性 -0.049）
去掉自适应推理奖励 ($R_{\mathrm{think}}$)	74.1	57.8	38.6	65.4	60.1	0.958	复杂逻辑推理受损，简单问答略冗长
去掉鲁棒语音视图 (无扰动/非流利)	72.0	59.3	40.0	57.6	47.5	0.934	非流利评测掉点最严重（Robust -14.2）
替换为成对 DPO 更新	70.9	55.2	36.8	56.1	50.7	0.901	丢弃组分布导致全指标显著下降
仅纯净 TTS 合成数据	72.0	54.3	35.9	54.8	47.5	0.934	缺乏声学多样性导致域外泛化严重恶化

关键发现¶

不变性奖励与鲁棒视图是抗干扰核心：去掉不变性奖励使 DOWIS 胜率从 66.8% 跌落至 58.3%，非流利胜率跌落至 52.9%；去掉鲁棒语音视图更是让非流利鲁棒性暴跌 14.2 个百分点，证实了单纯暴露于语音环境并不足以学会稳定决策，必须依赖多视图不变性信号强制对齐。
可验证奖励直接锚定推理能力：去掉可验证奖励导致 SpeechR 从 62.8% 下滑至 56.6%，MMAR 从 42.7% 下降至 37.9%，表明规则可验证机制有效遏制了仅凭大模型评审引发的幻觉与空洞表达。
组级优势优化显著优于成对筛选：成对 DPO 只能从 $K \times N$ 个候选中挑出一对优劣样本，而 CA-GRPO 在全组样本构成的分布上进行归一化打分，充分利用了组内丰富的中间状态梯度，使 Alpaca 胜率提升 5.3%，Consistency 从 0.901 提升至 0.962。
级联对照与延迟优势：在干净语音下，Whisper + Llama-3.1-70B 级联系统可取得 77.0% LC，但端到端延迟高达 4.8 秒；而在遇到非流利语音时，级联系统因 ASR 错转或标点误断胜率骤降至 54.6%。VIRBA 端到端系统仅需 1.8 秒延迟，在非流利输入下胜率达到 61.7%，兼具高鲁棒性与高响应速度。

亮点与洞察¶

将对齐单元从“样本对”提升为“语义组”：传统多模态对齐通常假设单条语音对应单条文本回复，VIRBA 首次在语音 LLM 中引入语义组概念，将同一语义下跨说话人、口音和非流利的声学变异结构化为对齐监督信号。
四维奖励协同互补消除了奖励黑客：将教师开放偏好、确定性规则验证、跨视图一致性及自适应推理深度有机结合，既通过长度控制与规则验证杜绝了“以长取胜”的作弊行为，又通过不变性惩罚防止了声学特征诱导的输出漂移。
广阔的多模态泛化潜力：这种“同义异构多视图组强化”范式不仅适用于语音领域，未来也可自然迁移至视频理解（跨相机视角、遮挡扰动）及具身智能交互中，具有极佳的方法复用价值。

局限与展望¶

极端低资源与小众口音覆盖有限：训练依赖开源 TTS 工具（CosyVoice、Qwen3-TTS）与有限的数据增强，对重度方言口音、病理性发音以及高频语码混合（code-switching）场景的鲁棒性仍有提升空间。
推理奖励设计依赖启发式权衡：虽然自适应思考奖励改善了过度思考问题，但任务难度划分与奖励权重的自适应调节仍依赖离线验证集调优，尚未实现端到端全自动动态配权。
未来方向：探索在更大规模真实人际对话数据集上无监督挖掘声学变异，并将 CA-GRPO 拓展至全双工双向实时语音交谈模型的流式输出对齐。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出面向语音大模型跨声学不变性的强化对齐框架，将多视图声学组与 GRPO 深度结合。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖指令遵循、DOWIS 真实语音、非流利扰动、事实 QA、音频推理、翻译以及级联控制实验，消融设计严密。
写作质量: ⭐⭐⭐⭐⭐ 问题定义直击痛点，数学形式化清晰，实验分析逻辑闭环。
价值: ⭐⭐⭐⭐⭐ 为端到端语音助手摆脱“文本加噪声”浅层建模、迈向真正鲁棒的口语推理智能体提供了标准范式。