CS-Dialogue: 基于104小时中英自发对话的语码转换语音识别数据集¶

会议: NeurIPS 2026
arXiv: 2502.18913
论文: https://arxiv.org/abs/2502.18913
领域: 语音与音频
关键词: 语码转换、自动语音识别、自发对话数据集、多语言语音建模、基准评测

一句话总结¶

针对现有中英语码转换数据集多为朗读语音、孤立语句且规模受限的痛点，本文提出了首个包含104小时完整双人自然对话录音与精细转录的大规模开源中英语码转换语音识别数据集 CS-Dialogue，并建立了涵盖经典模型与大模型的多范式评测基准。

研究背景与动机¶

语码转换（Code-Switching, CS）是指说话人在同一次对话或同一句话中交替使用两种或多种语言的语言学现象，广泛存在于多语言社群的日常交流中。对于自动语音识别（ASR）系统而言，语码转换带来了极具挑战的声学与语言学建模难题：模型不仅需要在共享声学空间内处理不同语言音素系统之间的剧烈声学过渡，还必须在缺乏显式语言边界标签的情况下，捕捉词内或句内跨语种语法和词汇交替规律。然而，传统主流 ASR 模型大多基于单语料库训练，在面对真实语码转换场景时，往往因声学特征突变与语言模型混淆而导致严重的错误率飙升。

尽管学术界与工业界对中英混合 ASR 的需求日益迫切，现有的开源语音资源却难以支撑真实自然对话场景下的模型训练与评测。现存的大多数中英语码转换语料库存在显著局限：其一，CECOS、OC16-CE80 和 DOTA-ME-CS 等早期与近期数据集主要基于预设文本的朗读语音（Read Speech），缺乏口语对话中的停顿、重叠、修正与自然语流；其二，像 TALCS 这样的大规模公开数据集（587小时）局限于在线教学垂直场景，语法结构与词汇受限，无法反映日常口语特征；其三，为数不多的自发对话数据集要么收费昂贵（如 SEAME）、要么规模极小（如 ASCEND 仅10.6小时）、要么仅提供孤立语句切片而非完整对话录音，割裂了跨轮次对话上下文与长程声学一致性。

这种数据困境导致学术界难以全面评估大模型在真实多轮双语对话中的声学感知与语言建模能力。为此，南开大学与北京智源人工智能研究院联合构建了 CS-Dialogue 数据集。核心 idea：构建包含 104 小时、200 名发音人、100 场全长自发对话的高质量开源中英语码转换语音数据集，制定递进式双语采集与保留声学原貌的精细转录协议，并建立涵盖从头训练模型、预训练大模型及微调适配的多范式 ASR 评测基准。

方法详解¶

整体框架¶

CS-Dialogue 的构建围绕“自发真实感保证”、“全长对话采集”与“高保真精细标注”三大核心原则展开。整个数据集工程管线涵盖发音人招募与审计、多主题引导的配对连续对话录音、严格的逐字核对与非词汇声学事件标注，以及基于严格说话人独立划分（Speaker-Independent Split）的基准模型评测。

下图展示了 CS-Dialogue 从数据采集、规范化标注、数据集切分到多范式 ASR 基准评测的完整流程：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["双人配对发音人<br/>200名高水平中英双语者"] --> B["递进式多轮对话采集<br/>中文8min → 混讲6min → 英文6min"]
    B --> C["高保真转录与非词汇标注<br/>逐字核对 + 5类非言语标签 + 质检复审"]
    C --> D["说话人独立数据切分<br/>Train: 140人 / Dev: 30人 / Test: 30人"]
    D --> E["多范式ASR基准评测<br/>从头训练 / 零样本基线 / 领域自适应微调"]

关键设计¶

1. 递进式多轮对话采集：兼顾自发交流真实感与语码转换密度 在自发口语采集过程中，如果完全不设限制，双语者可能会因为表达惯性长期停留在单一母语或某一优势语言中，导致语码转换发生率偏低；若施加过多硬性提示，则会破坏对话的流畅度与口语自发性。为了在保证高密度混讲的同时维持交流的自然感，研究团队设计了结构化的双人会话流程：每组对话由两名具备良好英语能力（要求雅思6分或专业四级TEM-4以上水平，并通过发音与流利度面试）的本国母语者在安静环境下使用智能手机独立录制单声道音频（16 kHz、16-bit PCM WAV）。对话围绕7大日常领域（个人经历、娱乐、科技、教育、工作、哲学、体育）展开，每场对话时长约20分钟，按“8分钟中文 → 6分钟语码转换 → 6分钟纯英文”递进推进。计时员与观察员在场外进行轻量时间把控与合规记录，但不干预自然停顿和观点交锋，使得数据集最终沉淀出高度真实的句内及子句边界语码转换模式（如“YOU KNOW 就”、“PLAY 麻将”等自然语块）。

2. 高保真转录与非词汇标注：精确保留口语语音现象与非言语声学事件 自发语音中充斥着口误、回改、重复、缩读以及各种非言语生理噪声，若简单清洗或修剪，将导致 ASR 模型在实际部署时对真实口语模式产生脆弱性。CS-Dialogue 制定了严格的转录协议：第一，坚持逐字精确对应（Word Count Fidelity），严禁转录员为主观通顺而增删字词；第二，对重复（如“放放假”）和破音不完整音节采用同音字原样记录（如“fu-fang4-jia4”记为“夫放假”），对数字按上下文发音转化为对应中文字符（如“七幺幺”）或英文词汇（如“Seven Eleven”）；第三，不纠正发音人的地方口音变体（如平翘舌不分、前后鼻音混淆、/f/ 与 /h/ 替换），完全忠于实际声学发音；第四，引入 5 类标准化非词汇事件标记：难以辨识语音（**）、犹豫填充词（<FIL/>）、说话人身体噪声（<SPK/>，含咳嗽、清嗓、笑声）、非语音环境噪声（<NON/>，如关门、敲击）以及非目标发音人杂音（<NPS/>）。所有标注结果由独立的专业质检团队进行多轮多盲复核，保障标注的一致性与声学对应精度。

3. 说话人独立划分与多范式评测：构建严谨可复现的语码转换基准 为了杜绝数据泄漏并客观评估 ASR 模型面对未知说话人时的跨音色、跨口音泛化能力，数据集严格执行说话人独立划分（Speaker-Independent Split）：训练集包含 140 位说话人（68.97 小时，26,428 条语音）、验证集包含 30 位说话人（18.30 小时，6,196 条语音）、测试集包含 30 位说话人（16.74 小时，6,293 条语音）。在评测指标上，采纳工业界与学术界标准的混合错误率（Mixed Error Rate, MER）作为主评测指标，将中文按字错误率（CER）、英文按词错误率（WER）统合计算编辑距离： $$MER = \frac{S + D + I}{N_{\text{total}}} \times 100\%$$ 其中 $S, D, I$ 分别表示整体替换、删除与插入操作次数，$N_{\text{total}}$ 为参考文本中的总字/词数。研究团队构建了三重评测基准：基于 WeNet 的自研从头训练基线（Transformer、Branchformer、Conformer）、工业级与开源预训练大模型零样本评测（Whisper Large-V2、Qwen2-Audio、Paraformer、SenseVoice-Small），以及针对 Whisper 不同尺寸模型在训练集上的全量有监督微调基准，从而全方位揭示当前语音模型在真实自发混讲任务中的瓶颈。

一个完整示例¶

以一段典型教育（Education）主题的双人对话切片为例： 1. 音频录制：两位说话人就毕业论文选题展开自然讨论，智能手机麦克风采集到持续 10.6 秒的 16 kHz 单声道音频片段。 2. 规范化转录与非词汇标签注入：发音人说出包含专有名词混讲的句子，转录人员结合声学细节输出严格对齐文本： "那是你们这个 group 自己去想一个 topic 呢，还是这个 professor 会提供一些他的 project 来支撑你们的毕业论文" 3. ASR 识别与解码对比： - 零样本通用模型（如未微调的 Whisper）在此类片段中容易发生语言偏置漂移，偶发性地将中文子句翻译成英文，导致词错误率激增； - 经过 CS-Dialogue 微调后的模型或引入注意力度量重打分（Attention Rescoring）的 Conformer，则能准确识别英文专有名词与中文虚词间的切换边界，输出正确的混合文本。

损失函数 / 训练策略¶

对于从头训练的端到端 ASR 模型（Transformer、Branchformer、Conformer），训练采用 CTC（Connectionist Temporal Classification）与 AED（Attention-based Encoder-Decoder）联合多任务学习目标： $$\mathcal{L}_{\text{total}} = \alpha \mathcal{L}_{\text{CTC}} + (1 - \alpha) \mathcal{L}_{\text{AED}}$$ 实验基于开源 WeNet 工具包构建，采用动态 Batch 策略，初始学习率设为 $1.00 \times 10^{-3}$，在 4 块 NVIDIA GTX 3090 GPU 上训练 150 个 Epoch。解码阶段系统评测了贪心搜索（Greedy）、CTC 束搜索（Beam Search）、纯注意力解码（Attention Decoding）以及 CTC 粗筛后利用 AED 解码器打分的重评分机制（Attention Rescoring）。

对于 Whisper 模型（Tiny、Base、Small、Medium）的微调，采用最大 60,000 帧的动态批次（相当于 Batch Size 16），学习率设为 $1.00 \times 10^{-5}$，微调训练 20 个 Epoch。

实验关键数据¶

主实验¶

论文评测了从头训练模型在测试集上的表现，并对多种解码策略进行了横向对比。

模型	参数量	解码方式	CER (%)	WER (%)	MER (%)
Transformer	29M	Greedy	22.56	45.34	27.21
Transformer	29M	Beam Search	22.24	45.19	27.01
Transformer	29M	Attention Rescoring	21.60	43.44	26.06
Branchformer	29M	Greedy	18.86	39.16	23.01
Branchformer	29M	Beam Search	18.78	39.20	22.95
Branchformer	29M	Attention Rescoring	18.29	37.55	22.23
Conformer	31M	Greedy	15.91	33.67	19.54
Conformer	31M	Beam Search	15.88	33.60	19.50
Conformer	31M	Attention Rescoring	15.45	32.36	18.91

消融实验与分析¶

在预训练语音基础模型评测中，论文对比了各大开源模型在 CS-Dialogue 测试集上的零样本识别能力，并给出了替换（S）、删除（D）、插入（I）的具体错误分布。

模型	参数量	CER (%)	WER (%)	S (%)	D (%)	I (%)	整体 MER (%)
Whisper Large-V2	1,550M	10.70	31.11	6.00	7.60	1.69	15.29
Qwen2-Audio	8.2B	7.15	19.82	4.32	1.82	3.62	9.76
Paraformer	220M	3.70	32.02	6.30	0.98	2.37	9.65
SenseVoice-Small	234M	4.42	15.57	3.44	1.42	1.85	6.71

此外，论文进一步研究了 Whisper 系列在有监督微调前后的性能飞跃：

模型版本	参数量	零样本 CER (%)	零样本 WER (%)	零样本 MER (%)	微调后 CER (%)	微调后 WER (%)	微调后 MER (%)	MER 降幅
Whisper Tiny	38M	27.83	41.69	31.11	19.24	29.64	21.38	-9.73%
Whisper Base	74M	19.90	37.21	23.90	15.36	27.20	17.80	-6.10%
Whisper Small	244M	12.82	30.81	16.76	7.51	16.09	9.26	-7.50%
Whisper Medium	769M	11.34	32.57	15.88	6.12	13.02	7.53	-8.35%

关键发现¶

替换错误占据主导：无论是在从头训练模型还是在大型预训练模型中，替换错误（Substitution）都是 MER 的最核心来源。这说明在语码转换边界处，模型经常产生音近字替换或跨语言音素混淆。
预训练规模并不等于语码转换鲁棒性：Whisper Large-V2 拥有高达 1.55B 参数量并在 68 万小时多语言数据上训练，但在测试集上的零样本 MER 高达 15.29%（WER 达到 31.11%），甚至大幅落后于仅 234M 参数的 SenseVoice-Small（6.71%）。质性分析发现，Whisper 偶尔会将输入的中文或混合语音自动翻译成纯英文（S2TT 误触发），造成严重的删除与替换误差。
领域与主题难度差异显著：在对话主题分析中，“体育”（Sports）与“哲学”（Philosophy）主题的 MER 普遍最高，主要原因在于包含大量不规则生僻英文专有名词与长句复杂思辨（哲学类平均句长达 12.95 秒）；而“工作”（Job）与“科技”（Technology）主题词汇规律度高，各模型的识别错误率相对较低。
专用数据集微调收益巨大：在 CS-Dialogue 上仅微调 20 轮，Whisper Medium 的 MER 便从 15.88% 骤降至 7.53%（相对改善超过 52%），证明了高质量自发语码转换对话数据在模型领域适配中的不可替代性。

亮点与洞察¶

填补开源自发全长对话空白：此前开源界缺乏超过百小时、具备完整连续多轮对话与说话人独立划分的中英混讲语料，CS-Dialogue 为研究语境相关的多轮 ASR 与语码转换建模提供了权威新基准。
揭示了多任务语音大模型的意图漂移问题：论文发现了 Whisper 等大模型在混讲场景下将 ASR 转录误作为语音翻译（S2TT）的系统性缺陷，为多任务语音大模型的解码约束与指令对齐提供了重要警示。
轻量非自回归模型的优异表现：SenseVoice-Small 和 Paraformer 在极低参数量下表现出极具竞争力的 CER 与 MER，证实了针对中英双语优化的声学建模架构在自发口语混合场景中的实际工程价值。

局限与展望¶

语种组合单一：当前数据集仅覆盖中文普通话与英语的双语混讲，尚未包含中文方言（如粤语、四川话）或其它亚洲语言与英语的混合。
发音人背景同质性：受试者全为以中文为母语的高水平双语者，缺乏以英语为母语、中文为第二语言的发音人样本，无法反映母语迁移方向相反时的发音特征。
声学环境相对受控：录音均在相对安静的环境下通过近场智能手机采集，未引入复杂车载噪声、远场混响或多人重叠打断（Overlap Speech）等更恶劣的真实声学挑战。

评分¶

新颖性: ⭐⭐⭐⭐☆ [构建了首个百小时级开源全长中英自发对话语码转换数据集，标注规范详实]
实验充分度: ⭐⭐⭐⭐⭐ [评测涵盖从头训练模型、四大主流预训练大模型及跨尺度 Whisper 微调与主题难度剖析]
写作质量: ⭐⭐⭐⭐⭐ [逻辑架构清晰，数据统计指标全面，实验对比与质性案例深入]
价值: ⭐⭐⭐⭐⭐ [为学术界与工业界解决自发语码转换 ASR 难题提供了极其宝贵的公开基准与训练资源]