CS-Dialogue: A 104-Hour Dataset of Spontaneous Mandarin-English Code-Switching Dialogues for Speech Recognition¶

会议: NeurIPS 2026
arXiv: 2502.18913
OpenReview: https://openreview.net/forum?id=S7MdGXCTY0
领域: 音频/语音
关键词: 语音识别, 代码倒换, 混合语对话, 自发性语音, 语音数据集

一句话总结¶

提出了首个开源且包含完整对话转录的 104 小时大规模自发性中英代码倒换语音识别数据集 CS-Dialogue，并系统建立了涵盖从头训练模型与主流预训练语音大模型的评测基准。

研究背景与动机¶

代码倒换（Code-Switching, CS）是指说话人在同一次对话或同一单句表达中交替使用两种或两种以上语言的普遍语言学现象。随着全球化跨文化交流的普及，中英文夹杂的表达在多语社区、技术讨论和日常交流中无处不在。然而，现有的自动语音识别（ASR）系统多基于单语数据开发，在面对混合语言时暴露出严重的声学与语言学错配：不同语言音素库的切换过渡难以平滑建模、跨语言句法结构差异显著，且发音人常出现连读、弱读与混杂语速变化，导致传统 ASR 与通用语音模型在代码倒换场景下字错率与词错率陡增。

构建稳健代码倒换 ASR 模型的关键基础在于高质量的多语语音语料库，但现有公开资源面临严峻的规模、自发性与完整性瓶颈。早期的 CECOS、OC16-CE80 和 DOTA-ME-CS 等数据集主要依托预先设计的朗读文本录制，发音生硬刻板，无法反映现实日常对话中的非流利断句、犹豫停顿与动态语境；工业级教学语料 TALCS 规模虽大（587小时），但其在线课堂场景充斥专业教学词汇与固定互动套路，存在极强的领域偏差；而在自发性对话方面，知名语料 SEAME 需高昂商业付费且时长有限（30小时），Li et al. 数据集缺乏完整文字转录，而近期开源的 ASCEND 仅有 10.62 小时，难以支撑深度声学模型的充分收敛。更重要的是，几乎所有现有语料均被切分为孤立的短音频片段，缺乏连贯的全长对话上下文及其时间同步标注。

针对公开数据集中自发性对话稀缺、语料割裂以及缺乏全长转录的长期痛点，南开大学与北京智源人工智能研究院联合构建了 CS-Dialogue 数据集。核心 idea：通过标准化的受控多主题双人对话录音规程与严谨的人工保真转录规范，采集包含 200 名发音人、104 小时完整对话流的高质量自发性中英代码倒换语音语料，并在说话人无关划分下建立覆盖从头训练与大模型微调的系统化基准。

方法详解¶

整体框架¶

CS-Dialogue 数据集的构建与评测管线覆盖了从发音人遴选、录音流程设计、多维度标注质检，到标准化数据集划分与多模型基准评测的全流程。整个框架确保语料兼具真实交谈的自发性与声学工程的规范性。

在数据采集阶段，通过资质审核筛选出 200 位具备中英双语熟练表达能力的母语发音人，以成对对话形式录制；录音过程中设置了涵盖个人生活、娱乐、科技、教育、工作、哲学与体育等 7 大主题的时序引导协议。在标注阶段，团队制定了严格的逐字保真转录准则，完整保留不流利重复与方言口音，并引入专门符号细致标注文语无关的非词汇声学事件。最后，语料按照说话人严格独立（Speaker-Independent）原则划分为训练集、验证集与测试集，并在 WeNet 开源框架与多种预训练语音模型上建立统一的性能评测基准。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["发音人招募与审核<br/>200名双语流利母语者"] --> B["双人对话采集规程<br/>7大日常与专业主题引导"]
    B --> C["保真转录与非词汇标注<br/>逐字对齐+口音保留+声学事件"]
    C --> D["两级质检与规范化清洗<br/>阿拉伯数字转写与缩写规范"]
    D --> E["说话人无关数据集划分<br/>Train: 68.97h / Dev: 18.30h / Test: 16.74h"]
    E --> F["混合语 ASR 基准评测<br/>CTC-AED从头训练 + 预训练大模型对比"]

关键设计¶

1. 双人配对对话采集规程与受控多主题引导机制：破除朗读式与领域偏差束缚 针对朗读语音缺乏自然真实感以及现有对话语料主题受限的问题，CS-Dialogue 采用了配对录音与多层次引导机制。数据采集招募了 200 位具有高英语水平（如雅思 6 分以上或英语专业四级 TEM-4、有海外学习背景）的母语者，两人一组在安静环境下使用智能手机独立麦克风录制各自音频流（16 kHz、16-bit、单声道 PCM WAV）。为了在激发自然表达的同时确保语言切换密度的均衡，每个对话单元预设为约 20 分钟的主题讨论，由计时员进行温和时序提示，划分为三个语言阶段：中文单语讨论（约 8 分钟）、中英代码倒换自由交谈（约 6 分钟）和英文单语讨论（约 6 分钟）。全数据集覆盖了 7 个主题（个人话题、娱乐、科技、教育、工作、哲学与体育），各主题均有至少 15 对说话人深入交流。这种设计不仅打破了单一学科或教学场景的词汇限制，而且完整记录了长达 1.5 小时的整场全长录音，避免了人为预先剪切破坏对话上下文连贯性。

2. 多层次保真转录规范与非词汇声学事件精细标注：捕获口语化真实表达 为确保转录文本能够精确映射真实的声学发音而非书面规范，项目团队制定了一套涵盖发音变体与副语言信息的标注规程。首先，在字词层面严格遵守字数保真度，逐字记录口语表达，严禁为了文法通顺而擅自增删词汇；对明显的重复性不流利发音（如“放放假”）原样保留，对未完整发音音节采用同音字转写（如“夫放假”），并原样保留发音人的区域口音（如前后鼻音、平翘舌音、/h/ 与 /f/ 不分等），不予人为校正。对于缩写词，统一采用大写字母加空格分隔（如“I B M”），且少于等于 3 个字母的缩写在统计上归为中文句法上下文。其次，为了保留语音识别声学环境中的非语言信息，引入了 5 类专用声学标记：** 标识模糊无法辨识词，<FIL/> 标识由于犹豫产生的填充停顿（Filled Pauses），<SPK/> 标识吧唧嘴、大笑、咳嗽等说话人自身噪声，<NON/> 标识关门声、敲击声等非语音外部噪音，<NPS/> 标识来自现场第三方的非目标人员声响。全部标注经由独立的二级审核质检团队交叉复核，保证了文本与声学信号的毫秒级高精度对应。

3. 说话人无关基准划分与混合语统一评测体系：覆盖从头训练与大模型微调 针对混合语言语音识别中缺乏公平公正对比基线的问题，CS-Dialogue 建立了严格的说话人无关（Speaker-Independent）数据集切分与双轨基准体系。全量 104.02 小时（包含 100 场完整对话、200 轨原始音频、38,917 个语句）被严格划分为训练集（140 人，26,428 句，68.97 小时）、验证集（30 人，6,196 句，18.30 小时）和测试集（30 人，6,293 句，16.74 小时），杜绝说话人特征泄漏。评测体系采用混合错误率（Mixture Error Rate, MER）作为统一主要指标，将中文汉字与英文单词联合计算编辑距离：

\[ \text{MER} = \frac{S + D + I}{N} \times 100\% \]

其中 \(S\)、\(D\)、\(I\) 分别为替换、删除和插入错误数，\(N\) 为参考文本中的总 token 数（中文字符数加英文单词数）。此外，中文单独统计字符错误率（CER），英文单独统计词错误率（WER），并细化分解替换、删除与插入错误类型。评测基准同时覆盖了基于 WeNet 的自监督混合损失（CTC + AED）从头训练模型（Transformer、Conformer、Branchformer）在 4 种解码模式下的表现，以及前沿预训练模型（Whisper Large-V2、Qwen2-Audio、Paraformer、SenseVoice-Small）的零样本与微调效果。

一个完整示例¶

以一段典型的数据集标注样本为例，展示 CS-Dialogue 如何精准捕获代码倒换语法边界与非词汇声学事件： - 音频输入片段（娱乐话题，说话人探讨恐怖片经历）： - 标注规范转写： 对，因为我们都想表现的自己非常的 courage, 但其实我小的时候也看着也非常 frighten，然后我会直接<FIL/>放学到 home 之后就一直坐坐在 sofa 上面看到十点都 can't move - 解析机制体现： 1. 口语非流利现象：连词重复“看着也非常”、“坐坐在”完全按发音原样保留； 2. 停顿标记：在从连词向从句过渡的停顿处准确插入 <FIL/>； 3. 代码倒换模式：展示了典型的句法嵌入现象（如用中文副词修饰英文形容词“非常的 courage”，以及介词短语中的代码倒换“到 home”、“在 sofa 上面”）； 4. 评测对齐：在计算 MER 时，“对”、“因”、“为”等各按 1 个中文字符计入基数，而“courage”、“frighten”、“home”、“can't”、“move”等按完整英文单词计入编辑距离。

损失函数 / 训练策略¶

对于从头训练的基线模型，采用连接时序分类（CTC）与注意力编码器-解码器（AED）的多任务联合损失进行优化：

\[ \mathcal{L} = \alpha \mathcal{L}_{\text{CTC}} + (1 - \alpha) \mathcal{L}_{\text{AED}} \]

实验中基于 WeNet 工具箱，设置动态批大小（Dynamic Batching），初始学习率设为 \(1.0 \times 10^{-3}\)，总训练轮数为 150 epochs。对于预训练 Whisper 模型（Tiny、Base、Small、Medium）的微调，采用批大小 16、学习率 \(1.0 \times 10^{-5}\)，最大帧数限制为每批 60,000 帧，微调 20 epochs。

实验关键数据¶

主实验¶

论文评测了从头训练模型在四种解码策略（贪心解码、Beam Search、注意力解码、注意力重评分 Attention Rescoring）下的表现，并横向对比了开源主流语音大模型的零样本识别能力。

下表展示了从头训练基线模型在测试集上的最终性能对比（均在最优的 Attention Rescoring 解码策略下，参数量约 29M–31M）：

模型	参数量	解码方式	CER (%)	WER (%)	MER (%)
Transformer	29M	Attention Rescoring	21.60	43.44	26.06
Branchformer	29M	Attention Rescoring	18.29	37.55	22.23
Conformer	31M	Attention Rescoring	15.45	32.36	18.91

下表展示了各类代表性预训练大模型在 CS-Dialogue 测试集上的零样本（Zero-shot）识别评测结果：

模型	参数量	CER (%)	WER (%)	S (%)	D (%)	I (%)	MER (%)
Whisper Large-V2	1,550M	10.70	31.11	6.00	7.60	1.69	15.29
Qwen2-Audio	8.2B	7.15	19.82	4.32	1.82	3.62	9.76
Paraformer	220M	3.70	32.02	6.30	0.98	2.37	9.65
SenseVoice-Small	234M	4.42	15.57	3.44	1.42	1.85	6.71

消融实验与模型微调对比¶

为了评估目标语料对语音基础模型的适配价值，论文针对不同尺寸的 Whisper 模型进行了领域微调（Fine-tuning）对比实验：

Whisper 变体	参数量	Zero-shot CER (%)	Zero-shot WER (%)	Zero-shot MER (%)	FT CER (%)	FT WER (%)	FT MER (%)
Tiny	38M	27.83	41.69	31.11	19.24	29.64	21.38
Base	74M	19.90	37.21	23.90	15.36	27.20	17.80
Small	244M	12.82	30.81	16.76	7.51	16.09	9.26
Medium	769M	11.34	32.57	15.88	6.12	13.02	7.53

关键发现¶

声学-卷积混合架构显著占优：在从头训练模型中，结合了局部卷积与全局自注意力的 Conformer 全面优于纯注意力 Transformer 与并行分支架构 Branchformer；注意力重评分（Attention Rescoring）将 Conformer 的 MER 从贪心解码的 19.54% 压降至 18.91%。
大模型“翻译幻觉”拖累 Whisper 表现：在零样本场景下，参数量高达 1.55B 的 Whisper Large-V2 表现令人意外，其 WER（31.11%）与 MER（15.29%）远逊于轻量级非自回归模型 SenseVoice-Small（MER 6.71%）。错误分析揭示，Whisper 在多语训练时同时承担 ASR 与语音翻译（S2TT）任务，在自发性代码倒换场景下常出现非预期的自动翻译行为（将说话人夹杂的中文直接译成英文输出），从而造成严重的文本替换与词错率飙升。
微调红利随模型规模扩大而递增：在 CS-Dialogue 上微调不同规格的 Whisper 模型均能大幅降低错误率，其中 Medium 模型 MER 从 15.88% 骤降至 7.53%（相对降幅超过 52.5%），证明了高质量领域自发性语料对矫正多任务大模型解码偏差的必要性。
话题复杂度与专业词汇直接影响识别难度：跨主题分析表明，在“体育”（Sports）与“哲学”（Philosophy）等长难句多、专业概念抽象的话题上各模型的 MER 普遍最高，而在“工作”（Job）与“科技”（Technology）等高频词聚焦的话题上错误率相对更低。

亮点与洞察¶

开源全长对话数据集的空白填补：CS-Dialogue 是目前规模最大（104 小时、200 人）且完全开源的自发性中英代码倒换全长对话语音数据集，终结了该领域此前长期依赖短片断或商业付费语料的窘境。
揭示了通用语音大模型在混合语境下的任务漂移：深入揭示了 Whisper 等前沿基础模型在面对自然代码倒换时的“将转写退化为翻译”的缺陷机理，为未来多语多任务基础模型的解码约束设计提供了宝贵证据。
严密的数据规范与可迁移性：标准化的多语言时间段引导方案以及针对口音、非流利与环境声的标注协议，可直接复用于粤英、日英等其他多语种代码倒换语音资源的构建。

局限与展望¶

语种组合单一：当前数据集仅聚焦于中英（普通话-英语）代码倒换，未来需进一步扩展至其他常用多语种组合（如西班牙语-英语、印地语-英语）以评估更广泛的泛化性。
发音人背景同质性：受试者均为英语熟练的中国籍母语者，尚未包含将中文作为第二语言进行代码倒换的以英语为母语的说话人，双向语言交替的声学多样性仍有待扩展。
录音环境较为理想：对话录制在安静室内环境下完成，尽管保留了发音人口音与说话人非词汇噪声，但缺乏现实中常见的强背景噪音、远场混响和多人抢话打断等极端声学条件。

评分¶

新颖性: ⭐⭐⭐⭐☆ 开创性地开源了包含全长连续对话与精细事件标注的百小时级中英自发代码倒换数据集。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖了从头训练模型在 4 种解码模式下的对比、主流语音大模型评测及 Whisper 全尺寸微调消融。
写作质量: ⭐⭐⭐⭐⭐ 论文结构层次清晰，统计数据丰富详实，实验分析洞见深入。
价值: ⭐⭐⭐⭐⭐ 极大推动了多语代码倒换语音识别领域的发展，是该方向亟需的里程碑式基准资源。