VAANI: Capturing the Language Landscape for an Inclusive Digital India¶

会议: NeurIPS 2026
arXiv: 2603.28714
论文: https://arxiv.org/abs/2603.28714
代码: https://huggingface.co/datasets/artpark-iisc/VAANI
领域: 其他
关键词: 语音数据集, 印度语言, 自发语音, 多模态提示, 语音识别

一句话总结¶

针对现有印度语言语音数据集语言覆盖狭窄、缺乏真实地域方言多样性及视觉接地的问题，Project VAANI 采用真实图像提示诱发自发表达，构建了覆盖印度 165 个地区、105 种语言、超 31,255 小时自发语音与 2,043 小时精准转录的大规模多模态多语言语料库，并在多模型 ASR 微调上取得显著增益。

研究背景与动机¶

印度是全球语言生态最复杂的国家之一。根据 2011 年印度人口普查，全境识别出的母语超过 1,300 种，按人口门槛归纳出属于五大语系的 121 种主要语言，其中仅有 22 种被列入印度宪法第八附表获得官方承认。在多语言发展背景下，语音交互技术能够打破文本识字壁垒，为教育、政务与普惠医疗提供关键通道。然而，当前支撑多语言与多模态模型的数据基石存在着系统性的代表性缺失。

现存印度语音语料库（如 RESPIN、Kathbath、IndicVoices）普遍受困于三重深层瓶颈：其一，语言覆盖极其受限，绝大多数开源数据集仅聚焦于宪法承认的 22 种官方语言，导致上百种非官方母语与部落语言（如 Chakma、Wancho、Paniya）长期处于“数字空白”；其二，数据采集长期依赖“朗读语音”（Read Speech）与单一抽象的“语言标签”，忽视了同一语言在不同地理区县、社群背景与城乡环境下的方言变体与发音漂移；其三，数据格式局限于单一音频或“音频-文本”对，完全缺乏视觉上下文接地（Visual Grounding），无法支持新兴的多模态全双工视听模型的联合预训练与评估。

为了打破自上而下的语言中心范式，研究团队将视角转向以基层人群和地理行政区为核心的数据采集路径。通过使用本土实地拍摄的高质量图像作为视觉提示（Visual Prompt），避开基于文本朗读的识字依赖，最大程度诱发母语使用者自然流露的自发日常表达。核心 idea：以印度基层行政区为锚点（District-centric），通过实地拍摄的图像提示激发无脚本自发语音，并结合严格的多级自动化与本土人工协同质控，构建起包含 165 个地区、105 种语言、3.1 万小时音频及对齐图像的大规模多模态语音基准 VAANI。

方法详解¶

整体框架¶

Project VAANI 的构建管线包含图像实地采集与清洗、基于图像提示的自发语音录制、均衡分层转录选择以及三级级联质控四个核心阶段： 1. 实地图像采集与清洗（Image Acquisition & QC）：在目标区县由实地团队拍摄代表当地文化风貌、生活场景与通用实物的真实图像，经自动化去模糊、人脸与敏感隐私过滤（PII）以及人工审核，筛选出高辨识度、易激发描述欲望的视觉提示池； 2. 移动端图像提示自发语音采集（Speech Acquisition）：每个区县招募覆盖不同年龄、性别与社会经济阶层的本土居民，通过定制移动端 App 随机展示图像提示，引导参与者使用家庭常用方言自发讲述 10–20 秒，采集单声道 16kHz 原始音频并严格记录多维人口统计学元数据； 3. 方言平衡转录抽样（Transcription Sampling）：在区县内部基于说话人、方言及音频时长构建分层抽样策略，抽取 5%–10% 的优质音频，由同区县的本土转录员严格遵循逐字听写与非语音事件标注规范完成转录； 4. 多级自动化与本土专家人工质控（Multi-tier Quality Control）：音频历经元数据格式核对、VAD 静音截断与信噪比（SNR）门控；转录文本接受语言模型困惑度与词错误率（WER）一致性校验；未达标或随机抽取的 10% 样本交由本区县语言专家执行全量听辨与合规裁决。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["实地地理区县调研<br/>165个地区/28个邦及直辖区"] --> B["图像实地采集与清洗<br/>本土场景/去隐私/可描述性检验"]
    B --> C["图像提示自发语音采集<br/>移动端随机推图/10-20s自由描述"]
    C --> D["方言平衡转录抽样<br/>区分主流/低资源/5-10%分层抽取"]
    D --> E["级联自动化质控<br/>SNR/VAD/LM Log-likelihood 门控"]
    E --> F["本土专家人工终审<br/>方言纯正性/音文对齐/PII安全裁定"]
    F --> G["发布多模态对齐语料库<br/>图-音-文三元组与丰富元数据"]

关键设计¶

1. 图像提示自发语音诱发机制：摆脱文本识字束缚与朗读刻板性

传统语音语料库多采用阅读预设文本（Read Speech）的方式，这种模式一方面直接排除了缺乏文字识字能力的边远地区与低受教育程度人群，另一方面使得无书写文字传统的口头语言（如 Chakma、Wancho、Paniya 等）完全无法采集。VAANI 彻底抛弃文本提示，设计了一套规范的图像提示驱动范式：为每个目标区县新拍摄并筛选 1,700 至 2,000 张兼具本土特色与通用实物的清晰图像（640×400 分辨率，无侵入性人物面部与商标），随机展示给参与者并引导其以日常家庭用语自由发挥讲述 10 至 20 秒。图像提示既消除了阅读带来的语调机械感与社会期望偏差，又保留了自然的自发停顿、语码转换（Code-switching）与真实方言韵律，同时自动构建了图像-语音对应的跨模态天然对齐关系。

2. 区县级地理网格与均衡人群采样：多维人口统计学元数据锚定

为避免将复杂的语言景观简化为单一脸谱化的“语言标签”，VAANI 确立了以区县（District-centric）为基本单元的采集策略。项目跨越印度 28 个邦与 3 个中央直辖区的 165 个区县，在每个区县招募不少于 800 名经 PAN/Aadhaar 身份证明验证常住地址（Pincode）的本地居民，并将单人有效录音时长严格限制在 15 分钟以内，防止极少数活跃说话人主导分布。所构建的语料库详细锚定了说话人的多维度元数据，包括年龄段（20–70 岁均匀覆盖）、性别（女性 52.81%、男性 47.15%）、教育程度（初中至研究生以上）、自我认定的社会经济阶层、常住年限、所掌握语言全集以及录音手机型号与麦克风设备。精细化的地理区县与社会学标签，使得模型能够清晰捕捉地理相邻区域之间的口音连续谱与社会方言（Sociolect）差异。

3. 三级级联自动化与同源专家质控管线：高可信度音频与文本对齐保障

大规模多语种自发语音与转录面临极高的脏数据风险。项目建立了覆盖 Level 1 至 Level 3 的自动化流程与双轨人工检验网格。音频自动化检验层级涵盖：Level 1 的元数据结构与文件引用对齐；Level 2 的采样率（16kHz/16-bit）、单声道格式校验，利用语音活动检测（VAD）筛除头部或尾部静音超过 0.3 秒、内部断档超 1 秒的异常片段；Level 3 计算信噪比（SNR），设定清晰度阈值分流潜在噪音文件。转录文本端则运用语言模型对数似然度与 WER 异常检测筛查错漏字与非母语字符。所有触发自动警报的样本连同 10% 随机基线样本，分发给招募自同一区县、通晓本土方言的专职语言评审员，逐条检验音频的单人说话清晰度、内容与图像关联度、无 PII 隐私泄露，以及转录文本与语音的字对字（Verbatim）一致性，从源头确保数据纯净。

损失函数 / 训练策略¶

在基准验证实验中，作者评估了多语言 ASR 微调框架。针对不同架构采用了差异化的优化策略： 1. Gemma-3n-E2B：采用参数高效微调（PEFT），音频与文本模块均应用 4-bit 量化与 LoRA（秩 \(r=64\)，缩放系数 \(\alpha=128\)），使用 8-bit AdamW 优化器，学习率设为 \(5 \times 10^{-5}\)，余弦退火学习率调度并搭配 10% 预热，有效批大小为 128，训练损失仅在文本生成输出端计算交叉熵； 2. Whisper-large-v3-turbo：在端到端序列到序列框架下进行全量微调，采用 Adam 优化器（学习率 \(1 \times 10^{-5}\)），批大小为 64，开启 FP16 混合精度，最多训练 20 轮并基于验证集 WER 早停；对于 Whisper 原生词表未支持的本土语言，通过强制解码器 token 映射至亲缘语种； 3. Parakeet-tdt-0.6b-v2：通过 NVIDIA NeMo 框架训练，重置解码器以适配覆盖印度字母体系的新建 SentencePiece 分词器，使用 Adam 优化器（学习率 \(1 \times 10^{-4}\)），最长训练 50 轮。

实验关键数据¶

主实验¶

论文对多语言微调前后的 ASR 模型在多个公开基准（含 FLEURS、CommonVoice、Kathbath、RESPIN、GramVAANI 及 VAANI 本地测试集）上进行了详尽评估。以下汇总了微调前（Zero-Shot / 原生基线）与在 VAANI 微调后各模型的平均词错误率（WER %，越低越好）：

语言类别 / 代表语言	评测基准	Whisper 原生基线	Whisper + VAANI 微调	Gemma-3n + VAANI 微调	相对性能增益
印地语 (Hindi)	综合外部基准平均	~32.4%	18.2%	19.5%	显著下降 (超40%相对改善)
孟加拉语 (Bengali)	FLEURS / CommonVoice	~38.6%	22.1%	23.4%	显著改善口音鲁棒性
泰卢固语 (Telugu)	FLEURS / Kathbath	~41.5%	24.8%	25.9%	大幅减少幻觉重复词
卡纳达语 (Kannada)	Kathbath / RESPIN	~39.2%	21.7%	22.8%	方言发音识别率剧增
查克马语 (Chakma, 低资源)	VAANI 独立测试集	>85.0% (崩溃/乱码)	34.6%	38.2%	从无法解码提升至可用水平
博杰普尔语 (Bhojpuri, 地方方言)	VAANI 独立测试集	>78.0% (严重幻觉)	29.3%	31.5%	有效建立方言识别能力

消融实验¶

为验证 VAANI 地理区域化采样的核心价值，论文在印地语子集上开展了细粒度跨邦（State-level）方言消融与迁移实验（基于 Whisper-small 模型，测试跨地域方言迁移能力）：

训练数据配置 (邦别与时长)	本邦测试集 WER (%)	地理邻近邦测试集 WER (%)	远距离异地邦测试集 WER (%)	核心观察说明
比哈尔邦 (Bihar, 130.0h)	16.4%	20.8% (邻近如北方邦)	35.2% (偏远如安得拉邦)	地理相近性带来显著声学与方言正向迁移
北方邦 (Uttar Pradesh, 75.6h)	17.1%	19.5% (邻近比哈尔/北安恰尔)	33.8% (偏远邦别)	同语种内部存在明显的地理方言连续统效应
恰蒂斯加尔邦 (Chhattisgarh, 60.5h)	19.2%	23.1% (邻近马哈拉施特拉)	37.4% (南部与西北远邦)	局部特定词汇与方言重音高度依赖本地训练数据
全邦混合训练 (全量 Hindi, 331h)	14.8%	15.6%	16.2%	泛印度广域区县覆盖有效平抑极端方言偏差

关键发现¶

低资源母语从无到有的跨越：未微调的通用开源模型（如 Whisper-large）在面对无官方文字地位的边缘语言（如 Chakma、Bhojpuri）时，极易陷入字符乱码或无限循环复读的严重幻觉；引入 VAANI 仅数十小时的真实转录训练即可使 WER 迅速收敛至 30% 上下，证明了真实音频对小语种的决定性价值。
地理距离与方言性能的强相关性：跨邦微调热图表明，即使在公认的同一官方语种（印地语）内部，在某一特定邦训练的模型在地理毗连邦的表现远远优于远隔千里的非邻近邦，实证了单一语言标签无法替代细粒度区县级采样。
图像多模态检索与对齐潜力：在附录探索实验中，利用 Gemini 整合针对同一图像的多次自发描述文本，并在 Hindi-Image 子集（约 4.5 万图文对）上微调 SigLIP2，图像检索的召回率获得大幅跃升，印证了自然自发语音中沉淀的高密度视觉描述信息。

亮点与洞察¶

以基层地理区县驱动取代粗放的语言标签驱动：论文最根本的突破在于跳出“22种官方语言”的技术壁垒，采用覆盖全国 165 个基层行政区的网格化采集体系，使数据能够自然捕获真实的方言连续统、口音漂移与社会阶层语言差异。
图像提示激发的自发多模态数据范式：利用现场实拍图像诱发非受限的日常自发表达，不仅彻底摆脱了受访者的识字门槛、成功纳入无书写文字的边缘语言，而且以零额外成本沉淀了高质量图像-语音-文本对齐的跨模态数据资产。
全链路开源与普惠基础资产定位：全量语料库（3.1 万小时音频、2,043 小时精确转录、28.9 万张图）以 CC-BY-4.0 协议发布在 Hugging Face，支持按区县与按语种灵活下载，为南亚乃至全球低资源语音与视听大模型研究确立了新标杆。

局限与展望¶

语言时长分布的长尾倾斜性：作者坦承语料分布仍呈现长尾特征，印地语、孟加拉语、泰卢固语和卡纳达语占据了绝大部分时长，105 种语言中的大量少数族群方言录音与转录时长仍较为单薄（部分仅数小时）。
全国区县覆盖的阶段性局限：尽管覆盖了 165 个区县，但距离印度全国近 800 个区县的全域普查仍有较大距离，未来需在后续阶段进一步拓展地理版图。
潜在双重用途与声纹安全风险：涵盖十余万多样化人群的真实高清自发语音资产，存在被滥用于声音克隆、深度伪造（Deepfake）欺诈的潜在伦理风险，后续需要强化水印机制与合规跟踪。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首创基于实地图像提示的泛印度区县级大规模自发多语言语音采集体系，突破传统语言标签束缚]
实验充分度: ⭐⭐⭐⭐⭐ [跨 3 类异构 ASR 架构微调、6 种代表性语种评估，外加跨邦方言迁移消融与 SigLIP2 跨模态探索]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密流畅，从数据规格、硬件安置、三级质控流程到伦理合规交代极其详尽]
价值: ⭐⭐⭐⭐⭐ [超 3.1 万小时且获 CC-BY-4.0 宽松开源，是推动语音 AI 包容性与多模态 Indic 技术发展的里程碑基石]