Learning Visual Speech Representations via Cross-Modal Distillation and Joint Face-Lip Modeling¶
会议: NeurIPS 2026
arXiv: 2610.19559
代码: https://github.com/jxzhanggg/FLARE
领域: 模型压缩
关键词: 唇语识别, 视听双模态表征学习, 跨模态知识蒸馏, 面唇联合建模, 掩码预测
一句话总结¶
FLARE 利用 Whisper 声学特征作为教师信号进行随机投影量化离散蒸馏，并结合面部-唇部双流 ConvNeXt 前端与改进 Conformer 架构，在显著减少对海量标注/无监督数据依赖的同时实现了业界顶尖的视觉语音识别鲁棒性。
研究背景与动机¶
唇语识别（Visual Speech Recognition, VSR）旨在仅依赖发音人的面部或唇部运动序列来识别所说的文本内容。在嘈杂公共场所、工业车间或声学麦克风完全失效的静默通信场景中，VSR 是声学语音识别不可或缺的关键辅助与补充。然而，仅靠视觉线索解码语音具有天然的局限性：由于人类发音机制中存在大量发音动作相同或相似的“视素”（visemes），视素到音素（phoneme）的映射存在严重的内在多义性；此外，头部大角度偏航转动（yaw angle）以及视频分辨率降低等现实图像退化，极易使传统算法提取的视觉运动线索产生严重畸变。
为缓解视素歧义，近年来的主流范式普遍采用音视频自监督学习（AV-SSL，如 AV-HuBERT、RAVEn、VATLM 等），利用配对的音视频未标注数据进行多模态联合表征预训练。然而现有范式存在两大痛点：其一，传统 AV-SSL 往往“从零开始”联合训练音频与视觉编码器，优化过程复杂且难以对视觉单模态提供最具辨识度的强语义声学先验；其二，绝大部分现有方案仅以紧密裁剪的唇部感兴趣区域（Lip ROI）作为单一视觉输入，一旦发生剧烈头部晃动、低分辨率模糊或人脸检测漂移，唇部细节便迅速退化，而现有探索全脸输入的工作多停留在简单的后融合或决策级投票层面，未能在预训练初期深度挖掘面部全局姿态动力学与唇部精细发音的互补性。
针对上述瓶颈，本研究改变了传统从头联合优化的路线，转而将冻结的大规模预训练声学大模型（Whisper）作为强监督声学教师，通过随机投影量化构建紧凑的离散伪标签空间，引导视觉骨干学习声学语音中蕴含的深层语音学与语言学规律。核心 idea：通过冻结的 Whisper 提取深度声学表征并利用随机投影量化为离散监督目标，设计面部与唇部双流 ConvNeXt 前端与增强 Conformer 上下文编码器，在通道融合中引入模态 Dropout，构建兼具局部发音细节与全局抗畸变能力的视觉语音识别表征框架。
方法详解¶
整体框架¶
FLARE 的核心流程包括多模态输入增强与掩码、双流视觉前端局部建模、模态级随机丢弃融合、增强 Conformer 长程上下文建模，以及基于随机投影量化的跨模态离散蒸馏监督。
在预训练阶段，系统接收三个模态信号：全脸视频序列、唇部 ROI 视频序列以及辅助音频梅尔滤波器组（Mel-filterbank）特征。视频输入采用跨度替换掩码（Span Masking），音频输入则采用可学习掩码嵌入替换。全脸与唇部视频分别输入独立的轻量化 3D-ConvNeXt 局部前端提取逐帧空间特征，音频特征由前馈网络投影，三者经过模态丢弃机制随机遮蔽特定模态后进行通道拼接融合，再送入融合投影层与层归一化。随后，增强型 Conformer 骨干网络（结合 RoPE、GQA、SwiGLU 和 RMSNorm）执行长程时序上下文建模。整个编码器的输出经线性展开后，与冻结 Whisper 模型提取的离散随机投影代码计算全序列交叉熵损失进行无监督知识蒸馏。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态输入<br/>全脸视频 + 唇部ROI + 辅助音频"] --> B["跨度时空掩码与局部扰动<br/>Span Masking / Noise"]
B --> C["双流 3D-ConvNeXt 视觉前端<br/>独立提取全脸宏观与唇部微观动态"]
C --> D["模态丢弃与通道拼接融合<br/>Modality Dropout & Channel-wise Concat"]
D --> E["增强型 Conformer 上下文编码器<br/>RoPE + GQA + SwiGLU + RMSNorm"]
E --> F["随机投影量化与离散蒸馏目标<br/>对齐冻结 Whisper 离散声学表征"]
F --> G["下游微调应用<br/>轻量级 Transformer 解码器 / Qwen-2.5-7B LoRA 解码器"]关键设计¶
1. 基于 Whisper 与随机投影量化的跨模态离散知识蒸馏
传统 AV-SSL（如 AV-HuBERT 的 k-means 聚类或 DistillAV 的回归+KL散度）往往需经过多轮聚类迭代或复杂损失平衡。FLARE 采用单一冻结的 Whisper 编码器作为声学教师，直接提取高信噪比干净音频的深层表征 \(\mathbf{H}^{\mathcal{T}} \in \mathbb{R}^{rT \times D_{\mathcal{T}}}\)（其中 \(r\) 为音频与视频帧率的缩放比）。为了将连续高维向量转化为鲁棒的分类目标，研究者引入随机投影量化机制：使用随机初始化并永久冻结的投影矩阵 \(U \in \mathbb{R}^{D_{\mathcal{T}} \times D_q}\) 以及离散码本 \(C = [\mathbf{c}_1, \dots, \mathbf{c}_V] \in \mathbb{R}^{D_q \times V}\)，将归一化后的音频表征投影后以最近邻余弦距离检索最近码字：
$\(y_i = \arg\min_{j} \left\| \mathrm{Norm}(\mathbf{c}_j) - \mathrm{Norm}\big((\bar{\mathbf{H}}^{\mathcal{T}} U)_i\big) \right\|_2\)$
学生网络输出 \(\mathbf{H}^o\) 经投影矩阵 \(W_{\mathrm{proj}} \in \mathbb{R}^{D \times rV}\) 展平为 \(rT\) 帧并在全序列（同时包含被掩码与未被掩码的区域）上计算交叉熵蒸馏损失。该设计完全避免了传统离散特征表示崩溃问题，同时将 Whisper 中丰富的音素级和语义级强监督平滑注入到视觉网络中。
2. 面部与唇部双流 3D-ConvNeXt 前端及通道拼接融合
针对单一唇部在侧脸大偏航角、低分辨率下易失效的顽疾，FLARE 构建了双流输入机制，全脸视频 \(\mathbf{V}^f\) 与唇部区域 \(\mathbf{V}^l\) 均归一化至 \(96 \times 96\)（随机裁剪为 \(88 \times 88\)）后分别输入结构对称但参数独立的视觉前端。视觉前端摒弃了以往标准的 3D-ResNet，设计了包含 1 层 3D 卷积与 4 组 2D-ConvNeXt 块的现代卷积前端：使用层归一化（LayerNorm）替换批归一化（BatchNorm），采用大卷积核深度可分离卷积，并使用 GELU 激活函数以捕捉更丰富的高阶局部运动纹理。两路视觉特征 \(\mathbf{H}^f\)、\(\mathbf{H}^l\) 与音频特征 \(\mathbf{H}^a\) 在通道维度执行拼接后经线性投影降维至 \(D\)：
$\(\mathbf{H}^{av} = \mathrm{LN}\Big(\mathrm{Concat}(\mathbf{H}^a, \mathbf{H}^l, \mathbf{H}^f) W\Big)\)$
这种早期融合方式使得网络能同时利用全脸全局轮廓对头部转动提供姿态基准，并由唇部流维持微细发音动作的分辨率。
3. 面向抗单模态缺失的模态 Dropout 与 LLM 架构现代化上下文编码器
为了防止预训练阶段模型过度依赖辅助音频捷径，并保证在下游测试仅有单一唇部输入（如涉及隐私或 WildVSR 仅提供唇部切片）时依然稳定工作，FLARE 设计了层级模态丢弃（Modality Dropout）。在音视频层级，音频、纯视觉和音视频共存的概率分别为 \(p_a=0\)、\(p_v=0.75\)、\(p_{av}=0.25\)；在视觉子模态内部，仅面部、仅唇部和双流联合的采样概率分别为 \(p_f=0.25\)、\(p_l=0.25\)、\(p_{fl}=0.50\)。遇缺失模态时直接将其特征置零，使模型天然兼容单流或双流输入。在长程时序建模方面，上下文编码器将标准 Conformer 升级为 LLM 现代架构：引入旋转位置编码（RoPE）以提升长度外推性，采用分组查询注意力（GQA）降低显存与时序计算开销，在前馈模块（FFN）中使用 SwiGLU 替换传统 FFN，并以 RMSNorm 提升深度网络训练的数值稳定性。
损失函数 / 训练策略¶
在预训练阶段，模型优化全帧时序交叉熵损失： $\(L_{\mathrm{pretrain}} = -\frac{1}{rT} \sum_{i=1}^{rT} \sum_{j=1}^{V} \mathbf{y}_{i,j} \log P_{i,j}\)$ 其中码本大小 \(V=8192\)，码本维度 \(D_q=32\)。下游微调支持两种方案： - 轻量级 Transformer 解码器：6 层标准 Transformer 解码器，采用两阶段训练，前 \(90\text{k}\) 步冻结视觉编码器仅训练解码器，后半段执行端到端联合微调，无需 CTC 辅助损失。 - FLARE-LLM 解码器：将预训练视觉编码器对接 Qwen-2.5-7B，首先保持编码器和 LLM 冻结仅训练双层 FFN 适配器（\(10\text{k}\) 步），随后引入 Rank-16 LoRA 参数并联合微调适配器与 LoRA 权重（\(60\text{k}\) 步）。
实验关键数据¶
主实验¶
在主流公认的英文字幕唇语基准 LRS2、LRS3 以及真实分布外基准 WildVSR 上，FLARE 与代表性无监督视听模型（AV-HuBERT、RAVEn、BRAVEn）以及结合大语言模型的最强基准展开全面对比，评测指标为字错误率（WER, %）及越低越优的 WildVSR 排序指标 \(\text{Rank}_{wer}\)。
| 数据集 / 规模 | 模型配置 | 视觉输入 | 预训练数据量 | 解码器架构 | WER (%) ↓ | WildVSR Rank_wer ↓ |
|---|---|---|---|---|---|---|
| LRS3 (低资源 30h) | AV-HuBERT (Base 103M) | Lip | 1759h | Transformer | 46.1 | – |
| LRS3 (低资源 30h) | DistillAV (Base 103M) | Face | 1759h | Transformer | 36.9 | – |
| LRS3 (低资源 30h) | FLARE (Base 117M) | Face+Lip | 1759h | Transformer | 29.3 | – |
| LRS3 (全量 433h) | AV-HuBERT (Base 103M) | Lip | 1759h | Transformer | 34.8 | – |
| LRS3 (全量 433h) | DistillAV (Base 103M) | Face | 1759h | Transformer | 31.4 | – |
| LRS3 (全量 433h) | FLARE (Base 117M) | Face+Lip | 1759h | Transformer | 24.0 | – |
| LRS3 (高资源评测) | LP-Conformer (410M) | Lip | 100,000h | Conformer | 12.8 | – |
| LRS3 (高资源评测) | BRAVEn (Large 336M) | Lip | 2649h | Transformer | 20.1 | 41.5 |
| LRS3 (高资源评测) | Llama-AVSR (Large 325M) | Lip | 1759h | LLaMA | 24.0 | 52.5 |
| LRS3 (高资源评测) | FLARE (Large 342M) | Face+Lip | 4966h | Transformer | 15.9 | 39.5 |
| LRS3 (高资源评测) | FLARE-LLM (Base 117M) | Face+Lip | 4966h | Qwen-2.5-7B | 14.4 | 44.6 |
| LRS3 (高资源评测) | FLARE-LLM (Large 342M) | Face+Lip | 4966h | Qwen-2.5-7B | 13.2 | 37.6 |
| LRS2 (高资源评测) | Auto-AVSR (186M) | Lip | 3448h | Conformer | 14.6 | 41.8 |
| LRS2 (高资源评测) | BRAVEn (Large 336M) | Lip | 2649h | Transformer | 24.4 | – |
| LRS2 (高资源评测) | FLARE (Large 342M) | Face+Lip | 4966h | Transformer | 13.6 | – |
| LRS2 (高资源评测) | FLARE-LLM (Large 342M) | Face+Lip | 4966h | Qwen-2.5-7B | 11.7 | – |
| WildVSR (域外泛化) | AV-HuBERT (Large 325M) | Lip | 1759h | Transformer | 48.7 | 53.0 |
| WildVSR (域外泛化) | BRAVEn (Large 336M) | Lip | 2649h | Transformer | 38.2 | 41.5 |
| WildVSR (域外泛化) | FLARE (Large 342M) | Lip (Face置零) | 4966h | Transformer | 36.9 | 39.5 |
| WildVSR (域外泛化) | FLARE-LLM (Large 342M) | Lip (Face置零) | 4966h | Qwen-2.5-7B | 34.3 | 37.6 |
消融实验¶
在渐进式设计消融（Progressive Design Study, LRS3 测试集）中，作者在预训练 200k 步的基准下对各模块的演进收益进行了深入分解：
| 演进阶段 / 消融配置 | 关键设置与具体参数 | LRS3 30h WER (%) | LRS3 433h WER (%) |
|---|---|---|---|
| 蒸馏目标选择 | WavLM+Conformer (Reg+KLD) | 43.7 | 36.5 |
| 蒸馏目标选择 | Whisper (Reg 回归损失) | 44.3 | 37.3 |
| 蒸馏目标选择 | AV-HuBERT (K-means 离散码) | 45.4 | 37.0 |
| 蒸馏目标选择 | Mel 滤波器组 (随机投影量化) | 47.8 | 42.5 |
| 蒸馏目标选择 (采用) | Whisper (随机投影量化离散码) | 43.3 | 36.4 |
| 模态丢弃概率 | \(p_a / p_v / p_{av} = 0.25 / 0.25 / 0.50\) | 43.3 | 36.4 |
| 模态丢弃概率 | \(p_a / p_v / p_{av} = 0.25 / 0.50 / 0.25\) | 42.7 | 35.9 |
| 模态丢弃概率 | \(p_a / p_v / p_{av} = 0.00 / 1.00 / 0.00\) (纯视觉) | 42.3 | 36.2 |
| 模态丢弃概率 (采用) | \(p_a / p_v / p_{av} = 0.00 / 0.75 / 0.25\) (偏向视觉) | 41.0 | 34.5 |
| 时序上下文编码器 | 标准 Transformer | 43.3 | 36.4 |
| 时序上下文编码器 | 标准 Conformer | 39.2 | 32.3 |
| 时序上下文编码器 | 增强型 Transformer | 40.0 | 33.8 |
| 时序上下文编码器 (采用) | 增强型 Conformer (RoPE+GQA+SwiGLU+RMSNorm) | 38.1 | 31.8 |
| 时空掩码方式 | 特征层可学习 Embedding 遮蔽 | 37.0 | 32.6 |
| 时空掩码方式 | 输入图像高斯噪声遮蔽 | 38.3 | 31.9 |
| 时空掩码方式 (采用) | 输入视频片段替换 (Span Replacement) | 36.3 | 30.7 |
| 视觉输入与前端 | 3D-ResNet + 仅全脸 (Face-only) | 36.3 | 30.7 |
| 视觉输入与前端 | 3D-ConvNeXt + 仅全脸 (Face-only) | 36.3 | 30.0 |
| 视觉输入与前端 (采用) | 3D-ConvNeXt + 面部唇部联合 (Face+Lip) | 30.9 | 25.4 |
关键发现¶
- 双流面唇联合贡献显著：在相同的前端骨干与训练步数下，将输入从“仅全脸”扩展为“全脸+唇部双流”使得 30h 微调 WER 从 36.3% 暴降至 30.9%（绝对降低 5.4 个百分点），433h WER 从 30.0% 降至 25.4%（绝对降低 4.6 个百分点），证明宏观脸部轮廓与微观唇部发音具有极其强大的互补性。
- 视觉主导模态丢弃至关重要：完全去除音频（0/1.0/0）会导致无法借助跨模态对齐建立声学-视觉映射；而赋予音频较高权重（如 0.25/0.25/0.5）则会引发“声学捷径效应”，导致编码器未能充分锤炼视觉特征提取能力。将模态采样比设为 \(p_a=0, p_v=0.75, p_{av}=0.25\) 达到了最佳平衡。
- 大角度转头与分辨率鲁棒性：头部偏航角（Yaw）线性回归分析显示，仅唇部模型在偏航角度增大时 WER 急剧飙升，而引入全脸的联合模型在偏航角达到 \(30^\circ\sim 40^\circ\) 时 WER 波动极其平缓。在下采样至 \(0.25\times\) 的低清视频测试中，面唇联合模型同样保持最低的错误率。
- 音素可辨识度与层级对齐：强制对齐后的音素距离热力图与分层聚类分析表明，面唇联合表征形成的音素类别分界显著清晰于单流输入；t-SNE 可视化证实随着 Conformer 层数加深，纯视觉表征与音视频联合表征的几何流形逐步实现精准重合。
亮点与洞察¶
- 将连续声学大模型知识转为无监督离散分类：无需运行昂贵的反复 k-means 聚类或对抗蒸馏，直接使用随机正交投影码本离散化 Whisper 隐层表征，既保留了几何空间流形，又让网络在全时域（包括未掩码帧）都能接受丰富语言学监督。
- 即插即用的缺失模态鲁棒退化机制：通过通道级特征置零与训练期模态 Dropout，模型即便在预训练包含全脸+唇部，下游若遇仅有唇部切片的受限数据集（如 WildVSR）或出于面部隐私保护要求时，仅需将面部输入特征置零，仍能无缝推理且性能大幅领先既有 lip-only 方案。
- 现代化架构改写的 Conformer 潜力：将大语言模型（LLM）中验证充分的 RoPE 旋转位置编码、GQA 分组查询注意力、SwiGLU 前馈机制与 RMSNorm 全面引入视听 Conformer，有效增强了视素时序长程平滑建模能力与收敛速度。
局限与展望¶
- 计算复杂度与推理延迟增加：作者在附录坦承，相比于单一前端基线，引入双流 ConvNeXt 使得编码器 GFLOPs 增加（Base 编码器从 66.7 GFLOPs 增至 119.3 GFLOPs），尽管 Base 模型的实时率（RTF）仍保持在 0.22 左右，但在边缘移动端低功耗芯片上部署依然存在算力压力；FLARE-LLM 由于使用了未压缩 token 的 7B 大模型，RTF 攀升至 1.37，无法实现实时流式识别。
- 未验证泛化至说话人分离与情感等副语言任务：当前表征学习全部聚焦于文字音素识别准确率，尚未探究该双流视觉语音表征是否保留或剥离了说话人身份（Speaker Identity）与情感状态等副语言特征。
- 未来方向：未来可探索双流前端在浅层的通道轻量化剪枝与跨注意力动态稀疏交互，以及针对 LLM 解码器的视觉 Token 压缩蒸馏技术，以降低部署延迟。
相关工作与启发¶
- vs AV-HuBERT [12]: AV-HuBERT 从原始声学与唇部特征起步，依赖每隔若干 Epoch 运行耗时的 k-means 聚类生成离散伪标签，且仅建模单路唇部 ROI；FLARE 引入大规模冻结预训练 Whisper 作为教师模型，直接通过随机投影量化获得离散标签，并采用面部-唇部双流建模，在 LRS3 433h 下 Base 模型将 WER 从 34.8% 大幅压降至 24.0%。
- vs DistillAV [39]: DistillAV 探索了利用 WavLM 与 Conformer ASR 的集成蒸馏，采用回归加 KL 散度约束，输入仅采用全脸并需要复杂的多模型集成；FLARE 证明单一 Whisper 模型结合随机投影量化更简洁有效，且通过引入精细唇部双流融合突破了全脸单一尺度的精度瓶颈。
- vs LP-Conformer [50]: LP-Conformer 依靠多达 100,000 小时的私有超海量视频数据将 LRS3 WER 刷至 12.8%；而 FLARE-LLM 仅利用公开的 4966 小时数据（约前者的 5%），即在 LRS3 上达到 13.2% 的 WER，充分彰显了跨模态知识蒸馏配合现代架构的高效数据利用率。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 巧妙将 Whisper 语义表征、随机投影离散量化与面唇双流互补建模相融合，方法设计精巧且自洽。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖消融分析、鲁棒性压力测试（偏航角与分辨率）、音素距离可视化、RTF计算成本及域外WildVSR验证，证据极其坚实。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密，动机与技术方案丝丝入扣，附录实现细节披露极其完备。
- 价值: ⭐⭐⭐⭐⭐ 为解决唇语识别的视素模糊与姿态敏感问题树立了全新的强基线，代码与模型完全开源，具有极高学术与应用价值。