Lost in Translation, Found in Embeddings: Sign Language Translation and Alignment¶
会议: NeurIPS 2026
arXiv: 2512.08040
代码: https://www.robots.ox.ac.uk/~vgg/research/litfie/
领域: 人体理解
关键词: 手语翻译, 手语字幕对齐, 姿态与唇动骨干网络, 滑窗感知器, 跨语言泛化
一句话总结¶
本文提出统一手语理解框架，结合轻量级解耦姿态与唇动骨干网络、聚合局部手语词汇语义的 Sliding Perceiver 映射网络，以及联合多任务学习与软解码微调，在 BOBSL 和 How2Sign 上同时刷新手语翻译（SLT）与手语-字幕时间对齐（SSA）的 SOTA。
研究背景与动机¶
手语是具备完备独立语法结构的自然语言，其语义表达不仅依赖双手手形、运动轨迹与空间位置等手部动作，还高度依赖面部表情、唇动（口型）以及躯干姿态等非手部线索。连续手语视频理解涵盖两个核心互补任务：一是将连续手语动作转译为口语文本的手语翻译（Sign Language Translation, SLT）；二是将视频时间戳与对应字幕文本在时序上精确匹配的手语-字幕对齐（Sign–Subtitle Alignment, SSA）。后者对于无监督或弱监督构建大规模手语平行语料库、辅助听障教育及视频片段检索至关重要。
然而，现有 SLT 与 SSA 方法在拓展到实际规模时受制于三大瓶颈。首先，视觉骨干网络的训练高度依赖孤立手语词或带标注伪词表（pseudo-gloss），公开数据集（如 Phoenix14T、How2Sign、BOBSL）往往仅包含数十名手语者，基于重型 RGB 视频模型（如 I3D、Video Swin）极易过拟合特定背景、光照与签名者外观，且计算开销巨大、无法与大语言模型（LLM）实现端到端联合微调；单纯依赖稀疏 3D 关键点又会彻底丢失唇部牙齿等非手部细微语音线索。其次，现有多模态适配层普遍采用简单的逐帧线性映射或多层感知机（MLP），无法有效将若干连续帧构成的局部手势片段聚合成具有独立语义的词级别离散表征，导致视觉特征与 LLM 输入嵌入空间存在严重的粒度不匹配。此外，时间对齐标注极耗人工，而传统 SLT 与 SSA 往往割裂建模，未能共享表征优势。
本文的切入点在于：通过构建低计算负载且保护隐私的姿态与唇动双流轻量级骨干，使整个架构能够直接接驳 LLM 进行端到端训练，并借助滑窗机制在局部时序窗口内捕获手语手势的语义组合结构。核心 idea：设计融合 MediaPipe 全身关键点图卷积与预训练灰度唇动编码器的轻量化视觉骨干，配合 Sliding Perceiver 局部滑窗映射网络，将连续手语视频映射为词级隐变量，并在 Flan-T5 上统一通过 Prompt 驱动联合优化 SLT 翻译与 SSA 时间戳软解码对齐。
方法详解¶
整体框架¶
模型输入一段长为 20 秒（25 fps 下共 500 帧）的连续手语视频，整体流水线包含三个主要阶段：
1. 轻量双流视觉骨干网络：并行提取视频中的人体全身 3D 姿态关键点与局部灰度唇动图像序列。姿态分支通过自适应图卷积与挤压激励（SE）网络分别处理面部、躯干和双手，再经 Conformer 编码；唇动分支利用预训练 Auto-AVSR 提取浅层特征后经 Conformer 进行时序建模。
2. Sliding Perceiver 映射网络：将降维拼接后的姿态与唇动特征映射至大语言模型特征维度，使用可学习全局位置编码，以滑动窗口方式借助交叉注意力将局部帧特征压缩聚合为紧凑的词级潜变量序列 \(L'\)。
3. Prompt 驱动的统一 LLM 多任务推理与微调：将潜变量序列 \(L'\) 填入特定任务 Prompt 中的 <SignHere> 位置，由经过 DoRA 参数高效微调的 Flan-T5-XL 解码。在 SLT 模式下生成目标口语文本；在 SSA 模式下基于输入文本与视频预测起止时间戳帧序号，并通过连续数值期望的软解码（Soft Decoding）损失优化时序边界精度。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["连续手语视频<br/>20秒 500帧"] --> B["姿态与唇动双流解耦骨干<br/>MediaPipe 3D骨架 + 灰度唇动"]
B --> C["跨模态特征拼接与投影<br/>fp 与 fl 沿通道拼接"]
C --> D["Sliding Perceiver 局部时序聚合<br/>滑窗交叉注意力抽取词级潜变量"]
D --> E["Prompt 条件多任务 LLM<br/>Flan-T5-XL + DoRA 适配器"]
E -->|SLT Prompt 模式| F["手语文本翻译<br/>自回归输出口语翻译"]
E -->|SSA Prompt 模式| G["字幕时间对齐预测<br/>软解码数字期望 + L1 回归"]关键设计¶
1. 姿态与唇动双流解耦骨干：平衡隐私、效率与细粒度非手部表征 纯 RGB 视频模型在处理长时序手语视频时显存占用极高，且容易受服装、背景与光照干扰；而单纯的 3D 骨架由于缺少唇舌运动等非手部线索，会导致大量仅靠口型区分的手语同音词/同形手势混淆。为此，本文设计了双流轻量级结构。在姿态分支中，提取 MediaPipe 203 个 3D 关键点（面部 128 点、躯干 33 点、左右手各 21 点），按面部、躯干、左手、右手划分为 4 个发音器官（Articulators），左右手共享参数并通过沿 x 轴翻转对齐结构。每个器官采用 4 层自适应图卷积网络（AGCN）结合 SE 注意力逐层扩展通道至 \(C=384\)。针对手语中多关节协同交互的特点，模型摒弃简单的全局平均池化，而是将帧内所有关节点特征平铺为 \(F \times (J_m \times C)\) 后经可学习线性映射投影回 \(F \times C\)，保留高保真关节间相对动态，拼接后送入 4 层 Conformer 及注意力池化得到姿态特征 \(f_p\)。唇动分支则直接截取灰度唇部区域，使用冻结的 Auto-AVSR 唇读模型提取帧级特征后，经 4 层可微 Conformer 输出唇动表征 \(f_l\)。在长视频微调阶段，将 500 帧直接输入 AGCN，仅在 Conformer 处应用滑窗，将单批次显存占用从 29.6 GB 剧降至 5.6 GB，使得整套视觉骨干能与 LLM 进行端到端联合梯度更新。
2. Sliding Perceiver 映射网络：打破全局压缩、捕获局部词汇手势组合 标准 Perceiver Resampler 采用固定的可学习潜向量与整段长视频序列做全局交叉注意力，这破坏了手语语言学中的局部时序因果性与词汇级持续时间边界。而在手语中，连续的数帧或十余帧局部姿态序列才完整构成一个手语词（Gloss）。Sliding Perceiver 将拼接特征序列 \(X = [f_p; f_l]\) 先经线性层对齐至 LLM 维度 \(D=2048\)，加上可学习时序位置编码得到 \(X'\)。随后在时序维度设置窗口大小为 8、步长为 2 的滑动窗口，在每个局部窗口内使用可学习潜向量作为 Query，窗口内的视觉帧特征作为 Key 和 Value，通过 2 层堆叠的交叉注意力与前馈网络抽取局部潜向量，将 250 帧时序特征平滑压缩为长度为 122 的紧凑词级潜序列 \(L'\)。相比标准 MLP 或一维卷积池化，该设计既保留了严格的手势时序相对顺序，又滤除了帧间冗余抖动，使视觉 token 在信息密度和语义跨度上与 LLM 的文本词嵌入对齐。
3. 多任务统一 Prompt 与时间戳软解码：兼顾离散语义与连续边界
模型利用预训练 LLM 的指令遵循能力，通过单一网络统筹 SLT 与 SSA。在 SLT 任务中，Prompt 模板传入感兴趣区域的时间戳区间 {start} 和 {end}，并指定目标语言代号 {lang}，模型输出翻译文本；在 SSA 任务中，Prompt 模板输入待对齐的候选口语文本 {sentence}（若包含先验音频对齐时间戳亦可概率性输入），模型直接输出 6 位数字表示的预测起止帧索引。针对时间戳预测若仅使用常规交叉熵损失，会导致相邻数字（如将 150 预测为 149）与严重偏离（如预测为 550）受到完全相同惩罚的问题，本文提出了软解码（Soft Decoding）机制。模型将输出的每一个数字位限制在 0–9 的 10 维 Softmax 分布 \(\mathbf{p}_d \in \mathbb{R}^{10}\) 上，通过连续期望计算出软预测值：
$\(\tilde{y}_d = \sum_{k=0}^{9} k \cdot \mathbf{p}_d(k)\)$
再计算全部 6 个数字位的软预测值与真实数字标签 \(y_{i,d}\) 之间的 \(L_1\) 连续回归损失，使得梯度不仅惩罚类别错误，更惩罚时序偏差。在推理阶段，LLM 预测的时间戳可能存在相邻字幕时序重叠，模型通过带有中间高原期保留系数（\(\beta=0.2\)）和余弦衰减边缘的连续概率剖面图，引导动态时间规整（DTW）算法自动解析消除冲突边界。
一个完整示例¶
以一段 20 秒手语新闻视频中包含一句话 "how to visually identify prescription drugs" 的 SSA 对齐为例：
1. 视频首先被下采样为 500 帧（25 fps），MediaPipe 实时提取每一帧的 203 个 3D 关键点坐标并做肩宽归一化，唇部裁剪模块截取对应的灰度嘴唇切片。
2. 姿态网络通过 4 组器官 AGCN 处理后将关节点特征平铺降维，与唇动 Auto-AVSR 特征一同送入 Conformer，输出密集时序特征序列（250 步）。
3. Sliding Perceiver 采用窗口 8、步长 2 进行滑窗交叉注意力，产生 122 个词级潜变量 token \(L'\)。
4. 模型构建 SSA 提示词：Given sign language video <SignHere>, find timestamps for sentence: "how to visually identify prescription drugs". 潜变量序列插入 <SignHere> 处。
5. Flan-T5-XL 依次自回归生成 6 个数字 token（例如起始帧 062、结束帧 145）。在每一位数字解码时，10 维 Softmax 概率分布经由加权期望计算出连续数值，并通过 \(L_1\) 惩罚拉近与目标标签的数值距离；若多条字幕推理出现时序重叠，基于 \(\beta=0.2\) 的余弦平滑剖面输入 DTW 规整模块，最终准确输出去重后的视频起止时间戳 [062, 145]（对应 2.48s 至 5.80s）。
损失函数 / 训练策略¶
整个训练分为三个阶段： 1. 视觉骨干孤立手语词（ISLR）预训练：姿态和唇动分支在 BOBSL-SIGN 数据集（8K 伪词表、350 万样本）上分别独立训练 20 个 epoch。姿态分支优化包含三项损失：分类交叉熵 \(\mathcal{L}_{\text{CE}}(\hat{y}_p, y)\)、四器官辅助 Conformer 分类损失 \(\mathcal{L}_{aux}\)、以及通过投影 MLP 与 LLM 冻结文本嵌入对齐的对比学习损失 \(\mathcal{L}_{contra}\)（批大小 \(B\)，温度 \(\tau=0.1\)）；训练期间随机掩码多达 2 个器官特征以增强鲁棒性。唇动分支优化分类与对比损失。 $\(\mathcal{L}_{pose} = \mathcal{L}_{\text{CE}}(\hat{y}_p, y) + \mathcal{L}_{aux} + \mathcal{L}_{contra}, \quad \mathcal{L}_{lip} = \mathcal{L}_{\text{CE}}(\hat{y}_l, y) + \mathcal{L}_{contra}\)$ 2. 大规模双语多任务预训练：在涵盖 ASL 和 BSL 的 YouTube-SL-25 与 BOBSL 共 2,700 小时视频上进行三阶段渐进式训练（各 100K 步）：第一阶段冻结视觉骨干，仅使用 SLT 目标微调 Sliding Perceiver 与 LLM 的 DoRA 适配器（\(r=32, \alpha=64\)）；第二阶段全模型（包含视觉骨干）在 SLT 任务上端到端联合训练；第三阶段混合 SLT（80%）与 SSA（20%）样本进行多任务联合微调。 3. 目标下游微调：在目标数据集上继续以多任务损失（混合比例 8:2）进行端到端优化。SSA 联合损失函数为： $\(\mathcal{L}_{\text{SSA}} = \mathcal{L}_{\text{CE}} + \lambda \sum_{d=1}^{6} |\tilde{y}_{i,d} - y_{i,d}|\)$ 其中软解码权重设定为 \(\lambda = 0.01\)。
实验关键数据¶
主实验¶
在代表性 BSL 数据集 BOBSL-SENT 与 ASL 数据集 How2Sign 上的手语翻译主实验对比结果如下表所示。模型在不依赖任何额外先验上下文或大模型预翻译输入的前提下，大幅刷新了现有最强基准。
| 数据集 | 模型 | 预训练规模 | BLEU-4 ↑ | BLEURT ↑ | ROUGE-L ↑ | CIDEr ↑ |
|---|---|---|---|---|---|---|
| BOBSL-SENT (BSL) | LiTFiC (Vid) [41] | 无 | 2.6 | 37.8 | 15.6 | 37.5 |
| BOBSL-SENT (BSL) | LiTFiC (Full) [41] | 无 | 3.3 | 40.3 | 16.9 | 41.9 |
| BOBSL-SENT (BSL) | Ours (SLT, w/o PT) | 无 | 6.0 | 46.4 | 23.1 | 73.4 |
| BOBSL-SENT (BSL) | Ours (Multitask) | 2.7K 小时 | 6.8 | 47.0 | 23.7 | 77.0 |
| How2Sign (ASL) | LiTFiC [41] | 无 | 12.7 | 45.3 | 32.5 | 100.8 |
| How2Sign (ASL) | Uni-Sign [49] | 1.9K 小时 | 14.9 | 49.4 | 36.0 | - |
| How2Sign (ASL) | SSLT [92] | 6.6K 小时 | 21.1 | 55.7 | - | - |
| How2Sign (ASL) | Ours (w/o PT) | 无 | 17.5 | 49.5 | 38.4 | 147.5 |
| How2Sign (ASL) | Ours (Full) | 2.7K 小时 | 24.6 | 58.7 | 48.1 | 219.0 |
在 BOBSL-SENT 上的手语-字幕对齐（SSA）主实验表现如下表所示（评估模型在未见过精准时间戳时的时序泛化与定位精度）：
| 模型 | 微调目标 | 帧准确率 (Acc) ↑ | 类均衡准确率 (CB-Acc) ↑ | [email protected] ↑ | [email protected] ↑ | [email protected] ↑ |
|---|---|---|---|---|---|---|
| SAT [10] | SSA | 71.0 | 57.3 | 71.0 | 74.2 | 53.4 |
| SAT+ [39] | SSA | 77.2 | 65.0 | 81.4 | 75.0 | 63.8 |
| Ours (SSA) | 仅 SSA | 75.7 | 66.9 | 83.7 | 79.7 | 67.0 |
| Ours (Multitask) | SLT + SSA | 77.1 | 67.5 | 84.4 | 80.3 | 68.9 |
消融实验¶
下表列出在 BOBSL-Sent 验证集上系统剥离各模块与策略的端到端 SLT 累积消融结果（基线为遵循 LiTFiC 结构的 LLaMA-8B + 冻结 Swin + MLP）：
| 配置 / 步骤 | 视觉骨干更新 | 映射网络 | 解码策略 | BLEU-4 | BLEURT | ROUGE-L | CIDEr |
|---|---|---|---|---|---|---|---|
| (1) 基线 (LLaMA-8B + LoRA r=4 + SAT) | 冻结 Swin | MLP | Greedy | 3.4 | 41.0 | 18.6 | 48.9 |
| (2) 换用 FLAN-T5-XL (3B) | 冻结 Swin | MLP | Greedy | 3.7 | 42.0 | 19.2 | 51.0 |
| (4) 升级为 DoRA (r=32, α=64) | 冻结 Swin | MLP | Greedy | 4.6 | 43.0 | 20.8 | 56.8 |
| (5) 升级对齐监督为 SAT+ | 冻结 Swin | MLP | Greedy | 4.8 | 43.3 | 21.0 | 58.0 |
| (7) 换用本文姿态+唇动骨干 (20s) | 冻结本文骨干 | MLP | Greedy | 5.7 | 45.4 | 23.2 | 70.9 |
| (8) 引入 Sliding Perceiver | 冻结本文骨干 | Sliding Perceiver | Greedy | 6.6 | 47.6 | 25.6 | 82.5 |
| (9) 骨干网络端到端联合微调 | 更新本文骨干 | Sliding Perceiver | Greedy | 7.4 | 48.6 | 26.6 | 90.2 |
| (10) 开启 Beam Search (size=5) | 更新本文骨干 | Sliding Perceiver | Beam (5) | 7.9 | 49.4 | 27.4 | 95.2 |
此外，针对单独映射网络设计的对比消融表明（在冻结骨干下）：Sliding Perceiver 的 BLEU-4 达到 6.6，显著优于标准 MLP（5.7）、Conv1D + Pooling 结构（5.9）以及 Token Shuffle（6.3）。
关键发现¶
- 端到端微调至关重要：轻量化骨干使联合微调成为可能，相比冻结特征直接带来 BLEU-4 从 6.6 到 7.4（+0.8）的飞跃，说明下游翻译与对齐任务能够反哺手语视觉表征。
- Sliding Perceiver 优于全局与简单局部池化：通过局部窗口交叉注意力建模手势词素，相较于标准 MLP 带来了近 1.0 的 BLEU-4 提升和 11.6 点的 CIDEr 暴涨，验证了保留局部词汇时间因果性的必要性。
- 多任务学习实现正向迁移：在 SSA 任务中，多任务联合微调（Multitask）的 [email protected] 达到 68.9，不仅大幅超越单任务 SSA（67.0），甚至明显超越用于产生伪标签监督的 SAT+（63.8），证明了口语语义知识能够显著纠正字幕的时序边界噪点。
- 卓越的零样本跨语言泛化：在未经任何微调的零样本测试下，模型在 How2Sign（ASL）上取得 BLEURT 51.3，在 FLEURS-ASL 上取得 BLEURT 59.5，超越了在 1,985 小时中文手语上预训练并在 ASL 上微调的 Uni-Sign 和 Geo-Sign。
亮点与洞察¶
- 姿态与唇动的高效正交互补：用 203 个 3D 骨架点剥离视觉背景噪声并保护手语者隐私，同时以极小开销引入灰度唇动流弥补关键点缺失的口型信息；计算量仅 1.05 GFLOPs（不足 Video-Swin 的一半），成功打破了手语大模型无法端到端训练的算力枷锁。
- Sliding Perceiver 的局部词素抽象设计：突破了传统视觉语言模型一味依赖全局 Resampler 或全帧平铺的粗暴做法，根据手语词汇时序持续特性定制窗口聚合，为长视频流到自然语言单元的对齐提供了极佳的通用参考范式。
- 时间戳数值的连续软解码：巧妙利用 Softmax 期望将离散数字 token 转为连续数值，引入 \(L_1\) 惩罚让自回归语言模型感知时序数值的绝对物理距离，解决了 LLM 做回归定位任务时“差之毫厘但交叉熵重罚”的固有弊端。
局限与展望¶
- 时序固定窗口瓶颈：当前架构绑定 20 秒固定输入窗口，当长字幕对应的手语表述跨度或音频-手语时序延迟超过 20 秒时（例如在 How2Sign 中较为普遍），模型无法建立完整对齐监督，限制了超长段落上下文的建模。
- 外部非视觉先验依赖：在某些极端案例中，若缺乏特定视频背景（如屏幕角落文字或上下文线索），纯视觉姿态容易将相近实物误译（如将背景中的水母误判为鲨鱼），未来可探索轻量多模态全局背景注入。
- 未来方向：可进一步将流式解码引入 Sliding Perceiver，并结合可变长视频分块与状态追踪机制，扩展至真正无限时长的实时手语双向交互系统。
相关工作与启发¶
- vs LiTFiC [41]: LiTFiC 依赖重型 Video Swin 骨干并保持冻结，需要额外注入前序字幕、伪词表和背景描述等文本上下文；本文仅输入视频自身即可端到端训练，并在 BOBSL 上取得了翻倍以上的 BLEU-4 分数（6.8 vs 3.3）。
- vs Video-Swin-ISLR [64]: Video-Swin 在 500 帧密集提取下显存超过 96 GB 无法端到端优化；本文的双流设计显存仅 5.6 GB 且 GFLOPs 减半，孤立词分类 Top-1 精度反超 3.2%（78.4% vs 75.2%）。
- vs SAT / SAT+ [10, 39]: 传统方法将手语-字幕对齐视作帧级二分类和后处理启发式规整；本文首创用 LLM 统一建模 SLT 与 SSA，借助多任务互促使时间对齐 [email protected] 显著超越监督源自身。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 构思了隐私友好且可端到端训练的解耦骨干、Sliding Perceiver 映射及 LLM 时间戳软解码对齐。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 ISLR、SLT、SSA 三大任务，跨 BSL 与 ASL 两种手语体系，消融细致且覆盖零样本与全流程。
- 写作质量: ⭐⭐⭐⭐⭐ 结构逻辑清晰，问题定义与方法机制论述透彻。
- 价值: ⭐⭐⭐⭐⭐ 极大推进了大规模手语连续翻译与无监督对齐语料库建设的工业实用可行性。