ReSCUE: Re-translation with Sentence Commitment for Unsegmented Long-Form Simultaneous Sign Language Translation¶
会议: NeurIPS 2026
arXiv: 2610.03022
领域: 人体理解
关键词: 同声手语翻译, 未分割长视频流, 稳健重翻译, 句子提交机制, 推理感知训练
一句话总结¶
本文提出首个面向未分割长视频流的同声手语翻译统一框架 ReSCUE，通过推理感知训练适应残缺片段与非手语静默、利用带偏置搜索与尾部掩码的稳健重翻译抑制输出闪烁，并结合基于句末标点与词元到达时间的在线句子提交机制实现动态流式切分，在单句基准与新建长视频基准（How2Sign-Long、CSL-Story）上均以约 0.7–1.6 秒的低延迟逼近离线完整句子上界。
研究背景与动机¶
手语翻译（Sign Language Translation, SLT）是消除听障群体与健听群体沟通壁垒的关键技术，但在现场演讲、课堂教学、会议交流等真实交互场景中，手语输入往往是持续不断、未经预先切分的长视频流。近年来，以 Uni-Sign、CV-SLT、SignLLM 为代表的端到端无词注（gloss-free）手语翻译模型借助大规模预训练与多模态语言模型显著提升了翻译质量，但它们大多建立在「离线、单句预切分」的理想假设之上——要求在推理前获取完整单句视频，导致平均延迟高达 4 秒乃至数十秒。少数探索同声手语翻译（Simultaneous SLT）的工作（如基于 Wait-\(k\) 策略的 SimulSLT 和引入翻译长度估计的 CTL++）虽然实现了流式解码，却依然局限于预切分的单句视频，且普遍采用不可撤回的单调增量生成策略，一旦因早期视觉上下文不足产生误译便无法修正，更无法应对真实长视频流中句子边界未知、非手语停顿频繁以及显存随时间无限膨胀的难题。
造成这一落地鸿沟的核心矛盾在于：真实流式手语输入具有高度的时序连续性与不确定性——手语表达中夹杂着大量非语义肢体动作（无法像语音翻译那样靠简单的声学 VAD 能量阈值切分静默），单句尚未打完时极易引发模型幻觉或过早结束，而重翻译（re-translation）机制虽然允许模型随着新视频块到达不断修正早期假设，却会因为多模态解码器词元概率分布的帧间波动引发剧烈的文本重写与视觉闪烁（flicker），且在无边界长视频上持续累积缓冲区会导致计算开销失控与跨句互相覆盖。因此，如何让模型在训练阶段就适应流式分布失配，并在推理阶段同时兼顾「可修正的低延迟输出」、「低闪烁的时序稳定性」与「无需外部切分器的在线句子边界判定与显存清理」，成为将同声手语翻译推向真实长视频应用的关键。
为彻底打通这一闭环，作者将训练数据分布、流式重翻译解码与在线边界切分进行协同设计。核心 idea：提出统一流式同声手语翻译框架 ReSCUE，通过构造「前缀对前缀、静默填充、跨句拼接」三类推理感知训练样本消除流式推理的分布偏移，在推理时对动态视频缓冲区执行结合历史偏置搜索与尾部 Mask-\(k\) 的稳健重翻译，并直接利用语言模型预测的稳定句末标点及词元首次到达时间触发在线句子提交与缓冲区截断。
方法详解¶
整体框架¶
ReSCUE 建立在基于人体姿态的轻量级手语翻译骨干（沿用 Uni-Sign-Pose 架构：由实时全身姿态估计器 RTMW 提取面部、左手、右手、上半身 4 组 2D 关键点，经时空图卷积网络 ST-GCN 提取局部结构特征后输入多模态语言模型 mT5 解码文本）之上，旨在对任意长度的未分割连续手语视频流 \(\mathbf{X}\) 进行实时翻译。系统在训练阶段通过推理感知训练将标准单句标注语料动态转化为包含残缺前缀、非手语静默与连续多句的混合流式训练实例；在流式推理阶段，输入视频按固定帧长 \(\Delta=15\)（30 fps 下对应 500 ms）切分为不重叠的视频块 \(\mathbf{x}_t\) 并逐块压入当前句子的动态输入缓冲区 \(\mathbf{X}_{s^{(i)}:t}\)。每当新视频块到达，系统首先执行稳健重翻译，在参考上一步稳定输出的基础上从头生成当前缓冲区的原始假设 \(\tilde{\mathbf{Y}}_t\) 并截去尾部不稳定词元得到当前稳定假设 \(\mathbf{Y}_t\)；随后通过句子提交机制检测 \(\mathbf{Y}_t\) 中是否出现稳定的句末标点或纯静默标记，一旦触发提交便将已定稿句子追加至历史记录 \(\mathbf{Y}^{(<i)}\)，并根据标点对应的词元到达时间推进缓冲区起点 \(s^{(i+1)}\)，从而在恒定显存开销下完成无限长视频流的无缝翻译。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["连续未分割手语视频流<br/>按固定帧长 Δ 切块入动态缓冲区"] --> B["推理感知训练<br/>前缀截断 + 静默 <SIL> 扩展 + 跨句拼接"]
B --> C["稳健重翻译<br/>历史偏置束搜索 + 尾部 Mask-k 过滤"]
C --> D["句子提交机制<br/>检测稳定句末标点与词元到达时间 τ"]
D -->|触发提交：固化当前句并按 τ 推进缓冲区起点| E["拼接已提交历史与当前假设<br/>输出实时低闪烁双语字幕"]关键设计¶
1. 推理感知训练：消除单句训练与长流式推理之间的分布失配
仅在完整单句视频上训练的 SLT 模型在面对流式推理中的「半截手语输入」、「非手语停顿动作」和「跨句过渡缓冲区」时极易产生严重幻觉或过早输出句号。为此，作者在原词表基础上扩充了静默特殊词元 <SIL> 得到扩充词表 \(\mathcal{V}'\)，并在训练时从长视频单句标注集合 \(\{(b^{(i)}, e^{(i)}, \mathbf{Y}_{\text{ref}}^{(i)})\}\) 出发，按概率在线动态构造三类贴合真实流式工况的训练样本：
1. 前缀对前缀（Prefix-to-Prefix）实例：为了教会模型在视觉信息不完整时输出合理的部分译文而非强行编造完整句子，在句子起止块索引之间均匀采样截断点 \(k \in [b^{(i)}, e^{(i)})\)，将视频截断为前缀 \(\mathbf{X}_{\text{sample}}=(\mathbf{x}_{b^{(i)}},\dots,\mathbf{x}_k)\)，同时将参考文本按相同的时间比例 \(r=(k-b^{(i)}+1)/(e^{(i)}-b^{(i)}+1)\) 截断为对应词元前缀 \(\text{Trunc}(\mathbf{Y}_{\text{ref}}^{(i)}, r)\)，抑制模型在短视频前缀上过早预测终止标点。
2. 静默片段（Silence Segments）增强：手语视频中的非手语区间往往包含呼吸、整理衣物甚至舞蹈等大幅度非语言动作，无法像语音那样在推理时用简单阈值过滤。作者利用离线手部运动学规则（手腕帧间位移速度超过肩宽 3% 且手部垂直高度超过最低点 65% 判为活跃手语帧，否则为非活跃帧）标定非手语块集合 \(\mathcal{S}\)，在句子前后安全区内分别向外扩展 \(\delta_b\) 和 \(\delta_e\) 个静默块，并构造前后缀带连续 <SIL> 标记的目标序列 \(\mathbf{Y}_{\text{sample}}=\texttt{<SIL>}^{\delta_b} \oplus \mathbf{Y}_{\text{ref}}^{(i)} \oplus \texttt{<SIL>}^{\delta_e}\)，同时额外采样纯静默片段配对单个 <SIL>，将非手语判别能力直接内化到 SLT 模型中。
3. 多句拼接（Multi-sentence）实例：为了模拟动态缓冲区跨越相邻句子边界的情形，当相邻两句的时间间隔小于 2 秒（避免混入未标注手语）时，将两段视频及其间的静默块合并为一个样本，目标文本设为两句参考译文与中间对应数量 <SIL> 的拼接 \(\mathbf{Y}_{\text{ref}}^{(i)} \oplus \mathbf{Y}_{\text{ref}}^{(i+1)}\)（在动态管线中，对未做前缀截断的样本拼接下一句的前缀），迫使模型学会在单一缓冲区内感知句子转换并准确打出句末标点。
2. 稳健重翻译：结合历史偏置搜索与尾部掩码抑制流式重写闪烁
相比单调递增的 Wait-\(k\) 解码，重翻译策略允许模型在每收到一个新视频块 \(\mathbf{x}_t\) 时对当前缓冲区 \(\mathbf{X}_{s^{(i)}:t}\) 重新生成完整假设，从而利用后续视觉上下文纠正早期因手势未打完造成的误判；但朴素重翻译会因视觉特征微小变化导致解码器大幅改写已输出词元，造成严重的屏幕闪烁（高擦除率 NE）。为在保留纠错能力的同时稳定输出，ReSCUE 在重翻译解码时串联了两项稳定化机制。首先是在束搜索阶段引入历史偏置搜索（Biased Search）：在生成第 \(t\) 步原始假设 \(\tilde{\mathbf{Y}}_t\) 的第 \(j\) 个位置词元时，若当前已生成前缀 \((\tilde{y}_{t,1},\dots,\tilde{y}_{t,j-1})\) 与上一步稳定输出的前缀 \((y_{t-1,1},\dots,y_{t-1,j-1})\) 完全一致且上一步未发生句子提交，则将候选词 \(w \in \mathcal{V}'\) 的解码概率向历史词元 \(y_{t-1,j}\) 进行插值偏置：
其中 \(\beta \in [0, 1]\) 控制偏置强度（默认取 \(\beta=0.2\)）。一旦新视觉证据足够强、迫使模型在某位置偏离了历史前缀，后续位置的偏置即刻自动失效，从而允许模型自由完成必要的语义修正。其次是尾部掩码（Mask-\(k\)）：由于缓冲区末尾刚进入的视频块缺乏后续上下文，原始假设 \(\tilde{\mathbf{Y}}_t\)（长度为 \(\tilde{L}_t\)）的最后几个词元通常极不稳定，甚至包含误判的早期句号；系统因此在视频流未结束时直接隐去末尾 \(k\) 个词元，仅保留前 \(L_t = \max(0, \tilde{L}_t - k)\) 个词元作为展示给用户并参与下一步偏置与提交判定的稳定假设 \(\mathbf{Y}_t = \text{Mask}(\tilde{\mathbf{Y}}_t, k)\)，从源头上阻断不稳定后缀向后续步骤传播误差。
3. 句子提交机制：基于稳定句末标点与词元到达时间的在线流式切分
面对包含数十个句子的未分割长视频流，若不及时清理已完成翻译的历史视频帧，输入缓冲区将无限增长并拖垮推理速度与翻译质量。ReSCUE 不依赖额外的语音/视觉分段模块或特殊边界符，而是直接利用语言模型对句子完整性的语义理解，以稳定假设 \(\mathbf{Y}_t\) 中首次出现的句末标点（如 .、!、?）或单 <SIL> 词元作为句子提交信号。由于 \(\mathbf{Y}_t\) 已经过 Mask-\(k\) 过滤，一个句末标点只有在其后方继续生成了至少 \(k\) 个新词元（即后续句子已开始或出现静默后缀）且未被推翻时，才会浮现到 \(\mathbf{Y}_t\) 的位置 \(j^*\) 中。此时系统提取 \(\mathbf{Y}^{(i)}=(y_{t,1},\dots,y_{t,j^*})\) 并追加到不可更改的历史译文 \(\mathbf{Y}^{(<i+1)} = \mathbf{Y}^{(<i)} \oplus \mathbf{Y}^{(i)}\) 中。
更为关键的是，提交发生时的当前时间步 \(t\) 往往已经包含了下一句的开头视频块（因为 Mask-\(k\) 推迟了标点的暴露），若直接将下一句缓冲区起点设为 \(t+1\) 就会丢失下一句的起始手势。为此，作者为原始假设 \(\tilde{\mathbf{Y}}_t\) 中的每个位置 \(j\) 维护一个递归更新的词元到达时间（Token Arrival Time） \(\tau_{t,j}\)，记录该位置的词元首次生成且此后保持不变的视频块索引：
该定义直接在未掩码的原始假设 \(\tilde{\mathbf{Y}}_t\) 上追踪，因此不受 Mask-\(k\) 延迟效应的影响，精确锚定了视觉证据首次足以支撑该标点生成的时刻。当位置 \(j^*\) 的句末标点触发提交时，下一句的缓冲区起点被精准推进至 \(s^{(i+1)} = \tau_{t,j^*} + 1\)（若由纯 <SIL> 触发则设为 \(t+1\)），既彻底释放了已定稿句子的历史视觉帧，又完整保留了属于后续句子的全部视觉上下文。
损失函数 / 训练策略¶
- 两阶段预训练与微调：视觉骨干采用仅依赖 2D 关键点的姿态表示（分面部、左手、右手、上半身 4 个语义补丁独立投影后送入 ST-GCN 与 mT5），中文模型使用在 CSL-News 上预训练的 Uni-Sign-Pose 权重初始化，英文模型使用在 YouTube-ASL 上预训练的权重初始化。随后在混合流式实例上以标准自回归交叉熵损失进行端到端微调。
- 动态数据混合概率與超参数：训练与推理统一采用视频块大小 \(\Delta=15\) 帧（30 fps 下每块 0.5 秒），偏置搜索权重固定为 \(\beta=0.2\)。所有数据集均启用前缀截断增强（\(p_{\text{prefix}}=0.5\)）；在长视频数据集（How2Sign-Long、CSL-Story）上额外启用多句扩展（\(p_{\text{multi}}=0.5\)）与静默段增强（\(p_{\text{silence}}=0.2\)），单句数据集上后两者设为 0。优化器采用 AdamW（初始学习率 \(1\times 10^{-4}\)，权重衰减 \(1\times 10^{-4}\)，余弦退火调度），在 4 张 NVIDIA H20 GPU（单卡 batch size 为 8）上完成训练。
实验关键数据¶
主实验¶
作者首先在两个标准单句基准（CSL-Daily 与 Phoenix-2014-T）上评估了 ReSCUE 与现有同声 SLT 及离线 SLT 方法的性能，随后在新建的两个未分割长视频数据集 CSL-Story（平均每段视频含 63 个手语句子）和 How2Sign-Long（平均每段视频含 14 个句子、平均时长 53.69 秒）上进行了流式长视频评测。
表 1：单句基准（CSL-Daily 与 Phoenix-2014-T 测试集）翻译质量与延迟对比（AL 为平均延迟 ms \(\downarrow\)，BLEU 默认指 BLEU-4 \(\uparrow\)）
| 数据集 | 方法类型 | 方法 | AL (ms) \(\downarrow\) | BLEU-1 \(\uparrow\) | BLEU-4 \(\uparrow\) | ROUGE-L \(\uparrow\) |
|---|---|---|---|---|---|---|
| CSL-Daily | 离线 SLT | Uni-Sign (基座) | 4259 | 53.86 | 25.61 | 54.92 |
| CSL-Daily | 离线 SLT | CV-SLT (离线 SOTA) | 4259 | 58.29 | 28.94 | 57.06 |
| CSL-Daily | 同声 SLT | SimulSLT (\(k=1\) / \(k=7\)) | 1427 / 3370 | 41.19 / 41.52 | 12.30 / 13.88 | 40.50 / 43.18 |
| CSL-Daily | 同声 SLT | CTL++ (\(m=0\) / \(m=6\)) | 1163 / 2427 | 43.62 / 43.72 | 14.13 / 14.46 | 41.62 / 41.68 |
| CSL-Daily | 同声 SLT | Zuo et al. (2024) | - | - | 20.63 | - |
| CSL-Daily | 同声 SLT | ReSCUE (\(\beta=0.2, k=0\)) | 693 | 51.84 | 23.32 | 51.67 |
| CSL-Daily | 同声 SLT | ReSCUE (\(\beta=0.2, k=6\)) | 2438 | 53.56 | 24.72 | 54.02 |
| Phoenix-2014-T | 离线 SLT | CV-SLT (离线 SOTA) | 4027 | 54.88 | 29.27 | 54.33 |
| Phoenix-2014-T | 同声 SLT | SimulSLT (\(k=1\) / \(k=7\)) | 1905 / 3885 | 45.69 / 47.18 | 20.10 / 22.65 | 45.62 / 49.47 |
| Phoenix-2014-T | 同声 SLT | CTL++ (\(m=0\) / \(m=8\)) | 1033 / 3061 | 48.57 / 49.54 | 21.84 / 23.75 | 46.94 / 48.34 |
| Phoenix-2014-T | 同声 SLT | ReSCUE (\(\beta=0.2, k=0\)) | 941 | 45.55 | 23.34 | 45.73 |
| Phoenix-2014-T | 同声 SLT | ReSCUE (\(\beta=0.2, k=4\)) | 1327 | 45.83 | 23.68 | 46.26 |
表 2：未分割长视频基准（CSL-Story 与 How2Sign-Long）端到端性能对比（O-R 表示提供真实句子边界给离线 Uni-Sign 逐句翻译再拼接的理想上界；LAAL 为长度自适应平均延迟 ms \(\downarrow\)，NE 为归一化擦除率 \(\downarrow\)）
| 数据集 | 方法 | AL (ms) \(\downarrow\) | LAAL (ms) \(\downarrow\) | BLEU-1 \(\uparrow\) | BLEU-4 \(\uparrow\) | ROUGE-L \(\uparrow\) | NE \(\downarrow\) |
|---|---|---|---|---|---|---|---|
| CSL-Story | Uni-Sign (直接输入整段长视频) | 37722 | 37722 | 4.22 | 2.10 | 32.42 | 0.00 |
| CSL-Story | Uni-Sign (O-R 理想边界上界) | 37722 | 37722 | 48.07 | 24.80 (表15为26.63) | 46.71 (表15为44.76) | 0.00 |
| CSL-Story | ReSCUE (\(\beta=0.2, k=3\)) | 1588 | 2725 | 54.48 | 23.64 | 41.38 | 0.15 |
| How2Sign-Long | Uni-Sign (直接输入整段长视频) | 53687 | 53687 | 1.93 | 0.51 (表15为0.59) | 24.16 (表15为26.32) | 0.00 |
| How2Sign-Long | Uni-Sign (O-R 理想边界上界) | 53687 | 53687 | 40.97 | 15.59 | 39.61 | 0.00 |
| How2Sign-Long | ReSCUE (\(\beta=0.2, k=1\)) | 1580 | 3405 | 49.11 | 14.71 | 38.42 | 0.87 |
注：原文正文的 Table 2 与附录的 Table 15 在 CSL-Story 的 Uni-Sign (O-R) BLEU-4/ROUGE（24.80/46.71 vs. 26.63/44.76）及 How2Sign-Long 的 Uni-Sign 直接推理结果（0.51/24.16 vs. 0.59/26.32）上存在轻微数值差异，此处一并标注，以原文各表为准。
消融实验¶
表 3：CSL-Story 与 How2Sign-Long 上的核心组件消融实验及真人交互评测
| 实验分组 / 数据集 | 配置 | AL (ms) \(\downarrow\) | LAAL (ms) \(\downarrow\) | BLEU-1 \(\uparrow\) | BLEU-4 \(\uparrow\) | ROUGE-L \(\uparrow\) | NE \(\downarrow\) |
|---|---|---|---|---|---|---|---|
| CSL-Story | ReSCUE 完整模型 (\(\beta=0.2, k=3\)) | 1588 | 2725 | 54.48 | 23.64 | 41.38 | 0.15 |
| CSL-Story | w/o Sentence Commit（无句子提交） | 10093 | 10431 | 16.16 | 7.91 | 38.89 | 1.01 |
| CSL-Story | w/o Multi-sentence（无多句拼接训练） | 13525 | 13663 | 21.12 | 9.85 | 38.67 | 0.76 |
| CSL-Story | w/o Silence Segments（无静默片段训练） | -473 | 1699 | 48.34 | 19.26 | 37.43 | 0.32 |
| CSL-Story | w/o Prefix-to-Prefix（无前缀截断训练） | -2470 | 1674 | 47.73 | 21.89 | 41.21 | 0.31 |
| How2Sign-Long | ReSCUE 完整模型 (\(\beta=0.2, k=1\)) | 1580 | 3405 | 49.11 | 14.71 | 38.42 | 0.87 |
| How2Sign-Long | w/o Sentence Commit（无句子提交） | 18225 | 18247 | 2.15 | 0.69 | 27.12 | 1.95 |
| How2Sign-Long | w/o Multi-sentence（无多句拼接训练） | 6510 | 6858 | 42.10 | 12.98 | 37.05 | 1.10 |
| How2Sign-Long | w/o Silence Segments（无静默片段训练） | 6139 | 6503 | 42.56 | 13.33 | 37.23 | 0.97 |
| How2Sign-Long | w/o Prefix-to-Prefix（无前缀截断训练） | 6155 | 6569 | 43.70 | 13.45 | 38.00 | 1.26 |
关键发现¶
- 句子提交与多句训练是长视频流式翻译不崩溃的基石：去掉句子提交机制（w/o Sentence Commit）后，输入缓冲区无限膨胀，模型被迫将整段长视频当作单句处理，导致 CSL-Story 上 BLEU-4 从 23.64 暴跌至 7.91，How2Sign-Long 上从 14.71 暴跌至 0.69，LAAL 延迟飙升至 10 秒以上；而在推理感知训练中，去掉多句拼接训练（w/o Multi-sentence）造成的性能滑坡最大（CSL-Story BLEU-4 跌至 9.85，LAAL 升至 13663 ms），因为模型从未在缓冲区内见过句子边界过渡，导致句末标点迟迟无法生成并被 Mask-\(k\) 反复隐藏（即延迟提交）。
- 前缀训练与静默建模有效遏制了幻觉与异常负延迟：在 CSL-Story 上去掉静默段训练或前缀对前缀训练时，标准平均延迟 AL 出现了反常的负数（-473 ms 与 -2470 ms），同时擦除率 NE 翻倍（从 0.15 升至 0.32/0.31）。这是因为缺乏前缀训练会使模型在极短视频前缀上就脑补出完整句子并过早打出句号触发提交（premature commitment），而缺乏静默建模会在停顿期产生大量幻觉词元；两者都会导致输出序列远长于参考译文，从而在标准 AL 计算公式中制造虚假的「负延迟」，这也验证了引入长度自适应指标 LAAL 的必要性。
- 偏置权重 \(\beta\) 与 Mask-\(k\) 构成稳定性、延迟与质量的互补解耦旋钮：单句消融（表 18）显示，当 \(\beta\) 从 0.0 增至 0.2（在 \(k=0\) 下），CSL-Daily 的闪烁擦除率 NE 从 1.79 大幅降至 0.39，平均延迟从 1711 ms 降至 693 ms；当 \(\beta > 0.2\) 时，过度限制修改会导致 \(k=0\) 下 BLEU-4 下降（如 \(\beta=0.4, k=0\) 时为 19.48），但此时增大 Mask-\(k\)（如 \(k=6\) 时恢复至 24.56，NE 降至 0.04）不仅降低闪烁，反而能显著提升 BLEU，证明 Mask-\(k\) 截断尾部不稳定词元能够阻止错误前缀流入下一步的偏置搜索，抑制了自回归误差累积。
- 单消费级显卡即可满足实时流式部署，真人交互优势显著：在单张 RTX 3090 GPU 上（每视频块 15 帧即 500 ms 间隔），ReSCUE 的平均单步推理耗时仅为 115.42 ms（95 分位耗时 225.00 ms），动态缓冲区在提交步的平均帧数被稳定控制在 146.0 帧（CSL-Story）和 339.2 帧（How2Sign-Long）。在包含 4 名手语者与 8 名健听者的用户研究中，ReSCUE 的主观交互质量（4.3 vs. 3.5）和流畅度（4.4 vs. 3.2）较最强离线基线 Uni-Sign (O-R) 分别提升 22.9% 和 37.5%，长视频问答响应时间缩短至 18.7 秒（快于基线的 20.5 秒和 22.3 秒）。
亮点与洞察¶
- 零额外模块的「标点即提交 + 到达时间回溯」极其精巧：以往流式机器翻译做在线分段往往需要训练专门的边界分类器或在词表中强行插入特殊分段符，而 ReSCUE 直接借用多模态语言模型自身的句末标点作为提交信号，并配合 Mask-\(k\) 天然实现了「等待 \(k\) 个后续词元确认标点稳定后再提交」的防抖机制。更妙的是，为了解决 Mask-\(k\) 延迟确认带来的视频缓冲区切分滞后问题，作者仅用一个简单的递归词元到达时间 \(\tau_{t,j}\) 就能把切分点精准回溯到标点首次生成的视频块，做到不丢帧、不重叠。
- 把非手语动作识别从「前端预处理」变成「序列生成内生能力」：在语音同声传译中，前端声学 VAD 就能轻松滤掉静音段；但在手语视频中，打手语间隙的肢体晃动、表情变化乃至跳舞动作在视觉运动幅度上与真手语高度混杂。本文放弃了在推理前端做硬切分的思路，转而在训练阶段通过离线手部速度/高度规则挖掘静默段并转化为目标端的
<SIL>词元，让具备手语语义理解能力的翻译模型自己在解码端输出<SIL>并触发缓冲清理，跨两套长视频测试集仅有 7.67% 的预测<SIL>引发误提交。 - 方法思路可直接迁移至连续长视频理解、实时唇语识别与流式 GUI 动作解说：任何「输入为无边界连续视觉流、缺乏显式声学停顿信号、且需要低延迟稳定文本输出」的任务（例如长视频在线密集事件描述 Live Dense Video Captioning、连续唇语翻译、第一人称长视频流实时助手），都可以直接复用本文的「前缀/静默/跨句三元推理感知数据增广 + 偏置搜索与 Mask-\(k\) 重翻译 + 词元到达时间驱动的滑动窗口截断」范式。
局限与展望¶
- 过早提交（Premature Commitment）与延迟提交（Delayed Commitment）的不可逆耦合：由于已提交的历史译文固定不可修改，一旦模型在句子开头误将某个手势（如以字母 O 开头的人名手势误判为常接句号的 "OK."）识别为带句末标点的短句并越过 Mask-\(k\) 窗口，就会触发不可逆的过早提交，导致原句剩余部分从半截开始翻译、主谓结构彻底丢失；反之，若在复杂长叙事中模型迟迟不输出句号（或句号始终处于末尾 \(k\) 个位置被 Mask-\(k\) 遮蔽），缓冲区会持续累积数十个视频块，导致早期已经译对的局部内容在后续重翻译中被覆盖抹去。
- 静默误判对句首信息的不可逆截断：尽管预测
<SIL>的整体误提交率较低，但定性失败案例表明，若模型在手语者刚抬手准备打句首主语时误输出纯<SIL>并触发提交，会将包含主语的关键起始视频块直接丢弃（推进至 \(t+1\)），使整句后续翻译缺失主语且无法通过后续重翻译找回。 - 对姿态估计噪声与领域外词表的固有敏感性：为了保证实时性，ReSCUE 完全抛弃了 RGB 外观特征而仅依赖 RTMW 提取的 2D 骨骼关键点，当遇到严重手部遮挡、快速运动模糊或强交互手势时，前端姿态估计误差会直接传导至翻译端；此外，未来可探索在已提交历史句与当前缓冲区之间引入轻量级跨句文本上下文记忆（当前每次提交后似仅独立重翻译新缓冲区），以进一步提升长篇叙事中的指代消解与术语一致性。
相关工作与启发¶
- vs SimulSLT / CTL++（现有单句同声手语翻译方法）：SimulSLT 采用固定延迟的 Wait-\(k\) 策略，CTL++ 引入置信翻译长度估计并在每步移除 \(m\) 个尝试词元，但两者均假设输入视频已按单句预先切分好，且一旦正式提交词元便无法大幅修正早期上下文不足带来的错误；ReSCUE 则将同声 SLT 拓展到了真实未分割长视频流，通过可修正的稳健重翻译与在线句子提交机制，在 CSL-Daily 上将最低延迟从 1163 ms 压低至 693 ms 的同时把 BLEU-4 从 14.46 大幅提升至 23.32–24.72。
- vs Uni-Sign / CV-SLT（离线端到端手语翻译 SOTA）：Uni-Sign 与 CV-SLT 在完整单句视频上取得了极高的离线翻译精度，但直接喂入未分割长视频时 BLEU-4 会崩溃至 0.51–2.10，即便依赖现实中不存在的真实句子边界（Oracle Reference）也必须等待整段视频结束（延迟高达 4–53 秒）；ReSCUE 复用 Uni-Sign-Pose 骨干，仅凭流式训练与推理解码机制改造，就在 1.6 秒左右的延迟下达到了逼近 Oracle 离线分段翻译的质量。
- vs Arivazhagan et al. (2020)（同声语音重翻译范式）：本文的偏置束搜索与 Mask-\(k\) 稳定化策略直接汲取了语音同声传译中重翻译（re-translation）的经典思想，但针对手语视频流「无声学静音边界、帧级视觉变化引发剧烈闪烁、长视频显存爆炸」的模态特性，创新性地补齐了视觉静默
<SIL>内生建模、三元组推理感知训练以及基于词元到达时间回溯的标点提交机制。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次系统性定义并解决了未分割长视频流上的同声手语翻译问题，将推理感知数据增广、稳健重翻译与基于词元到达时间的标点提交无缝融合，工程与算法闭环设计非常扎实。
- 实验充分度: ⭐⭐⭐⭐⭐ 不仅在两个标准单句基准上刷新了延迟-质量帕累托前沿，还构建了 How2Sign-Long 和 CSL-Story 两个长视频基准，并配备详尽的消融、延迟指标对比（AL vs. LAAL）、帧级静默检测验证、单卡实时耗时分析与真人听障-健听交互用户研究。
- 写作质量: ⭐⭐⭐⭐⭐ 问题切入精准，流式缓冲与提交推进的数学符号定义清晰严密，成功与失败案例（过早提交、延迟提交、静默误判）的定性剖析极具参考价值。
- 价值: ⭐⭐⭐⭐⭐ 真正跨越了学术界「单句离线玩具设定」与真实世界「连续长视频实时无障碍沟通」之间的鸿沟，单张消费级显卡即可实时运行，对听障辅助技术的实际落地具有极高应用价值。