DiscoSign: Discourse-Aware Text to Sign Language Gloss Translation¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 人体理解
关键词: 手语翻译、篇章建模、空间共指、伪分裂从句、大语言模型
一句话总结¶
DiscoSign 是首个面向文本到手语标签(Gloss)翻译的篇章感知计算框架,通过显式状态注册表与确定性规则后处理,在单次大模型调用中协同约束空间共指消解、问答分句重构与概念-标签映射一致性,显著提升多句手语生成的篇章连贯性。
研究背景与动机¶
手语作为一种依赖三维空间与视觉通道的自然语言,拥有极其精密独特的语法与篇章连贯体系。然而,长久以来的文本到手语生成与机器翻译系统普遍局限于单句级(Sentence-level)范式,即机械地将输入文本逐句隔离翻译为手语标签序列。这种割裂上下文的处理方式彻底忽略了跨句子展开的篇章级语言现象,使得生成的手语在语义实体指代、句法修辞乃至词汇选择上破绽百出,严重损害了听障群体的阅读理解体验,也导致下游三维手语数字人合成错误频发。
现有单句级系统在面对手语连续语篇时面临三大核心矛盾:其一,空间共指消解(Spatial Coreference Resolution)的断裂。美国手语(ASL)依赖特定的三维空间参考点来锚定实体(如通过指示代词 IX-3p:i、IX-3p:j 建立空间坐标),并在后续叙述或定向动词(如 i:GIVE:j)中保持坐标一致;单句模型在句子边界处缺乏跨句实体记忆,前句刚将爱丽丝锚定在位置 i,后句便将其随机重分配到位置 j 或反客为主指代他人。其二,问答分句(Question-Answer Clauses, QACs,即带隐性系动词的伪分裂句)的使用失序。ASL 频繁利用“提问+紧跟回答”的修辞结构来凸显因果、转折或主位聚焦(例如将“他答应了,因为他要坐公交”重构为“他答应 为什么? 他坐公交”),单句系统既无法在没有多句因果线索时判断何时该引入 QAC,又容易在篇章开头或回答真实提问时误用 QAC,破坏语篇流向。其三,概念-手语标签(Concept-Gloss)的不一致。受限于单句随机采样与同义词扰动,英语原文中反复指代同一实体的词汇(如 car 与 vehicle)常被交替翻译为 CAR、VEHICLE 或 MACHINE,导致语篇衔接松散且增加视觉认知负荷。
针对这三大篇章现象相互纠缠、难以依靠单句模型或纯隐式上下文提示解决的问题,本文提出显式状态跟踪与约束执行的架构。核心 idea:将篇章级语言学规则形式化为空间索引、因果问答分句与概念映射三大动态注册表,作为硬约束嵌入单次大模型提示词并辅以确定性字符串纠偏,在维持单句翻译质量的同时实现端到端跨句篇章连贯性。
方法详解¶
整体框架¶
DiscoSign 的核心目标是在文本到手语标签翻译中维护语篇全局一致性。整个流程按多句篇章以自回归(Causal)因果时序逐句处理:在翻译第 \(t\) 句 \(s_t\) 时,系统综合此前 \(t-1\) 句累积的全局状态,调用一次大语言模型直接生成手语标签及结构化元数据,并经由确定性后处理器纠偏后更新注册表,传递给后续句子。
系统的端到端流水线包含三个核心模块:空间共指模块(SCM)、问答分句模块(QACM)以及概念-手语标签一致性模块(CGCM)。它们共享一个统一篇章状态 \(U = (S, L, Q)\)。在每一轮翻译中,提示生成器提取前序句子构建的滑动窗口上下文与注册表约束,注入系统指令;大语言模型输出 JSON 格式的翻译与自解析元数据;确定性校验器对比注册表检测冲突,直接在标签字符串中完成硬替换纠正,避免产生二次模型调用的高昂开销。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入当前英语句子 s_t<br/>及滑动窗口前序上下文"] --> B["检索三大篇章注册表 U=(S, L, Q)<br/>构建带硬约束的 Prompt"]
B --> C["大语言模型单次推理<br/>生成 ASL 标签与结构化元数据"]
C --> D["空间共指注册与定向验证<br/>SCM: 纠正空间坐标漂移"]
D --> E["概念-标签一致性映射与查表<br/>CGCM: 强制同义概念统一词汇"]
E --> F["篇章位置与语境约束校验<br/>QACM: 过滤不当伪分裂从句"]
F --> G["确定性字符串纠偏与注册表更新<br/>输出合规标签 g_t 并传递状态至 s_{t+1}"]
关键设计¶
1. 空间共指注册与定向验证:保持视觉空间坐标跨句恒定 手语的空间指示代词与体态指向构成了其独特的共指机制。针对单句模型在句子过渡时空间索引混乱的痛点,空间共指模块(SCM)维护一个三元组空间注册状态集: $\(S = \{(e, i, t) : e \in E, i \in I, t \in T\}\)$ 其中 \(e\) 代表实体名称,\(i\) 代表三维空间位置索引(如第 \(i\) 个任意空间点 IX-3p:i),\(t\) 代表建立映射的句子序号。SCM 强制执行两项硬约束:第一,空间一致性约束(Spatial Consistency),若某实体 \(e\) 已在之前句子 \(t' < t\) 绑定坐标 \(i\),则后续所有指向 \(e\) 的代词或体态必须使用坐标 \(i\);第二,共指对应约束(Coreference Correspondence),当前句声称使用索引 \(i\) 指代实体 \(e\) 时,源语言英语句子必须包含属于该实体共指链 \(C_e\) 的有效提及。对于双向定向动词(\(i\text{:VERB:}j\)),源与目标两个空间端点必须独立同时满足上述约束。在模型输出后,若检测到坐标偏移,后处理器直接执行确定性字符串替换,保证实体坐标在整个故事中永不漂移。
2. 问答分句语境适配与位置约束:精准重构因果与聚焦修辞 问答分句(QAC)是手语中极其地道的主位-述位(Topic-Comment)伪分裂句法,通常由提问前导肢体动作与后置陈述回答组成。单句模型常常滥用或遗漏 QAC,破坏语调流畅性。问答分句模块(QACM)维护篇章决策历史集合: $\(Q = \{(t, q) : t \in T, q \in \{0, 1\}\}\)$ 其中 \(q\) 标识当前句是否被重构成 QAC 结构。该模块设置了明确的篇章触发与阻断机制:在正向触发层面,只有当模型捕获到因果解释(如 English 中包含 because、so that、in order to 并重构为 WHY? 引导的从句)、转折对比或语义焦点强化等特定篇章标记时,才允许激活 QAC;在负向阻断层面,设定严格的篇章起始约束(Discourse Position),在篇章第一句(\(t=0\))或当前句是对前文真实疑问句的直接回答时,强行禁止使用 QAC。第一句约束直接在输入 Prompt 构造期予以预处理屏蔽,并在解析端通过后处理兜底修正。
3. 跨句概念-标签一致性映射与词表合规:消除同义词引起的视觉歧义
在连续叙述中,英语常用丰富同义词进行指代,但手语接收者极度依赖恒定的符号形态来确认受众认知。概念-标签一致性模块(CGCM)追踪已出现的实体概念映射关系:
$\(L = \{(c, g, t) : c \in C, g \in V, t \in T\}\)$
其中 \(c\) 为源语言英语名词概念,\(g\) 为取自受限手语词典 \(V\)(实验采用含 2,859 个标准手语标签的 ASLLRP SignBank 词表)的 ASL 标签。CGCM 实施映射一致性约束(Mapping Consistency)与词表合规约束(Vocabulary Compliance):一旦概念 \(c\) 在前文被映射至标签 \(g\),后续句子出现同义词或指代同一实体的名词时,必须强制复用标签 \(g\);新概念若未收录于 SignBank 词表,则强制触发指拼格式(Fingerspelling,如 fs-W-E-A-S-E-L)兜底。该机制彻底阻断了模型在同义词(如将同一辆车在 S1 译为 CAR,在 S2 译为 VEHICLE)之间的随机摆动。
一个完整示例¶
以《伊索寓言》中“蝙蝠与黄鼠狼”的连续两句为例:
- 英语输入:
- S1: "A Bat fell to the ground and was caught by a Weasel, and was just going to be killed and eaten when it begged to be let go."
- S2: "The Weasel said he couldn’t do that because he was an enemy of all birds on principle."
- 单句基线模型输出:
- S1 错误将黄鼠狼误译为狐狸标签 FOX,并分配坐标 IX-3p:j;
- S2 独立翻译时发现黄鼠狼不在常用词表,回退为指拼 FS-W-E-A-S-E-L,但将其错误分配给了蝙蝠曾占用的坐标 IX-3p:i,导致黄鼠狼与蝙蝠身份倒错,且原因从句丢失了因果问答标记。
- DiscoSign 运行过程:
- 处理 S1 时,SCM 将蝙蝠登记为 IX-3p:i、黄鼠狼登记为 IX-3p:j;CGCM 将 Weasel 登记为指拼 FS-W-E-A-S-E-L;
- 处理 S2 时,Prompt 注入已注册状态作为硬约束。模型输出中,黄鼠狼严格沿用 FS-W-E-A-S-E-L 与 IX-3p:j;QACM 识别到 because 因果分句,自然重构为带有修辞问答的手语结构:“FS-W-E-A-S-E-L IX-3p:j SAY CANNOT FREE IX-3p:i WHY? IX-3p:j OPPOSITE+AGENT ALL BIRD RULE”,空间指代、词汇一致性与修辞语法全部精确对齐。
实验关键数据¶
主实验¶
评估在篇章级叙事数据集《伊索寓言》(Aesop's Fables,284 篇故事,平均每篇约 5 句,包含丰富共指链与因果关系)以及两个单句基线数据集(ASL STEM Wiki、带人工专家标注的授权日常手语数据集)上展开。评测兼顾了本文提出的三大篇章连贯性新指标(空间共指精度 SCA、概念标签一致性 CGC、问答从句合理度 QACAp)与传统机器翻译评价指标(字符级 chrF、语义嵌入模型 COMET)。
| 模型底座 | 评测方法 | 空间共指精度 (SCA) ↑ | 概念一致性 (CGC) ↑ | 问答从句合理度 (QACAp) ↑ | chrF ↑ | COMET ↑ |
|---|---|---|---|---|---|---|
| Gemini 2.5 Pro | 单句独立基线 (Sentence-Level) | 0.29 | 0.59 | 0.70 | 40.9 | 0.77 |
| Gemini 2.5 Pro | 上下文感知基线 (Context-Aware) | 0.48 | 0.68 | 0.72 | 39.4 | 0.76 |
| Gemini 2.5 Pro | DiscoSign (本文提出) | 0.84 | 0.97 | 0.76 | 41.7 | 0.78 |
| Qwen3.6-35B-A3B | 单句独立基线 (Sentence-Level) | 0.12 | 0.73 | 0.73 | 40.1 | 0.73 |
| Qwen3.6-35B-A3B | 上下文感知基线 (Context-Aware) | 0.19 | 0.83 | 0.72 | 41.2 | 0.74 |
| Qwen3.6-35B-A3B | DiscoSign (本文提出) | 0.61 | 0.86 | 0.75 | 40.3 | 0.74 |
单句翻译质量对比(验证篇章扩展不损害单句语义表达):在 ASL STEM Wiki 上,DiscoSign 回译(Back-translation)chrF 达 54.8(对比单句基线 41.9),COMET 达 0.81(对比单句基线 0.73);在日常授权数据集上,DiscoSign 回译 chrF 达 67.2(对比单句基线 65.2),COMET 达 0.90(对比单句基线 0.88)。
消融实验¶
基于 Gemini 2.5 Pro 底座在《伊索寓言》数据集上对各模块开展逐一剥离分析,检验三项篇章机制的独立贡献:
| 配置 | SCM (空间) | CGCM (概念) | QACM (问答从句) | SCA ↑ | CGC ↑ | QACAp ↑ | chrF | COMET | 说明 |
|---|---|---|---|---|---|---|---|---|---|
| 仅空间模块 | ✓ | ✗ | ✗ | 0.81 | 0.64 | 0.71 | 41.8 | 0.78 | 去掉概念与修辞约束,CGC 大幅跌落 |
| 仅概念模块 | ✗ | ✓ | ✗ | 0.71 | 0.95 | 0.72 | 42.5 | 0.79 | 丢失空间约束,SCA 从 0.84 降至 0.71 |
| 空间 + 概念 | ✓ | ✓ | ✗ | 0.84 | 0.97 | 0.72 | 42.5 | 0.77 | 核心指代与词汇完全对齐,QACAp 偏低 |
| 完整框架 (Full) | ✓ | ✓ | ✓ | 0.84 | 0.97 | 0.76 | 41.7 | 0.78 | 各项篇章指标达到全局最优平衡 |
关键发现¶
- 传统机器翻译指标对篇章连贯性极其钝化:传统基于字词重叠的 chrF(约 39-42)和语义向量相似度的 COMET(约 0.74-0.78)在单句基线、上下文基线和 DiscoSign 之间几乎无法拉开差距,甚至在 Qwen 底座上上下文感知基线取得了最高的 chrF。这强有力地佐证了字词重叠度无法衡量手语独特的视觉空间坐标漂移与修辞结构,开发 SCA、CGC 等专用篇章指标势在必行。
- 纯隐式上下文无法替代显式状态约束:仅给大模型提供前序句翻译文本(Context-Aware)时,SCA 仅从 0.29 小幅升至 0.48,而 DiscoSign 跃升至 0.84;即使上下文窗口从 0 句扩展到完整语篇,缺乏显式注册表约束的模型仍然频繁丢失实体追踪。相比之下,DiscoSign 仅需单句前向窗口便可大幅超越拥有完整语篇上下文的隐式基线。
- 人类专家评测印证了新指标的可靠性:两位 ASL 流利评价者对 32 篇故事(152 句)的 Likert 5 分制打分显示,SCA 指标与人工评分具有极高的正相关性(评估者 1 的 Spearman \(\rho=0.50, p=0.005\);评估者 2 的 \(\rho=0.42, p=0.022\);综合 \(\rho=0.52, p=0.003\)),CGC 也展现出显著相关(综合 \(\rho=0.48, p=0.007\))。
亮点与洞察¶
- 提示词工程与确定性规则代码的轻量化双重保障:将篇章状态作为硬约束写入 Prompt 引导 LLM 自主合规,同时在输出端设立免二次请求的确定性字符串纠偏,既保留了大模型对复杂句法重构的灵活性,又以近乎零额外计算成本锁死了实体坐标与词表边界。
- 揭示了机器翻译评估指标在视觉手语中的结构性失灵:字符重叠与语义嵌入只看得到局部词汇对齐,却完全无视三维空间中指代崩溃的致命硬伤;本文构建的 SCA、CGC、QACAp 填补了手语 NLP 领域长期缺乏篇章级可度量基准的空白。
- 开源小参数 MoE 模型的无缝迁移验证:不仅在专有前沿模型 Gemini 2.5 Pro 上效果斐然,在开源混合专家模型 Qwen3.6-35B-A3B(激活仅 3B 参数)上也复现了同等趋势(SCA 提升 +0.49),展现出极强的工程泛化与实用部署潜力。
局限与展望¶
- 依赖大模型的结构化生成能力:框架高度依赖主干模型理解 JSON Schema 及遵守提示约束的能力,当底座模型指令遵循能力较弱时,解析与纠偏开销会显著增加。
- 问答分句(QAC)触发规则的硬编码局限:目前 QACM 主要基于因果、转折等硬性句法触发词,难以拟合母语手语者在不同语域、个人签署习惯下的可选性(Optionality)修辞风格;未来需演进为基于真实语料训练的数据驱动型概率触发器。
- 尚未覆盖非手势表情与副语言标记(NMMs):手语中极其重要的面部表情、头部转动及体态停顿未在标签中直接标注,但本文构建的三大注册表状态已天然包含了驱动下游面部与空间姿态数字人的全部前置上下文。
相关工作与启发¶
- vs. 单句级手语翻译与直接端到端翻译 (Gong et al., 2024; Fayyazsanavi et al., 2024):以往工作专注于单句级 Gloss2Text 或 Text2Gloss 的平滑微调与词表对齐,忽视了手语本质上的空间共指连续性;DiscoSign 是首个在文本到手语标签阶段系统化建模跨句篇章特性的计算框架。
- vs. 手语空间指代与语言学分析 (Yin et al., 2021a; Caponigro & Davidson, 2011):早期语言学工作探讨了手语指示代词的指代机制与 QAC 语义学,但缺乏端到端可运行的生成式翻译落地;DiscoSign 首次将形式语言学中的篇章结构理论工程化为实用的模块化状态注册表机制。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次系统化提出篇章感知的手语标签翻译范式,并定义三套全新的篇章级评估指标]
- 实验充分度: ⭐⭐⭐⭐⭐ [涵盖专有与开源模型底座,并包含消融实验、上下文敏感性分析及母语手语者双盲人工校验]
- 写作质量: ⭐⭐⭐⭐⭐ [语言学背景扎实,篇章约束与形式化定义完备清晰,问题切入直击痛点]
- 价值: ⭐⭐⭐⭐⭐ [为真实手语交流与三维手语数字人驱动提供了不可或缺的篇章级连贯基石]