Event Stream-based Sign Language Translation: A High-Definition Benchmark Dataset and A Novel Baseline¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/Event-AHU/OpenESL/tree/main/EvSLT
领域: 人体理解
关键词: 事件相机, 手语翻译, Mamba网络, 超图神经网络, 时空特征融合

一句话总结¶

针对传统可见光手语翻译易受运动模糊、光照变化及隐私泄露限制的问题，构建了首个 1280×720 高清、大规模真实事件流手语翻译基准数据集 Event-CSL（14,827 个视频），并提出了结合 Mamba 片段级空间记忆聚合与超图引导时空融合（GSTF）的免 Gloss 端到端翻译基线 EvSLT。

研究背景与动机¶

手语翻译（Sign Language Translation, SLT）作为人工智能辅助无障碍交流的核心技术，旨在将连续手语视频自动翻译为自然语言文本，对保障听障人士的社会沟通与生活质量具有重要意义。然而，现有主流手语翻译系统几乎全部构建于传统 RGB 可见光相机之上。在手部动作快速切换、手指微小手势频繁翻转的场景下，RGB 相机极易产生严重的运动模糊和快门拖影；同时在户外强曝光或室内昏暗照明等极端光照条件下，帧率与画质的剧烈劣化导致手语识别准确率骤降。此外，可见光传感器完整记录了手语者的面部五官与真实环境细节，使得模型部署和实际落地面临不可忽视的人脸隐私与生物特征合规风险。

仿生事件相机（Event Camera）以微秒级时间分辨率异步记录像素级亮度变化脉冲，天然具备高动态范围（HDR）、低功耗、低时延抗模糊特性，且异步脉冲信号在物理成像层面对人体面部具有自然的隐私保护效果，为克服上述瓶颈提供了极具潜力的全新感知范式。然而，事件流手语翻译研究目前受制于两大约束：其一是真实物理数据极度匮乏。早期工作多采用 RGB 合成伪事件流，无法反映真实传感器的物理噪声与时序抖动；既有真实事件数据集（如 SL-Animal-DVS、EV-ASL、EvCSLR）分辨率普遍极低（仅 128×128 或 346×260），且多数仅针对孤立词识别任务；唯一涉及翻译的 EvSign 数据集出于隐私顾虑强行裁切了签署者的头部区域，这不仅破坏了事件流信号的连续性，更彻底抹除了手语语法不可或缺的头部运动与面部表情线索。其二是在模型建模层面，为了规避细粒度高维空间建模带来的巨大计算开销，现有模型普遍过度依赖时序一维卷积或轻量池化，完全忽视了细微手势结构、手掌朝向等空间几何细节对消歧手语语义的决定性作用。

针对上述两大数据与方法瓶颈，本文使用 Prophesee EVK4-HD 相机采集并发布了首个真正意义上的大规模全高清真实事件流手语翻译基准 Event-CSL，并设计了专为高维事件流时空建模量身定制的免 Gloss 框架 EvSLT。核心 idea：利用状态空间模型 Mamba 的线性序列建模能力对固定片段实施渐进式空间记忆聚合以规避计算爆炸，并通过构建片段级超图（Hypergraph）作为交互桥梁，在轻量注意力机制下实现细粒度空间细节与时序运动特征的深度协同与端到端文本生成。

方法详解¶

整体框架¶

EvSLT 采用端到端的一体化免 Gloss（Gloss-Free）翻译架构。输入连续事件流先在固定非重叠时间窗内离散化堆叠为事件视频帧序列，输入 ResNet-18 视觉主干网络提取逐帧空间特征。随后网络分化为时序与空间两路表征分支：时序分支通过空间全局平均池化与双层一维时间卷积，抽取表征连续手势运动轨迹的时序动态；空间分支则将长视频特征切分为固定长度的片段，借助双向 Vision Mamba 模块在片段内压缩细粒度空间拓扑，并跨片段传递记忆向量。随后，两路特征在超图引导时空融合模块（GSTF）中进行交互——以片段超图神经关联为桥梁，利用轻量交叉注意力与自注意力完成动静态线索互补，最后经符号嵌入层送入预训练 mBART 语言模型自回归生成中文句子。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入事件脉冲序列<br/>时间窗堆叠为事件帧序列"] --> B["ResNet-18 视觉主干网络<br/>多尺度下采样与特征抽取"]
    B --> C1["时序特征分支<br/>空间全局池化 + 双层 1D Conv"]
    B --> C2["Mamba 记忆聚合<br/>片段空间压缩与状态空间序列记忆"]
    C2 --> D1["超图关系建模<br/>K-NN 构图 + HGNN 高阶关联传播"]
    C1 --> E["超图桥接双路注意力融合<br/>SA 增强时序动态 / CA 检索空间细节"]
    D1 --> E
    C2 --> E
    E --> F["符号嵌入与 mBART 解码器<br/>多语言预训练权重自回归生成文本"]
    F --> G["输出目标中文文本"]

关键设计¶

1. 基于 Mamba 的片段级空间记忆聚合：线性复杂度下捕获高维事件细粒度空间细节 针对事件流高分辨率帧长序列直接进行自注意力建模时二次方计算复杂度爆炸、而传统池化又严重损失手势几何拓扑的矛盾，本文提出片段级划分与双向 Mamba 记忆传递机制。模型将连续视频特征 $F \in \mathbb{R}^{B \times T \times C' \times H' \times W'}$ 沿时序切分为 $n$ 个固定长度片段（每片段含 8 帧），各片段特征重塑为空间 token 序列。对第 $i$ 个片段通过空间全局池化生成紧凑的片段代表特征 $F_i^g \in \mathbb{R}^{B \times 1 \times C'}$，并与片段细粒度空间 tokens 拼接后送入双向 Vision Mamba（Vim）层。利用选择性状态空间模型的离散化连续系统表征能力（Zero-Order Hold 规则）： $$h' = \overline{A}h + \overline{B}x', \quad y = Ch'$$ 通过前向与后向双向扫描捕捉全向手势几何关系，并将更新后的压缩片段特征 $F_g^{(i)\prime}$ 作为记忆缓存递推传递给第 $i+1$ 个片段，仿照人类时序记忆机制逐步聚合长程时空背景，最终输出高度富集空间微观细节的全局表征 $F_s$ 与片段记忆集合 $F_g$。

2. 基于超图神经网络的片段级高阶关联建模：突破欧氏距离限制捕捉复杂手势语义跳变 手语表达中动作的语义关联常常跨越多个离散片段，存在非局域性与高阶语义共现特征。本文将压缩后的各视频片段特征向量 $F_g$ 视为图节点，通过欧氏距离构建 K 近邻超图结构（$K=10$），超边能够同时囊括多个彼此语义相关的视频片段。利用节点-超边关联矩阵 $H$ 与度矩阵 $D_v, D_e$ 构造归一化超图传播矩阵： $$G = D_v^{-\frac{1}{2}} H D_e^{-1} H^\top D_v^{-\frac{1}{2}}$$ 借助超图神经网络（HGNN）进行高阶拓扑信息传播：$F'_g = G(F_g W + b)$。该设计突破了传统图神经网络只能对成对节点建模的局限，精准刻画了多动作片段间的复合手语语义关系，为后续时空融合提供了极具判别力的上下文拓扑骨架。

3. 超图特征桥接的双路注意力时空融合：以低维图节点为纽带规避全局密集计算 高维空间特征包含海量密集 tokens，而时序特征与图节点特征序列较短。若直接让时序与细粒度空间特征进行全局交叉注意力计算，将带来巨大的显存占用。本文设计了由超图特征 $F'_g$ 充当语义中介的双路并行注意力架构： $$F_{SA}^t, F_{SA}^g = \text{SA}([F'_t, F'_g]), \quad F_{CA}^g = \text{CA}(Q=F'_g, K=F_s, V=F_s)$$ 在自注意力（SA）分支中，时序动态与图节点拼接交互，强化运动连续性；在交叉注意力（CA）分支中，低维图节点充当 Query，海量空间 tokens 仅作为 Key 和 Value，大幅压缩了注意力矩阵计算量。两路输出的图特征通过逐元素相乘融合（$F_{SA}^g \odot F_{CA}^g$），再与时序特征送入前馈神经网络变换，以极小计算开销达成了空间细粒度细节与时间运动规律的高效对齐。

4. 免 Gloss 端到端手语翻译解码：摆脱昂贵标注依赖与误差累积 针对传统手语翻译严重依赖逐词 Gloss 标注、易在两阶段管线中发生错误级联放大的痛点，EvSLT 采用端到端直接映射范式。融合后的多模态时空特征经由轻量级符号嵌入层（Linear + ReLU）对齐至文本语义空间，直接输入预训练多语言模型 mBART-large 的编码器-解码器架构中（初始化 3 层 Transformer 编码层与 3 层解码层），在序列级交叉熵损失驱动下直接完成从原始事件脉冲到目标中文句子的端到端生成。

一个完整示例¶

以翻译包含微小手势区分的句子“五个男孩正站在帐篷前面的一个舞台上”为例： 1. 脉冲输入与切片：事件相机采集到异步脉冲流，按非重叠时间窗堆叠为 $T=120$ 帧事件图像，输入 ResNet-18 生成 $120$ 组空间下采样特征； 2. 时序与空间双轨处理：时序分支将 120 帧特征经空间池化后通过核大小为 5 的 1D 卷积，捕捉手臂挥动与身体姿态的宏观位移；空间分支将特征划分为 $n=15$ 个片段（每片段 8 帧），双向 Mamba 逐片段递推更新空间细节记忆，精细保留手指张开数量（“五”）与手掌曲度； 3. 超图拓扑连接与双路融合：15 个片段节点通过 K-NN 建立超图，HGNN 将“男孩”、“站立”、“帐篷”、“舞台”对应动作片段的高阶依赖关联起来；低维图特征作为 Query 在交叉注意力中检索手势细节，在自注意力中对齐时间位移； 4. 端到端文本生成：融合特征直接投影至 mBART 词表空间，自回归顺序输出预测 Token 序列，精准避免将“五个男孩”误译为单一“男孩”，或因背景明暗突变产生漏译。

损失函数 / 训练策略¶

模型采用基于标签平滑的标准自回归交叉熵损失函数指导全网络端到端训练。给定目标中文文本序列 $S = \{\langle\text{bos}\rangle, w_1, w_2, \dots, w_U, \langle\text{eos}\rangle\}$，损失函数定义为目标词元的负对数似然： $$\mathcal{L} = -\sum_{u=1}^{U} \log p(w_u \mid w_{<u}, \mathcal{E})$$ 训练阶段采用 SGD 优化器，基础学习率设为 0.01，配合余弦退火学习率调度器（Cosine Annealing）训练 200 个 epoch，批大小（Batch Size）设为 6，输入图像分辨率统一缩放为 224×224，在 NVIDIA A800 GPU 集群上完成优化。

实验关键数据¶

主实验¶

在本文提出的新基准 Event-CSL 以及唯一公开事件翻译基准 EvSign 上，EvSLT 与主流手语翻译模型进行了系统评测。在 Event-CSL 上，EvSLT 在免 Gloss（Gloss-Free）算法中达到 SOTA 性能，显著超越以 ViT / LLM 为基底的近期强基线；在 EvSign 数据集上，EvSLT 同样斩获所有评估指标的第一名。

表 1：Event-CSL 数据集上的翻译性能对比

算法	录用会议	主干网络	范式	ROUGE-L	BLEU-1	BLEU-2	BLEU-3	BLEU-4
Joint-SLT	CVPR 2020	ViT	Gloss-based	60.89	61.24	55.38	47.41	42.30
Chen et al.	CVPR 2022	S3D	Gloss-based	75.60	77.26	68.47	62.31	55.68
Sign-XmDA	EMNLP 2023	ViT	Gloss-based	65.81	66.96	60.18	52.54	48.15
TSPNet	NeurIPS 2020	I3D	Gloss-free	26.63	30.91	17.84	10.89	7.25
GASLT	CVPR 2023	ViT	Gloss-free	31.69	34.27	23.41	16.73	12.64
GFSLT	ICCV 2023	CNN	Gloss-free	67.23	69.00	60.62	53.77	48.20
SignCL	NeurIPS 2024	CNN	Gloss-free	67.76	69.12	60.88	54.18	48.52
Sign2GPT	ICLR 2024	ViT	Gloss-free	68.74	70.35	61.98	55.13	49.23
SpaMo	NAACL 2025	ViT	Gloss-free	67.78	68.59	61.27	55.12	49.08
MMSLT	ICCV 2025	CNN, BERT	Gloss-free	68.95	70.70	62.18	55.42	49.95
EvSLT (本文)	ECCV 2026	CNN, Mamba	Gloss-free	69.80	71.36	63.01	56.28	50.76

表 2：EvSign 数据集上的翻译性能对比

算法	录用会议	输入模态	主干网络	ROUGE-L	BLEU-1	BLEU-2	BLEU-3	BLEU-4
Joint-SLT	CVPR 2020	RGB	ViT	40.05	39.84	23.54	15.60	10.63
VAC+TH	ICCV 2021	RGB	CNN, BiLSTM	39.08	38.74	23.90	15.88	10.19
CorrNet+TH	CVPR 2023	RGB	CNN, BiLSTM	39.41	39.45	23.74	15.68	10.57
Joint-SLT	CVPR 2020	Event	ViT	41.54	40.13	24.36	16.04	10.87
GFSLT	ICCV 2023	Event	CNN	51.98	54.26	35.91	24.97	17.88
Zhang et al.	ECCV 2024	Event	CNN, BiLSTM, ViT	42.43	41.44	25.61	17.55	12.37
MMSLT	ICCV 2025	Event	CNN, BERT	52.14	54.29	37.68	26.09	19.12
EvSLT (本文)	ECCV 2026	Event	CNN, Mamba	53.43	55.45	38.45	27.41	20.20

消融实验¶

表 3：Event-CSL 上的核心组件消融分析

实验编号	时序分支	空间分支	Mamba 记忆聚合	GSTF 超图时空融合	ROUGE-L	BLEU-4	参数量 (M)
(a) 仅时序	✓	✗	✗	✗	67.23	48.20	115.5
(b) 仅空间	✗	✓	✓	✗	56.31	35.12	119.8
(c) MLP 替代 Mamba	✓	✓	✗	✓	69.14	50.08	134.4
(d) 移除 GSTF 模块	✓	✓	✓	✗	69.02	49.94	130.7
(e) 完整模型 (EvSLT)	✓	✓	✓	✓	69.80	50.76	138.2

表 4：融合机制与序列架构对比（Event-CSL 数据集）

消融维度	具体配置	ROUGE-L	BLEU-1	BLEU-4	说明
融合策略	Direct Concatenate	65.79	67.32	47.00	简单拼接缺乏跨维度交互机制
	Vanilla Cross-Attention	69.02	70.47	49.94	缺乏图结构，时空特征直接交互计算重且欠缺高阶关联
	Ours w/o Graph	69.08	70.81	50.17	去除超图拓扑，无法捕捉跨片段关联
	Ours (GSTF)	69.80	71.36	50.76	超图特征桥接双路注意力最优
序列骨干	BiLSTM	68.07	69.90	48.68	门控机制在长序列上表征衰减
	Transformer	69.16	70.51	49.74	注意力二次方复杂度受限
	Mamba (Ours)	69.80	71.36	50.76	选择性状态空间长程建模与信息压缩最佳

关键发现¶

时空两路不对称性与互补性：仅凭时序分支即可达到 48.20 BLEU-4，而仅凭空间分支仅有 35.12 BLEU-4，印证手语本质上高度依赖时序连续性与运动轨迹；然而引入细粒度空间记忆后，BLEU-4 进一步跃升 +2.56（从 48.20 到 50.76），定性实验证实空间特征能够精准提供修饰词（如手指数目、颜色修饰、物品特定属性）的辨识依据。
Mamba 记忆聚合的有效性：将 Mamba 模块退化为普通 MLP 会导致 BLEU-4 下降 0.68，相比 Transformer 提升 +1.02 BLEU-4。这表明具有连续时域物理意义的选择性状态空间方程，非常适合对按时间切片的连续事件图像片段进行渐进式特征累积。
超图拓扑桥接价值：去除超图结构后，BLEU-4 下降 0.59。超图使得相距较远但表达同一复合概念的视频片段得以直接建立拓扑关联，有效补偿了标准时序卷积局部窗口的感知盲区。
极高推理效率：在运行效率对比中（表 6），EvSLT 单个视频推理时延仅为 86 ms，比 MMSLT（1382 ms）快近 16 倍，比 Sign2GPT（247 ms）快近 3 倍，FLOPs 仅 252.0G，参数量仅 138.2M，是当前所有免 Gloss 模型中兼顾性能与部署速度的最佳方案。

亮点与洞察¶

数据集质量与规模的跃升：Event-CSL 是领域首个 1280×720 全高清、全保留人脸与肢体原生动态的大规模事件流数据集（14,827 个视频、6,097 个 Gloss 词汇），彻底摆脱了过去 128×128 玩具式合成数据与遮挡头部的非自然实验设定。
图特征中介的轻量计算 Trick：没有直接将高维细粒度空间 tokens 铺开进行密集计算，而是提取紧凑图节点充当 Query，把细粒度空间特征仅作为 Key/Value 接入交叉注意力。这一设计既实现了跨时空细致检索，又大幅遏制了显存暴涨。
可迁移设计范式：将连续事件流按短视频片段（Clip）切片、在片段内部与跨片段间用 Mamba 做记忆循环累计、并使用超图抽取片段级高阶关联的 pipeline，可直接泛化到事件相机动作识别、微表情识别和细粒度机器人灵巧手操作轨迹理解任务中。

局限与展望¶

事件流堆叠带来的时间离散化：当前框架仍需将连续微秒级异步事件流以固定时间窗切块堆叠为 2D 帧。这种妥协虽然便于复用 ResNet 和 2D 视觉算子，但不可避免地抹平了事件相机最核心的高频微秒级时序异步脉冲特性。
高分辨率输入尺寸压缩瓶颈：尽管采集了 1280×720 全高清原生脉冲，受限于实验显存开销，网络训练时仍将输入帧强制双三次插值缩放到 224×224，这直接丢失了部分极细小的手指微动与边缘边缘脉冲。
未来演进方向：未来可探索免切帧的脉冲神经网络（SNN）或直接基于点云/点流的连续事件流表征主干，并在更大规模的未标注手语视频上引入掩码自编码器（MAE）或时空自监督预训练。

评分¶

新颖性: ⭐⭐⭐⭐☆ (发布首个高规格全高清真实事件流手语翻译基准，Mamba 空间记忆聚合与超图时空融合设计精巧)
实验充分度: ⭐⭐⭐⭐⭐ (全方位评测了主流 10 种 SLT 基线，消融涵盖各组件、融合形式、主干架构、帧数与层数，包含参数与时延评估)
写作质量: ⭐⭐⭐⭐⭐ (问题动机清晰深刻，方法公式表达规范，实验论证严谨详实)
价值: ⭐⭐⭐⭐⭐ (推动仿生事件视觉赋能辅助无障碍交流的核心基础设施，兼具学术开创性与工程实用价值)