跳转至

SemBridge: Language Transfer in Sparse Encoders via Multilingual Semantic Bridge

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/seongtaehong/SemBridge
领域: 信息检索/RAG
关键词: 稀疏编码器, 跨语言迁移, 词表替换, 多模态/多语言语义桥, Entmax稀疏加权

一句话总结

本文提出了一种面向稀疏检索编码器的跨语言词表初始化方法 SemBridge,通过多语言稠密表征作为语义桥梁并引入 Entmax 稀疏截断加权,将目标语言新词元重构为源语言核心同义词的无噪线性组合,实现了强大的零样本跨语言检索性能并显著加速下游微调收敛。

研究背景与动机

稀疏编码器(如 SPLADE 系列、SparTerm)通过在整个词表维度预测词项的重要性权重,既能有效解决传统词汇不匹配问题,又能保留精确的关键词匹配能力与极佳的人类可解释性,更关键的是能直接无缝复用倒排索引(Inverted Index)等工业级检索基建,因而在信息检索领域备受关注。然而,目前高性能的开源稀疏编码器绝大多数以英语为主导进行预训练(如 SPLADE-v3、Granite-30M-Sparse 等)。这种架构与稠密检索器有着根本不同:稠密检索器的表示位于连续的隐空间中,可以通过跨语言稠密对齐进行迁移;而稀疏编码器的输出空间就是词表本身,词表中的每个维度直接承载着明确的检索语义。

这种架构特性导致了严重的跨语言迁移瓶颈:当尝试将英语稀疏编码器迁移到非英语目标语言时,源模型词表中目标语言词元的占比微乎其微。例如统计表明,在 Granite-30M-Sparse 词表中韩语词元仅有 2 个,SPLADE-v3 也存在严重的英语偏置。这意味着稀疏编码器在结构上缺乏足够的“输出维度”来直接表达目标语言的语义重要性。即便收集目标语言检索数据进行微调,随机初始化或仅依赖全局统计量(高斯采样、均值初始化)的新词元嵌入在微调初期依然极度震荡,导致灾难性遗忘并严重制约最终检索精度。而从头为目标语言训练稀疏编码器又依赖极其高昂的 MLM 预训练算力和大规模成对检索数据,对低资源语言极不友好。

面对词表替换(Tokenizer Replacement)过程中源词表与目标词表的表层形式断裂,现有的语义初始化方法(如 FOCUS、OFA)要么局限于仅利用极少数共享重叠词元进行局部外推,要么引入矩阵分解产生难以抑制的虚假语义噪声(例如将阿拉伯语“家”关联到政治词汇)。本文切入的角度是:既然现代多语言稠密模型已经构建了高质量的跨语言对齐语义空间,我们完全可以将其作为跨语言语义桥梁,建立源词表与目标词表之间的细粒度语义映射,并通过极度稀疏的概率截断滤除无意义的长尾子词噪声。核心 idea:利用多语言稠密模型作为语义对齐桥梁,通过可调节稀疏度的 Entmax 变换将目标语言词元精确重构为源语言少数核心同义词的稀疏线性组合,在零训练成本下完整移植源稀疏检索器的判别能力。

方法详解

整体框架

SemBridge 的核心目标是在将源稀疏检索器 \(M\) 的分词器 \(T_s\)(对应词表 \(V_s\))直接替换为目标语言分词器 \(T_t\)(对应词表 \(V_t\))时,为目标词表中的每一个词元赋予高质量的初始嵌入表示 \(E_t \in \mathbb{R}^{|V_t| \times d}\)。整体流程由两个清晰的阶段构成:首先提取语言无关的共享重叠词元集合直接复制参数,保障基础符号表示的一致性;随后针对存在表层断裂的大规模目标语言剩余词元,引入多语言稠密嵌入模型作为语义桥,计算语义相似度矩阵,并通过动态稀疏权重进行源词元嵌入的加权求和重构。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    A["输入:源检索器词表 Vs 与目标词表 Vt"] --> B["重叠词元直接复制<br/>识别标点/数字/跨语言共享词元 Vo"]
    A --> C["剩余目标词元识别<br/>提取无表层对应的新词元集合 R"]
    B --> E["目标词元嵌入矩阵 Et"]
    C --> D["多语言语义桥投影<br/>稠密模型编码跨语言嵌入空间"]
    D --> F["语义相似度稀疏加权<br/>Entmax 截断长尾噪声仅留核心同义词"]
    F --> G["加权线性重构<br/>源词元嵌入线性组合映射至新空间"]
    G --> E
    E --> H["下游检索微调 / 零样本跨语言检索"]

关键设计

1. 重叠词元直接复制:消除通用符号语义漂移并稳定基底表示

跨语言分词器之间虽然在自然语言词汇上存在巨大差异,但在数字、数学符号、标点符号、通用缩写及专有名词等语言无关符号上往往存在天然交集。若对这些词元盲目采用复杂的跨语言投影,反而可能因为统计扰动破坏源模型早已固化的高精度标点与符号表征。SemBridge 首先通过跨分词器交集匹配找出重叠词元集合 \(V_o = V_t \cap V_s\)(在匹配前对大小写与空格进行归一化预处理)。对于任意 \(x \in V_o\),直接将源模型的词元嵌入复制给目标词元:

\[e_t^x = e_s^x, \quad \forall x \in V_o\]

这一操作以零计算代价完整保留了源稀疏编码器在句法结构、数字定位与标点权重分配上的基础先验,为后续引入目标语言独有词汇提供了稳定的空间锚点。

2. 多语言语义桥投影:跨越表层词形鸿沟建立全词表语义关联

对于目标语言词表中绝大多数具有独特字形与语素的剩余词元集合 \(R = V_t \setminus V_o\)(例如中文汉字、韩文字母、阿拉伯字母等),它们在源英文词表中完全不存在同形字。为了在没有双语平行词典的情况下建立语义桥梁,SemBridge 引入预训练多语言稠密嵌入模型 \(B\)(默认采用 BGE-M3,亦可即插即用替换为 mGTE、Qwen3-Embedding 等)。将源词表全集 \(V_s\) 中的每一个词元 \(x_s\) 与目标剩余词元 \(x_t \in R\) 分别通过模型 \(B\) 编码为稠密向量:

\[h_{x_s} = B(x_s), \quad h_{x_t} = B(x_t)\]

随后针对每一个目标词元 \(x_t\),在共享稠密空间内计算其与源词表 \(V_s\) 中所有 \(N = |V_s|\) 个词元之间的余弦相似度,构成相似度向量 \(s_{x_t} = [\cos(h_{x_t}, h_{x_s^1}), \dots, \cos(h_{x_t}, h_{x_s^N})] \in \mathbb{R}^N\)。通过将所有 \(|R|\) 个未初始化词元的相似度堆叠,构成跨语言语义关联系数矩阵 \(S \in \mathbb{R}^{|R| \times N}\)。该设计彻底摆脱了传统词表对齐对人工词典或单语静态词向量重叠的依赖,将单字与子词直接映射到连续多语言语义分布中。

3. 语义相似度稀疏加权:抑制长尾语义干扰并精确提炼核心同义词

从整个源词表计算得出的相似度向量往往包含大量弱相关或偶然巧合的背景噪声(如多义词的非主导义项、无意义子词片段)。如果采用传统的 Softmax 函数,所有源词元都会被赋予大于零的概率权重,导致加权后的目标词元嵌入变成源空间中一个被稀释的模糊平均向量;而基于重叠子集的 FOCUS 或基于低秩分解的 OFA 则常出现虚假强关联(如将阿拉伯语“منزل”(家)关联至“israel”,或将中文“家”关联至无意义子词“##folk”)。为此,SemBridge 采用可调参数的 Entmax 变换来对相似度向量 \(s_{x_t}\) 进行非线性激活与稀疏化投影:

\[p_{x_t} = \text{Entmax}_\alpha(s_{x_t}), \quad \text{s.t.} \sum_{i=1}^N p_{x_t}^i = 1\]

其中超参数 \(\alpha\) 控制分布的稀疏程度(\(\alpha=1\) 退化为无稀疏的 Softmax,\(\alpha=2\) 对应 Sparsemax)。通过设定 \(\alpha=4\),Entmax 能够动态将概率分布的长尾部分精确截断为硬零(exact zeros),仅保留 2~4 个语义最为精准的源语言核心同义词(例如将韩语“집”、中文“家”、阿拉伯语“منزل”无歧义地仅对齐到英文的 "home"、"house"、"casa" 等)。最终的目标词元嵌入通过核心同义词的稀疏加权和得到:

\[e_t^{x_t} = \sum_{i=1}^N p_{x_t}^i e_s^{x_s^i}\]

该机制在严格保持原模型嵌入维度 \(d\) 与网络拓扑结构不变的前提下,实现了无噪的高保真语义移植。

损失函数 / 训练策略

在完成词表替换与 SemBridge 嵌入初始化后,模型具备直接进行零样本跨语言检索的能力。若下游具备目标语言问答或检索对,可进一步进行领域微调。训练目标采用端到端 InfoNCE 对比损失与稀疏度正则化损失的联合优化:

\[\mathcal{L} = \mathcal{L}_{\text{InfoNCE}} + \lambda_q \mathcal{L}_{\text{FLOPs}}(Q) + \lambda_d \mathcal{L}_{\text{FLOPs}}(D)\]

其中 \(\mathcal{L}_{\text{InfoNCE}}\) 基于 batch 内负样本最大化查询与正例段落的打分,FLOPs 正则项约束预测稀疏向量的 \(L_1\) 范数平方以保证计算效率,文档端与查询端的正则化权重分别设为 \(\lambda_d = 1 \times 10^{-4}\) 和 \(\lambda_q = 3 \times 10^{-4}\)。在 4 张 NVIDIA A100 GPU 上采用 AdamW 优化器、bf16 精度、学习率 \(2 \times 10^{-5}\) 微调 1 个 epoch,线性预热比例为 5%。

实验关键数据

主实验

论文在四大主流稀疏编码器架构(Splade-v3、Splade_PP_en_v1、OpenSearch-Sparse-v1、Granite-30M-Sparse)上,针对阿拉伯语(Ar)、中文(Zh)、印地语(Hi)、韩语(Ko)、俄语(Ru)五种不同语系语言,于 WebFAQ 和 MIRACL 基准上系统评测了零样本与微调后的 nDCG@10 检索表现。下表汇总了各模型在两大测试集上的微调后全语言平均检索性能对比(摘自原文 Table 2):

基础模型 评测数据集 Base (无替换) Random Mean Univar. Multivar. FOCUS OFA SemBridge (本文)
Splade-v3 WebFAQ (Avg.) 0.564 0.395 0.205 0.644 0.644 0.624 0.640 0.697
Splade-v3 MIRACL (Avg.) 0.178 0.080 0.011 0.294 0.307 0.210 0.292 0.319
Splade-PP WebFAQ (Avg.) 0.567 0.383 0.213 0.644 0.641 0.614 0.635 0.684
Splade-PP MIRACL (Avg.) 0.169 0.057 0.009 0.290 0.279 0.219 0.260 0.298
OpenSearch-v1 WebFAQ (Avg.) 0.562 0.143 0.213 0.639 0.639 0.619 0.637 0.683
OpenSearch-v1 MIRACL (Avg.) 0.164 0.009 0.012 0.291 0.284 0.200 0.274 0.296
Granite-30M WebFAQ (Avg.) 0.592 0.297 0.167 0.000 0.521 0.577 0.534 0.666
Granite-30M MIRACL (Avg.) 0.160 0.028 0.008 0.000 0.138 0.179 0.142 0.245

消融实验

论文系统分析了语义桥模型选择、Entmax 稀疏度超参数 \(\alpha\) 以及各初始化方法在零样本与下游效率上的表现。下表展示了以 Splade-v3 为主干,不同桥接模型在 WebFAQ 和 MIRACL 上的零样本跨语言检索性能(摘自原文 Table 5),以及不同稀疏度配置对比:

桥接配置 / 初始化策略 桥接模型类型 WebFAQ (Avg. nDCG@10) MIRACL (Avg. nDCG@10) 特性说明
FOCUS (基准) 静态词向量 0.176 0.035 依赖重叠词元局部外推,高维误差大
OFA (基准) 矩阵分解+XLM-R 0.351 0.110 伪相关噪声较多,跨语系不稳定
SemBridge (本文主模型) BGE-M3 (\(\alpha=4\)) 0.422 0.179 零样本跨语言效果最佳,同义词极度精确
SemBridge w/ mGTE mGTE-multilingual 0.378 0.148 稠密判别力强,但略逊于 BGE-M3
SemBridge w/ Qwen3 Qwen3-Embedding-0.6B 0.306 0.114 具备良好鲁棒性,全面优于 FOCUS
SemBridge w/ MiniLM paraphrase-multilingual 0.303 0.092 轻量桥接模型仍显著超越传统基线
SemBridge (\(\alpha=1\), Softmax) BGE-M3 ~0.150 ~0.040 全源词元加权引入海量语义噪声,性能急剧衰退
SemBridge (\(\alpha=2\), Sparsemax) BGE-M3 ~0.350 ~0.130 截断部分噪声,保留较多近义词

关键发现

  • 高质量初始化不仅决定零样本,更深刻限制微调上限:实验表明,简单的随机(Random)或高斯统计量采样(Univar/Multivar)在非英语检索微调中即使经过充分训练,其最终收敛性能依然显著落后于 SemBridge(例如 Granite-30M 在 Univariate 下甚至微调失败得分为 0.000)。SemBridge 在训练第 0 步就拥有最低的初始损失,并在 0.1 个 epoch 内急速收敛至最优状态。
  • 稀疏度截断 \(\alpha\) 是消除跨语言负迁移的核心钥匙:当 \(\alpha=1\)(Softmax)时,目标词嵌入被迫混入成千上万个无关源词元的极小权重,使得检索表现断崖式下跌;当将 \(\alpha\) 增大至 4 时,每个目标词元平均仅与 2~4 个最核心同义词建立连接(如韩文“집”仅连接 "house", "casa", "homes"),有效阻断了非相关上下文语义的交叉干扰。
  • 算力开销与检索延迟实现最佳帕累托前沿:在检索效率方面,FOCUS 方法微调后的稀疏向量激活度过高,导致计算开销(FLOPS)大幅飙升;而 SemBridge 微调后在保持高准确率的同时,维持了极低且紧凑的激活维度,保障了在现有倒排索引架构下的低毫秒级响应。

亮点与洞察

  • 将稀疏跨语言难题解构为连续桥梁对齐与离散硬截断:稀疏编码器由于缺乏显式的多语言共享隐空间,向来被视为跨语言适配的“硬骨头”。本文巧妙地将多语言稠密模型的连续表征作为“翻译中介”,再借由 Entmax 重新离散化、稀疏化为少量源词元的加权和,设计极其简洁优雅。
  • 零额外参数与完全解耦的架构兼容性:SemBridge 是纯粹的嵌入层初始化算子,不需要在源稀疏模型内部增加任何跨语言对齐投影头或适配器层,迁移后模型完全保持原始网络结构与推理吞吐,便于现有系统平滑升级。
  • 可迁移至任意词表扩展或本地化工程:该思路不仅适用于稀疏检索模型,对于大语言模型(LLM)的多语言增量扩表、低资源小语种迁移以及跨模态 Codebook 对齐均有高度可迁移的工程借鉴价值。

局限与展望

  • 语言覆盖多样性仍有待拓宽:论文评测覆盖了 5 种具备成熟单语分词器的大中型语种,但尚未在严重缺乏资源、具有高度屈折形态或生僻文字系统的极端低资源语言(如非洲局部语言、美洲原住民语言)上进行压力验证。
  • 超参数 \(\alpha\) 采用全局固定设定:当前实验对所有目标词元全局采用 \(\alpha=4\)。然而在现实中,专有名词、高频功能词与抽象多义词所需要的同义词数量存在本质差异。未来若能结合词元熵自适应动态调整 \(\alpha\),有望进一步提高复杂多义词的表征保真度。

相关工作与启发

  • vs FOCUS (Dobler and de Melo, 2023):FOCUS 仅基于源词表与目标词表的重叠子集计算相似度并做加权平均。当两种语言的共享词元极少(例如非拉丁语系)时,FOCUS 严重退化且容易产生语义偏移,推理计算开销(FLOPS)极高;SemBridge 借助外部多语言稠密模型,直接连通全部源词表与目标词表,覆盖面与精度全胜。
  • vs OFA (Liu et al., 2024):OFA 依赖矩阵低秩分解将源嵌入解耦为基向量与坐标,容易在近似重建中丢失细粒度词法线索并产生无关幻觉词;SemBridge 直接基于稠密余弦几何距离进行 Entmax 顶层截断,语义保真度显著更高。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 首次将多语言稠密语义桥与 Entmax 稀疏截断引入稀疏编码器的跨语言词表初始化,方案精准切中痛点。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大主流稀疏模型、5 大语系语种、2 大权威检索基准,包含详尽的零样本、微调曲线、效率及定性对齐分析。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密清晰,动机分析一针见血,问题定义与公式推导连贯自然。
  • 价值: ⭐⭐⭐⭐⭐ 为全球化、多语言环境下的高效稀疏检索落地提供了零成本、即插即用的工业级解决方案。