跳转至

Jasper-Flash: Elastic Token Compression and Progressive Distillation for Inference-Scalable Text Embedding Models

会议: EMNLP 2026
论文: ACL Anthology
代码: https://huggingface.co/infgrad/Jasper-Token-Compression-600M
领域: LLM/NLP
关键词: 文本嵌入模型, 弹性Token压缩, 渐进式知识蒸馏, 多教师蒸馏, 推理加速

一句话总结

Jasper-Flash 提出了包含弹性 Token 压缩(ETC)与压缩自适应渐进式蒸馏(CAPD)的文本嵌入框架,在单模型内支持动态压缩率调节,使 600M 模型在 1024 长度下延迟降低至 4.48 ms(加速 5.4 倍),且在 MTEB 上达到超越 4B 模型的 74.75 分。

研究背景与动机

随着稠密文本检索与向量数据库的普及,文本嵌入模型已成为大规模语义搜索与文档聚类的基础设施。然而,在计算与内存受限的实际生产场景中部署顶尖嵌入模型面临严重瓶颈:一方面,模型参数量的膨胀带来了沉重的显存负担;另一方面,更致命的在于 Transformer 自注意力机制关于输入序列长度的二次计算复杂度 \(\mathcal{O}(L^2)\),导致长文本编码延迟急剧上升。尽管以 Matryoshka 表示学习(MRL)为代表的表征弹性技术有效解决了向量维度弹性裁剪与存储开销,但推理阶段的前向计算开销始终未能得到弹性化控制。

针对序列长度瓶颈,现有的序列缩减方案(如固定词向量剔除、层间池化或基于相似度的 Token 合并)大多采用静态硬截断或复杂的动态合并策略。静态硬截断机械切除尾部 Token,会导致长文档检索中关键证据位于中尾段时检索彻底失败;而基于 Token 相似度的合并操作(如 ToMe)引入了不可忽视的逐层相似度计算与排序开销,在大序列下往往抵消了加速红利。更关键的是,现有方法在训练完成后仅支持固定的缩减比例,无法针对不同任务实时权衡计算预算与表征质量。

直接将高比例 Token 压缩与知识蒸馏联合优化会带来严峻的优化冲突:Token 压缩本质上是有损压缩,若在学生模型尚未建立稳固语义表征空间时过早施加激进的空间缩减,会导致特征空间坍塌与训练震荡。核心 idea:将表征能力建立与序列压缩适应显式解耦,通过轻量级弹性 Token 压缩(ETC)结合四阶段压缩自适应渐进式蒸馏(CAPD),在异构多教师监督下先筑牢全序列语义对齐,再平滑过渡到固定比例与动态随机压缩,使单模型具备推理时按需缩放序列长度与计算延迟的能力。

方法详解

整体框架

Jasper-Flash 的核心由两个相互协同的部分组成:轻量级的弹性 Token 压缩模块(ETC)以及四阶段压缩自适应渐进式蒸馏机制(CAPD)。模型以 Qwen3-Embedding-0.6B 为初始化主干,在嵌入层与首层注意力层之间插入由前馈网络与自适应一维平均池化构成的 ETC 模块,直接在浅层缩减序列空间长度。整个训练流程划分为四个由浅入深的阶段:Stage 1 全序列异构双教师蒸馏对齐、Stage 2 固定压缩率适应、Stage 3 动态随机采样压缩泛化、以及 Stage 4 检索任务对比微调正则化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入序列 (Lin, d)"] --> B["长度阈值与比例采样<br/>计算目标序列长度 Ltgt"]
    B --> C["弹性 Token 压缩 (ETC)<br/>Qwen3MLP 特征投影 + AdaptiveAvgPool1d"]
    C --> D["异构多教师蒸馏 (Stage 1)<br/>Qwen3-8B 与 QZhou-7B 特征融合对齐"]
    D --> E["渐进式压缩课程训练 (Stage 2 & 3)<br/>固定比例打底 + 动态区间采样与拓扑保持"]
    E --> F["检索正则化任务自适应 (Stage 4)<br/>对比学习 InfoNCE + KL散度 + 语义锚定"]
    F --> G["弹性多尺度嵌入输出 (dim: 2048)"]

关键设计

1. 弹性 Token 压缩(ETC):阈值保护与轻量级池化实现零额外开销弹性缩放 针对长文本注意力开销巨大而短查询极易被过度压缩冲淡语义的问题,ETC 模块被置于嵌入层与首层自注意力之间。输入 Token 序列首先通过一个随机初始化的 SwiGLU 前馈网络(Qwen3MLP)进行逐 Token 非线性映射,在保持序列长度与隐层维度不变的前提下预先提炼局部 Token 交互。随后,模块采用一维自适应平均池化(AdaptiveAvgPool1d)将序列空间维度确定性压缩至目标长度 \(L_{tgt}\)。为防止短文本查询在压缩时丢失微小判别特征,模块引入长度阈值 \(L_{th}\)(默认设为 80): $\(L_{tgt} = \begin{cases} L_{in}, & \text{if } L_{in} \le L_{th} \\ L_{th} + (L_{in} - L_{th}) \times \rho, & \text{if } L_{in} > L_{th} \end{cases}\)$ 其中 \(\rho \in (0, 1]\) 为用户指定的压缩比例。该设计确保低于 80 Token 的短句完好无损,而超过阈值的冗长上下文按比例压实,完全基于密集的矩阵并行运算,规避了复杂排序与动态图调度开销。

2. 异构多教师特征蒸馏:互补空间等权融合构建稳固语义基础 为解决单一教师模型任务偏置问题,并避免学生模型过早承受多目标优化压力,CAPD 在 Stage 1 保持完整序列(不启用压缩),汇聚检索与匹配双领域的优势教师监督。选取在非对称检索任务上表现优异的 Qwen3-Embedding-8B(表征 \(E_{qwen}\) 取前 1024 维)与在语义文本相似度(STS)上拔尖的 QZhou-Embedding-7B(通过无参数块求和从 3072 维降至 1024 维,记为 \(E_{qzhou}\))。将两教师的归一化表征拼接并进行全局 \(\ell_2\) 归一化: $\(E_t = \mathrm{Norm}\big(\mathrm{Norm}(E_{qwen}) \,\|\, \mathrm{Norm}(E_{qzhou})\big)\)$ 在数学上,该全局归一化拼接矢量的点积严格等价于两个独立教师余弦相似度的算术平均值:\(U \cdot V = \frac{1}{n}\sum_{i=1}^n (u_i \cdot v_i)\)。学生模型以 Qwen3-Embedding-0.6B 初始化,将末尾 Token 池化改为均值池化,并通过线性映射投影至 2048 维。采用余弦距离损失 \(\mathcal{L}_{cosine} = 1 - E_s \cdot E_t\) 进行对齐,仅用 0.6B 参数即可融合双教师在检索与语义相似度上的互补能力。

3. 渐进式压缩课程训练:两阶段由固入动平滑适应与语义拓扑保持 针对一次性引入高比例动态压缩容易引起训练崩塌的优化瓶颈,CAPD 将压缩适应拆分为 Stage 2(固定压缩率)与 Stage 3(动态随机采样)。在 Stage 2 中,固定设定基线压缩比例 \(\rho_{base} = 0.33\) 与阈值 \(L_{th} = 80\),仅依靠余弦损失 \(\mathcal{L}_{cosine}\) 引导学生模型在平稳的压缩空间中完成初始化适应。在 Stage 3 中,解除固定比例束缚,在每个批次内按概率分段随机采样压缩率 \(r\)(0.2 概率采样自 \([0.1, \rho)\),0.4 概率取基准 \(\rho\),0.2 概率采样自 \((\rho, 2\rho]\),0.2 概率采样自 \((2\rho, 1.0]\))。为了防止极端压缩下表征流形的相对几何结构失真,引入成对相似度损失(Pairwise Similarity Loss): $\(\mathcal{L}_{similarity} = \mathrm{MSE}(E_s E_s^\top, E_t E_t^\top)\)$ 联合优化目标为 \(\mathcal{L}_{s3} = \lambda_1 \mathcal{L}_{cosine} + \lambda_2 \mathcal{L}_{similarity}\),迫使学生网络在剧烈变化的序列长度下始终忠实还原全尺寸教师表征的语义拓扑。

4. 检索正则化任务自适应:防遗忘语义锚定与难负例对比微调 针对非对称密集检索对池化稀释高度敏感、易在下游任务微调中发生灾难性遗忘的缺陷,Stage 4 转向特定下游检索对齐。继续维持每个批次动态随机采样压缩率的策略,引入 InfoNCE 检索对比损失 \(\mathcal{L}_{cl}\),并结合每个查询 3 个挖掘出的难负例(排名在 50 至 100 位的混淆文档)。同时,保留全尺寸教师表征指导作为“语义锚点”,并引入软标签 KL 散度蒸馏损失 \(\mathcal{L}_{soft}\): $\(\mathcal{L}_{s4} = \lambda_1 \mathcal{L}_{cosine} + \lambda_3 \mathcal{L}_{soft} + \mathcal{L}_{cl}\)$ 该多任务正则化机制确保了模型在激进压缩下依然对微弱匹配线索保持高度敏感,避免了单一对比微调破坏前序学到的全局弹性嵌入流形。

损失函数 / 训练策略

训练过程依托 4 张 NVIDIA RTX 4090 GPU 展开,采用 FlashAttention-2 与 Adam 优化器,最大输入序列截断长度设定为 1030。各阶段关键超参数及损失权重配置如下: - Stage 1 (多教师蒸馏): 训练 2 个 epoch,1200 万中英平衡数据,学习率 1e-4,Batch Size 256,余弦权重 \(\lambda_1 = 10\),无压缩。 - Stage 2 (固定压缩适应): 训练 2 个 epoch,学习率 7e-5,Batch Size 256,固定 \(\rho = 0.33, L_{th} = 80\),优化 \(\mathcal{L}_{s2} = 10 \mathcal{L}_{cosine}\)。 - Stage 3 (动态泛化): 训练 800 steps,学习率 7e-5,Batch Size 512,动态采样 \(r \sim \mathcal{U}(0.1, 1.0)\),余弦权重 \(\lambda_1 = 10\),拓扑相似度权重 \(\lambda_2 = 100\)。 - Stage 4 (检索自适应): 训练 5,000 steps,250 万微调数据,学习率 2e-5,Batch Size 64,对比学习温度 \(\tau=0.3\),KL 散度温度 \(\alpha=0.1\)、权重 \(\lambda_3 = 16\),难负例数 \(K=3\)。

实验关键数据

主实验

在 MTEB(英文)与 C-MTEB(中文)标准基准上系统评估模型在不同压缩率下的表现。主干模型参数仅 595M,但全面超越了原版基线,并在大幅压缩下维持了极高评测分数。

模型 参数量 嵌入维度 MTEB M.Task MTEB M.Type 分类 聚类 检索 STS 摘要 C-MTEB M.Task
QZhou-Embedding (教师) 7B 3584 75.97 69.52 88.97 61.65 67.12 91.65 33.05 76.99
Qwen3-Embedding-8B (教师) 8B 4096 75.23 68.71 90.43 58.57 69.44 88.58 34.83 73.84
Qwen3-Embedding-4B 4B 2560 74.61 68.10 89.84 57.51 68.46 88.72 34.39 72.27
Qwen3-Embedding-0.6B (初始化) 595M 1024 70.47 64.72 84.58 54.05 61.83 86.57 33.43 66.33
Jasper-TC-600M (\(\rho = 0.50\)) 595M 2048 74.75 68.46 90.35 59.44 66.19 88.79 33.66 73.51
Jasper-TC-600M (\(\rho = 0.33\)) 595M 2048 74.71 68.43 90.37 59.33 66.17 88.71 33.66 73.51
Jasper-TC-600M (\(\rho = 0.20\)) 595M 2048 74.58 68.33 90.32 59.22 65.77 88.75 33.53 73.38
Jasper-TC-600M (\(\rho = 0.10\)) 595M 2048 74.22 67.93 90.27 58.80 64.76 88.77 32.16 73.17

同时在 RTX 4090 GPU 上测量不同序列长度下的前向编码延迟(毫秒):

模型配置 MTEB M.Task 128 tokens 256 tokens 512 tokens 1024 tokens 2048 tokens
Qwen3-Embedding-0.6B 70.47 3.22 ms 6.47 ms 12.20 ms 24.24 ms 49.99 ms
Jasper-TC-600M (\(\rho = 0.50\)) 74.75 2.62 ms 3.96 ms 7.39 ms 13.11 ms 25.07 ms
Jasper-TC-600M (\(\rho = 0.33\)) 74.71 2.52 ms 3.52 ms 5.41 ms 9.38 ms 17.52 ms
Jasper-TC-600M (\(\rho = 0.20\)) 74.58 2.38 ms 2.91 ms 4.00 ms 6.56 ms 11.48 ms
Jasper-TC-600M (\(\rho = 0.10\)) 74.22 2.09 ms 2.56 ms 3.18 ms 4.48 ms 6.95 ms

消融实验

为精细解析各组件贡献,作者在 MTEB-Subset(23 个任务)以及全量 MTEB 上进行了严格的对照消融(均在 \(\rho = 0.33\) 条件下对比):

实验组别 / 变体 嵌入维度 分类 聚类 检索 STS 摘要 M.Task 说明
多教师蒸馏消融 (MTEB-Subset, 1 epoch)
单教师 (仅 Qwen3-8B) 2048 90.12 53.03 57.87 84.70 32.74 68.91 缺失 STS 与聚类互补先验
双教师融合 (Stage 1) 2048 90.35 55.80 58.56 86.15 32.80 70.11 异构互补带来 +1.20 分收益
压缩算子对比 (MTEB-Subset, \(\rho=0.33\))
硬截断 (Hard Truncation) 2048 76.53 41.66 22.54 78.57 11.45 51.62 机械丢弃尾部,检索崩塌 (-27.04)
Token 剪枝 (\(\ell_2\)-Pruning) 2048 80.19 43.98 29.78 78.53 29.39 55.38 孤立保留大范数,破坏上下文结构
Token 合并 (ToMe) 2048 80.23 43.71 26.84 78.40 28.51 54.55 邻近聚类丢失细粒度区分度且计算慢
可学习一维卷积 (Conv1D) 2048 72.70 40.36 10.21 76.11 18.32 46.90 参数随机初始化,优化难度极大
ETC 模块 (MLP+AvgPool) 2048 89.94 51.39 49.58 85.03 29.27 66.28 显著保全全局语意,检索远高其他算子
训练课程消融 (全量 MTEB 阶段分析)
跳过 Stage 1 (直接压缩) 2048 78.27 46.60 28.15 76.17 27.90 56.36 表征未固即压缩,性能严重衰退
仅至 Stage 2 (固定压缩率) 2048 90.37 59.64 64.70 88.64 32.73 74.34 固定比例过拟合,泛化区间弱
无检索微调 (w/o Stage 4) 2048 90.49 59.71 65.53 88.73 33.28 74.65 检索能力未被定向激活
完整模型 (Stage 1-4) 2048 90.35 59.44 66.19 88.79 33.66 74.75 检索升至 66.19,各任务保持顶级

关键发现

  • 解耦式课程是压缩模型优化的生命线:跳过 Stage 1 直接在初始化模型上施加 Token 压缩进行蒸馏(Skip Stage 1),MTEB Mean(Task) 暴跌至 56.36,检索任务更跌至 28.15(甚至大幅低于未微调的 0.6B 基线的 61.83)。这证明同时学习异构语义对齐与有损空间压缩存在不可调和的梯度冲突,必须先在全长空间对齐教师几何,再进行压缩适配。
  • ETC 全局平滑远胜局部硬剔除:在 4096 长度的定性与热力图分析中,针对关键证据位于文档末尾(Extreme Tail)、中间被大量噪声包围(Lost in Middle)、或散落全文(Scattered Evidence)的五大极端场景,传统硬截断导致召回率为零;而 ETC 借助平均池化的全局信息折叠与多教师注意力迁移,在压缩空间中依然对处于被截断区域的证据 Token 保持高响应激活。
  • 阈值 \(L_{th} = 80\) 是保全短文本检索的最佳平衡点:敏感性分析表明,若将阈值设为 \(L_{th} = 1\)(对所有序列一律执行压缩),短查询的特征被严重稀释,MTEB 分数大幅下降;而将 \(L_{th}\) 设为 80 时,短查询免于压缩破坏,长文本则按比例大幅节省延迟,进一步放宽阈值至 256 仅带来微弱收益却使耗时明显上升。

亮点与洞察

  • 将表征降维的 MRL 思想拓展至输入序列维度:Matryoshka 解决了存储层面的向量维度弹性,而 Jasper-Flash 解决了推理计算层面的序列长度弹性。用户在部署时无需维护多套模型,仅需在推理请求时传递一个 \(\rho \in [0.1, 1.0]\) 参数,即可在 4.48 ms 到 24.24 ms 的延迟预算间自由滑动。
  • 数学等价的异构教师点积融合技巧:通过对两个教师模型独立提取的归一化表征进行拼接后再做全局 \(\ell_2\) 归一化,证明了融合表征空间的点积恰好是双教师余弦相似度的简单算术平均值。这种设计无需引入复杂的自适应门控网络,便以无参数的方式消除了单一教师在特定任务上的几何偏置。
  • 浅层前馈网络结合均值池化的极简硬件友好性:不同于 ToMe 或可变形注意力等引入跨 Token 复杂比对的方案,SwiGLU MLP + 1D Adaptive Pooling 完全依托稠密矩阵乘法与简单求和,在现代 GPU 硬件上具有极高的算力利用率,在大序列下几乎达到与硬截断相同的硬件延迟极限。

局限与展望

  • 检索精度与超大教师间仍存微小差距:学生模型规模仅为 0.595B,相较于 8B 检索专用教师模型(Qwen3-8B 检索得分 69.44),学生模型的最终检索得分为 66.19。平均池化机制虽然稳妥地保留了全局主旨语义,但对极度依赖罕见实体精确匹配(Exact Entity Match)的非对称问答检索存在一定平滑模糊效应。
  • 空间缩减缺乏细粒度语义动态路由:当前的 ETC 模块是在保留的序列上施加均匀的自适应平均池化,未能根据语义密度动态分配压缩率(例如针对高信息量的核心谓词与专有名词分配更多 Token,针对停用词与模板客套词进行激进压缩)。
  • 训练上下文窗口局限于 1030 Tokens:尽管前向测试测至 4096 长度展现出极具潜力的延迟缩减,但下游有效性评估均在 1030 截断窗口内完成,未来仍需在 32K/128K 超长上下文检索基准上验证极端压缩下的证据保持力。

相关工作与启发

  • vs Matryoshka Representation Learning (MRL):MRL 关注向量输出维度的后向弹性截断,优化的是磁盘存储与向量相似度计算开销;Jasper-Flash 则针对输入前向推理阶段的自注意力二次方瓶颈,构建序列长度维度的前向弹性,两者在工程架构上可实现正交叠加。
  • vs ToMe / Funnel-Transformer 等序列缩减工作:传统序列缩减方法大多在 Transformer 深层网络中插入聚类或下采样,且缩减比例在编译部署时固化;Jasper-Flash 将缩减前置至首层注意力之前,并结合动态随机采样训练,单模型实现了零开销、连续可调的弹性推理。
  • vs 传统知识蒸馏 (TinyBERT, MiniLM):传统蒸馏通常针对模型层数或隐藏层宽度的缩小进行单教师稠密对齐;CAPD 将异构双教师的多目标相似度融合与课程化有损空间压缩深度绑定,为轻量级大模型的高效压缩提供了可借鉴的解耦范式。

评分

  • 新颖性: ⭐⭐⭐⭐☆ (将序列维度的动态缩放与异构教师互补蒸馏有机结合,数学融合证明严谨,推理弹性设计实用)
  • 实验充分度: ⭐⭐⭐⭐⭐ (覆盖 MTEB/C-MTEB 双语主流榜单、完整的 4 阶段消融、5 种极端定性场景热力图与算子级硬件延迟基准)
  • 写作质量: ⭐⭐⭐⭐⭐ (逻辑链条清晰,解耦学习目标与课程设计的叙事自然流畅,数学推导与实验分析扎实)
  • 价值: ⭐⭐⭐⭐⭐ (开源 600M 顶级性能模型并开源代码,极大降低了长文档稠密检索在大并发实时业务中的部署门槛)