跳转至

Jasper-Flash: Elastic Token Compression and Progressive Distillation for Inference-Scalable Text Embedding Models

会议: EMNLP 2026
论文: ACL Anthology
代码: https://huggingface.co/infgrad/Jasper-Token-Compression-600M
领域: 模型压缩
关键词: 文本嵌入模型, 弹性标记压缩, 渐进式知识蒸馏, 多教师融合, 推理加速

一句话总结

针对长文本嵌入检索中自注意力机制计算复杂度随序列长度二次增长的瓶颈,Jasper-Flash 提出了基于 MLP 与一维自适应平均池化的弹性标记压缩模块(ETC),并结合解耦的四阶段压缩自适应渐进式蒸馏策略(CAPD),在保持双语表征质量的同时将 1024 标记长文本的编码延迟由 24.24 ms 压缩至最低 4.48 ms。

研究背景与动机

现代文本嵌入模型在信息检索、开放域问答与文档聚类等下游语义任务中扮演着基础核心角色,但将其部署在计算与延迟受限的生产环境中时面临着严峻的资源瓶颈。当前学术界与工业界的轻量化研究主要集中于参数维度的静态压缩或存储维度的降维优化(如 Matryoshka 表征学习 MRL 仅降低最终向量维度以节省索引存储),然而自注意力机制在序列长度上的固有平方计算复杂度(\(O(L^2)\))直接导致长文本推理延迟随输入长度急剧飙升,成为制约大规模文本表征实时在线服务的致命阻碍。

现有的序列级压缩策略(如静态 Token 剪枝、Token 合并或漏斗变换器)存在两方面根本矛盾:其一,序列缩减方式大多是静态且固化的,一旦压缩比固定,模型便丧失了在不同延迟预算与精度需求之间按需动态伸缩的推理弹性;其二,序列压缩本质上属于一种强有力的有损信息丢弃过程,如果强行在未构建扎实语义表征基础的单阶段训练中,迫使小参数量学生模型同时学习教师语义空间对齐与动态几何序列压缩,极易引发严峻的优化不稳定与表征坍缩,导致非对称稠密检索等对细粒度实体极度敏感的任务性能出现断崖式下跌。

面对“推理弹性需求”与“有损压缩导致优化困难”之间的核心冲突,本文提出了 Jasper-Flash 框架,核心思路在于将复杂的联合表征学习与序列降维解耦为具备课程特性的渐进式阶段,并结合异构多教师的互补监督机制。核心 idea:设计基于长度阈值与连续采样压缩比的轻量级弹性标记压缩模块(ETC),并在渐进式四阶段蒸馏范式(CAPD)下,先通过等权重异构双教师融合打牢全序列语义对齐基础,再逐步过渡到固定与动态连续压缩比的弹性泛化与检索微调,实现单一模型在推理时对长文本的高倍率无损级弹性加速。

方法详解

整体框架

Jasper-Flash 的核心目标是在不改变基础 Backbone 规模的前提下,赋予单一文本嵌入模型按需动态缩减输入序列长度的能力,从而在毫秒级延迟预算与高保真表征质量之间实现连续可调的弹性权衡。方法整体围绕两大核心支柱展开:结构层面的轻量级弹性标记压缩模块(ETC)和训练层面的压缩自适应渐进式蒸馏(CAPD)流水线。

在网络前向流程中,以 Qwen3-0.6B 为底座,输入文本序列在经过初始 Embedding 层后立即被送入 ETC 模块,利用参数化 SwiGLU 前馈网络重整特征后,由 1D 自适应平均池化算子根据给定的压缩比 \(\rho\) 与长度阈值 \(L_{th}\) 将超过阈值的部分弹性压缩到目标长度 \(L_{tgt}\),随后仅需将高度精简的 Token 序列送入深层 28 层因果自注意力与 MLP 块,最终经 Mean Pooling 与投影层输出全局语义嵌入。在优化流程上,CAPD 划分为严格解耦的四个阶段:全序列多教师蒸馏(Stage 1)、固定比例压缩适配(Stage 2)、动态采样连续弹性泛化(Stage 3)与基于对比学习的正则化检索特化(Stage 4)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入文本序列<br/>(Query / Document)"] --> B["Embedding 词嵌入层<br/>(保留原序列长度 Lin)"]
    B --> C["阈值与弹性压缩长度判定<br/>Ltgt = Lth + (Lin - Lth) × ρ"]
    C --> D["特征前馈重整变换<br/>(Qwen3MLP / SwiGLU)"]
    D --> E["一维自适应平均池化<br/>(AdaptiveAvgPool1d 空间缩减)"]
    E --> F["深层 Transformer 编码<br/>(28x Causal Attention + MLP)"]
    F --> G["Mean Pooling 与投影<br/>(线性映射至 2048 维向量 Es)"]
    G --> H["CAPD 渐进式解耦目标优化<br/>(阶段1对齐 -> 阶段2固定 -> 阶段3动态 -> 阶段4检索)"]

关键设计

1. 阈值与弹性压缩长度判定:保护短序列并动态规划长文本目标长度
针对短文本查询(如检索中的 Query)信息密度极高、一旦暴力池化将破坏关键词判别力,而长文档(Document)存在大量句法冗余的结构性差异,ETC 模块引入了显式的长度阈值保护机制。给定输入序列长度 \(L_{in}\)、预设长度阈值 \(L_{th}\)(默认设置为 80)以及推理时指定的压缩比 \(\rho \in (0, 1]\),模块并不对整个序列盲目线性降维,而是仅对超出阈值的尾部冗余内容进行按比例缩减: $\(L_{tgt} = \begin{cases} L_{in}, & \text{if } L_{in} \le L_{th} \\ L_{th} + \lfloor (L_{in} - L_{th}) \times \rho \rfloor, & \text{if } L_{in} > L_{th} \end{cases}\)$ 这种设计的巧妙之处在于,绝大多数短 Query(通常小于 80 标记)能够以 100% 原始分辨率完全无损地通过,避免了短文本语义的稀释;而长文本的大部分冗余上下文则能被深层注意力机制以极低 Token 数量处理,精确实现了短文本保语义、长文本省算力的差异化弹性平衡。

2. 特征前馈重整与空间池化:免昂贵开销的硬件友好弹性序列缩减
针对传统 Token Pruning 或 Token Merging(如 ToMe)需要在序列内部计算注意力打分或近邻相似度、导致显存换页开销大且对 GPU 并行加速极不友好的痛点,ETC 采用了一种高效的“前馈变换 + 确定性池化”轻量架构。在 Embedding 层之后、首层注意力之前,Token 隐向量首先通过一个随机初始化的 SwiGLU 网络(即 Qwen3MLP),在保持原始序列长度和隐藏维度的前提下,强化序列内局部特征的平滑投影与非线性表达能力;紧接着,直接调用底层硬件高度优化的 1D 自适应平均池化算子(AdaptiveAvgPool1d),将维度在第一物理维度上确定性地下采样到 \(L_{tgt}\)。在 4096 标记长度的基准测试中,ETC 算子本身仅耗时 22.57 ms,不仅逼近纯暴力硬截断的 22.83 ms,更大幅击败了 Token Merging 复杂的 55.25 ms,且保证了反向传播梯度的平滑与连续。

3. 等权重异构双教师表征融合:互补表征几何空间的无偏联合监督
针对单一教师蒸馏往往将学生模型禁锢在特定的任务偏置中(例如专精检索的教师在对称语义匹配上偏弱,专精语义相似度的教师在非对称检索上表现不足),CAPD 创新地引入了等权重多教师表征融合。选取在非对称检索上表现卓越的 Qwen3-Embedding-8B(69.44)和在 STS 任务上登顶的 QZhou-Embedding-7B(91.65)作为互补教师。为了避免直接拼接导致目标维度膨胀(4096 + 3072),首先利用 Qwen 的 MRL 特性截取前 1024 维得到 \(E_{qwen}\),并对 QZhou 的 3072 维采用无参数的块求和(Block-wise Summation)降至 1024 维得到 \(E_{qzhou}\),经各自 \(\ell_2\) 归一化后拼接成 2048 维向量并再次全局归一化得到目标 \(E_t\): $\(E_t = \text{Norm}\left(\text{Norm}(E_{qwen}) \,\|\, \text{Norm}(E_{qzhou})\right)\)$ 论文在理论上严格证明了一个优雅的数学引理:两个全局归一化拼接向量的内积(即余弦相似度),严格等于各个教师子向量独立余弦相似度的算术平均值: $\(U \cdot V = \frac{1}{n} \sum_{i=1}^n (u_i \cdot v_i)\)$ 这意味着联合蒸馏损失 \(\mathcal{L}_{cosine} = 1 - E_s \cdot E_t\) 天然迫使学生模型在无须额外超参权衡的前提下,以完全等权重的方式吸收两家教师对样本语义拓扑距离的几何判定。

4. 渐进式多阶段解耦课程训练:由浅入深消除有损序列压缩的优化障碍
针对学生模型难以在单一阶段内同时消化“教师表征对齐”与“有损 Token 压缩”导致的表征崩溃现象,CAPD 将训练过程严格解耦为四步递进流水线: - Stage 1(全上下文基础对齐):设置 \(L_{tgt} = L_{in}\),学生模型在 1200 万中英严格 1:1 平衡的高质数据上,通过均值池化(Mean Pooling)与线性映射层(1024 \(\to\) 2048)学习纯粹的双教师联合表征对齐,仅使用余弦损失 \(\mathcal{L}_{s1} = \lambda_1 \mathcal{L}_{cosine}\) 建立坚固的未压缩语义基座。 - Stage 2(固定压缩比基础适应):固定基准压缩比 \(\rho = 0.33\)(阈值 80),令学生在稳态压缩几何下建立起局部特征聚合到低维序列的初步表征空间,损失仍为 \(\mathcal{L}_{s2} = \lambda_1 \mathcal{L}_{cosine}\)。 - Stage 3(动态比例连续采样泛化):为了打破对单一压缩比的过拟合,在每个 Batch 内以多区间概率动态采样压缩比 \(r \sim \mathcal{U}(0.1, 1.0)\),同时引入成对相似度匹配损失(Pairwise Similarity Loss)作为全局拓扑正则项: $\(\mathcal{L}_{similarity} = \text{MSE}(E_s E_s^\top, E_t E_t^\top), \quad \mathcal{L}_{s3} = \lambda_1 \mathcal{L}_{cosine} + \lambda_2 \mathcal{L}_{similarity}\)$ 强迫学生压缩后的 Batch 内样本关系矩阵与未压缩教师的拓扑结构保持高保真一致。 - Stage 4(正则化检索任务特化):在 250 万非对称检索精调样本上,结合 InfoNCE 对比损失 \(\mathcal{L}_{cl}\)(引入 In-batch 负例与 KaLM 难负例)、KL 散度软标签损失 \(\mathcal{L}_{soft}\) 以及语义锚点 \(\mathcal{L}_{cosine}\): $\(\mathcal{L}_{s4} = \lambda_1 \mathcal{L}_{cosine} + \lambda_3 \mathcal{L}_{soft} + \mathcal{L}_{cl}\)$ 在继续随机采样压缩比的同时,彻底激活密集检索中对关键实体边界的判别能力。

损失函数 / 训练策略

整个四阶段流水线在 4 张 NVIDIA RTX 4090 GPU 上完成端到端训练,深度结合 Adam 优化器与 FlashAttention-2 算子。Stage 1 和 Stage 2 各训练 2 个 Epoch(学习率分别设为 \(1\times 10^{-4}\) 和 \(7\times 10^{-5}\),Global Batch Size 为 256);Stage 3 快速训练 800 步(Batch Size 扩至 512,学习率 \(7\times 10^{-5}\),损失权重 \(\lambda_1=10, \lambda_2=100\));Stage 4 在 64 Batch Size 下精细微调 5000 步(学习率 \(2\times 10^{-5}\),\(\lambda_1=10, \lambda_3=16\),温度超参 \(\tau=0.3, \alpha=0.1\),难负例数 \(K=3\))。这种从小步长、多目标联合约束到梯度平滑渐进的优化设置,从根本上锁定了表征空间的抗坍缩鲁棒性。

实验关键数据

主实验

在涵盖 7 大核心任务类型的英文 MTEB 和中文 C-MTEB 评测基准上,Jasper-Token-Compression-600M 展现出极具竞争力的表征实力与惊人的弹性保持度。下表汇报了英文 MTEB 完整基准评测结果:

模型 参数量 嵌入维度 MTEB Mean(Task) Mean(TaskType) 分类 (Clas.) 聚类 (Clus.) 检索 (Retr.) 语义相似度 (STS)
QZhou-Embedding (教师) 7B 3584 75.97 69.52 88.97 61.65 67.12 91.65
Qwen3-Embedding-8B (教师) 8B 4096 75.23 68.71 90.43 58.57 69.44 88.58
Qwen3-Embedding-4B 4B 2560 74.61 68.10 89.84 57.51 68.46 88.72
Qwen3-Embedding-0.6B (初始基线) 595M 1024 70.47 64.72 84.58 54.05 61.83 86.57
Jasper-TC-600M (\(\rho=0.50\)) 595M 2048 74.75 68.46 90.35 59.44 66.19 88.79
Jasper-TC-600M (\(\rho=0.33\)) 595M 2048 74.71 68.43 90.37 59.33 66.17 88.71
Jasper-TC-600M (\(\rho=0.20\)) 595M 2048 74.58 68.33 90.32 59.22 65.77 88.75
Jasper-TC-600M (\(\rho=0.10\)) 595M 2048 74.22 67.93 90.27 58.80 64.76 88.77

在 RTX 4090 环境下的端到端推理编码延迟评测中,ETC 展现出随序列长度扩展带来的超高推理加速比:

输入长度 (\(L_{in}\)) Qwen3-0.6B 基线延迟 (ms) Jasper (\(\rho=0.50\)) Jasper (\(\rho=0.33\)) Jasper (\(\rho=0.20\)) Jasper (\(\rho=0.10\)) 最大加速比
128 tokens 3.22 ms 2.62 ms 2.52 ms 2.38 ms 2.09 ms 1.54×
256 tokens 6.47 ms 3.96 ms 3.52 ms 2.91 ms 2.56 ms 2.53×
512 tokens 12.20 ms 7.39 ms 5.41 ms 4.00 ms 3.18 ms 3.84×
1024 tokens 24.24 ms 13.11 ms 9.38 ms 6.56 ms 4.48 ms 5.41×
2048 tokens 49.99 ms 25.07 ms 17.52 ms 11.48 ms 6.95 ms 7.19×

消融实验

下表汇总了在 23 个代表性数据集的 MTEB-Subset 子集以及全量 MTEB 上,针对教师蒸馏策略、序列压缩算子以及渐进式训练各阶段的独立消融验证:

评估阶段 / 消融变体 嵌入维度 分类 (Clas.) 聚类 (Clus.) 检索 (Retr.) STS MTEB Mean(Task) 核心说明
教师选择消融 (MTEB-Subset)
单教师 (Qwen3-8B Only) 2048 90.12 53.03 57.87 84.70 68.91 缺失 STS 与聚类互补先验
双教师 (Stage 1 对齐) 2048 90.35 55.80 58.56 86.15 70.11 互补蒸馏提升 +1.20 分
压缩算子消融 (\(\rho=0.33\), MTEB-Subset)
硬截断 (Hard Truncation) 2048 76.53 41.66 22.54 78.57 51.62 机械丢弃尾部上下文导致崩溃
范数剪枝 (Token Pruning) 2048 80.19 43.98 29.78 78.53 55.38 孤立保留 Token 破坏连贯语义
标记合并 (Token Merging) 2048 80.23 43.71 26.84 78.40 54.55 矩阵计算重且检索大幅下滑
可学习一维卷积 (Learnable Conv1D) 2048 72.70 40.36 10.21 76.11 46.90 引入新参数导致收敛严重劣化
ETC 模块 (MLP + AdaptiveAvgPool) 2048 89.94 51.39 49.58 85.03 66.28 显著超越所有对比压缩算子
流水线阶段消融 (全量 MTEB)
跳过 Stage 1 (直接联合压缩训练) 2048 78.27 46.60 28.15 76.17 56.36 优化难度过高导致表征坍缩
去除 Stage 4 检索微调 2048 90.49 59.71 65.53 88.73 74.65 检索性能相较完整版略低 0.66
完整模型 (Stage 1-4 交付版) 2048 90.35 59.44 66.19 88.79 74.75 四阶段协同达成最优平衡

关键发现

  • 解耦渐进式学习对有损压缩至关重要:跳过 Stage 1 直接进行压缩训练时,模型的 Mean(Task) 遭遇断崖式暴跌(从基线的 70.47 跌至 56.36),其中对实体位置敏感的 Retrieval 任务更是腰斩至 28.15。这强有力地证实:必须先在全序列无损条件下让学生充分吸纳教师的流形空间,才能赋予其抵抗后续序列有损压缩的韧性。
  • 自适应平均池化是全局语义保留的最优算子:在相同训练预算下,简单的 MLP 变换结合一维自适应均值池化(66.28)在检索指标上(49.58)完全碾压了 Token Pruning(29.78)和 Token Merging(26.84)。原因在于均匀池化保留了全局 token 的线性加权组合,使得位于文档尾部或中部的分散证据能够以低频形式留存于压缩向量中,而不会像剪枝与硬截断那样造成物理上的信息全盲。
  • 压缩比弹性极佳,边际衰减可控:当推理压缩比从 \(\rho=0.50\) 激进收缩到 \(\rho=0.10\)(实际序列长度缩减近 90%)时,全量 MTEB 分数仅从 74.75 微幅下降 0.53 分至 74.22,而 1024 标记长文本的耗时则从 13.11 ms 进一步砍至 4.48 ms,达成了极为优越的质量-延迟帕累托前沿。

亮点与洞察

  • 将 MRL 思想从表征维度升维至序列长度维度:Matryoshka Representation Learning 解决了存储端嵌入维度的弹性裁剪,而 Jasper-Flash 创造性地通过 ETC 实现了计算端序列长度的弹性伸缩,二者在思想上高度共鸣,成功补齐了现代大模型检索系统全栈弹性的关键拼图。
  • 数学上证明了多教师归一化拼接的等权均值等价性:论文通过简练的线性代数推导证明,多个独立归一化子向量经拼接并全局归一化后,其点积等价于各教师余弦相似度的简单算术平均。这一理论突破消除了繁复超参搜索对多教师蒸馏的掣肘,为构建多能力互补教师监督提供了通用且稳健的标准算子。
  • 注意力前置压缩以小博大:将压缩模块置于 Embedding 之后、注意力层之前,以近乎零计算开销的 Pooling 算子瞬间压低整个 28 层 Transformer 的序列负荷,彻底规避了中间层逐层压缩(如 Funnel-Transformer)引发的结构异构和部署困难。

局限与展望

  • 等权重教师融合缺乏输入级自适应:当前双教师向量融合采用静态等权计算,无法针对不同样本类型(例如纯代码查询、多跳问答或短文本匹配)动态自适应地放大专业教师的注意力权重。
  • 均匀池化机制未考虑语义显著性路由:当前的 1D AdaptiveAvgPool1d 是在时间维度上做均匀步长池化,尚未融入细粒度的语义显著性路由(如动态保留罕见专有名词、高熵关键词,而对高频停用词实施高倍率折叠),在极端压缩比(\(\rho < 0.1\))下细粒度实体信息仍不可避免地遭到平滑。
  • 评测上下文受限:当前下游精调与评测最大长度设定在 1030 标记以内,虽然延迟评测延展到了 2048 和 4096,但在真实数万甚至数十万长文档级检索与精准针式召回上的极限保真度仍有待进一步严密验证。

相关工作与启发

  • vs Qwen3-Embedding / QZhou-Embedding: 原生教师模型参数量巨大(7B-8B)且采用常规的全序列因果编码,推理显存占用高且长文本延迟严峻。Jasper-Flash 以 0.6B 学生模型为底座,仅增加千分之几的参数量,不仅在 MTEB 分数上超越了 4B 模型且逼近 8B 教师,更提供了单模型即插即用的任意倍率推理加速。
  • vs Token Merging (ToMe) / Token Pruning: 传统的 Token 剪枝与合并算子在计算层级间引入了复杂的相似度图划分与动态路由索引,在 GPU 硬件上实际加速比往往因非连续内存访存而大幅缩水。Jasper-Flash 依托稠密矩阵乘法与固定步长池化,不仅硬件加速极度显著(长文本达 5.4-7.2 倍),且在全局语义保留上表现出远胜剪枝的抗信息丢失能力。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 提出面向文本嵌入的序列级弹性标记压缩与解耦渐进式蒸馏体系,结合严格证明的等权异构多教师融合,构思巧妙实用。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖中英双语 MTEB/C-MTEB 全集、详尽的延迟基准测试、多维度消融实验、敏感度分析以及 5 类极端检索场景的热力图定性分析。
  • 写作质量: ⭐⭐⭐⭐⭐ 叙述流畅严密,数学推导清晰完备,实验图表规范详实,对有损压缩面临的优化挑战洞察深刻。
  • 价值: ⭐⭐⭐⭐⭐ 为轻量级稠密检索与多级缓存 RAG 系统的长文本在线服务提供了极具落地可行性的生产级低延迟解决方案。