TriSpec: Ternary Speculative Decoding via Lightweight Proxy Verification¶

会议: NeurIPS 2026
arXiv: 2601.23180
代码: https://github.com/sunarker/TriSpec
领域: 模型压缩
关键词: 投机解码, 代理验证, 推理加速, 置信度间隔路由, 动态剪枝

一句话总结¶

TriSpec 提出了一种将轻量级单层草稿模型、同系列轻量代理验证器与庞大目标模型协同配合的三元投机解码范式，利用代理验证器的概率间隔动态分流验证负载，在几乎无损精度的前提下将目标模型调用次数减半并实现高达 35% 的端到端推理加速。

研究背景与动机¶

随着大语言模型在多步复杂推理和长程思考任务中取得突破，生成序列的长度急剧扩张，自回归解码天然的串行瓶颈愈发成为制约吞吐与增加延迟的关键阻碍。投机解码通过“小模型快速草拟生成、大模型并行单步验证”的范式，在理论上无损输出分布的同时显著改善了生成效率。现有的技术路线（如 Medusa、EAGLE 系列）大多集中于缩短草拟路径、扩展树状候选分支或改进训练目标，使草拟延迟大幅降低且草稿接受率趋于饱和。

然而，在单轮解码的总延迟中，目标大模型本身的并行前向验证开销依然占据了压倒性的计算比重。每次调用数十亿乃至数百亿参数的目标模型都会遍历完整的深层网络，即便草拟时间几乎可以忽略，验证时间瓶颈依然限制了实际加速比的进一步提升。若单纯通过放宽验证约束（如基于草稿置信度过滤或扩大 top-k 候选池），又极易因小草稿模型的过度自信和决策关键位偏差而导致严重的精度退化。

本文的切入视角是：验证阶段的庞大计算负载并不一定需要每轮都完全由目标模型承担。同系列的小尺寸模型在输出分布上与大模型具有极高的内在对齐度，完全能够以极低算力接管大部分简单 token 的验证，而只需将少数存在能力分歧的不确定性 token 上升转交给大模型。核心 idea：构建由单层草稿器、同系列轻量代理验证器与目标模型组成的三元投机解码架构，利用代理验证器的 top-1 与 top-2 概率间隔自适应判定可信边界，由代理快速通过并局部修正简单草稿、仅在遇到不确定 token 时介入目标模型，从而将验证开销直接从根源上降低。

方法详解¶

整体框架¶

TriSpec 打破了传统双模型“草拟-验证”线性流，转而协同调度三个互补的角色：由单层 Transformer 解码头（如 EAGLE-3 架构）担当草稿模型 $\mathcal{M}_d$，提供高吞吐的候选序列；由同系列小尺寸模型（如 Qwen3-1.7B 或 DSQ-1.5B）担当轻量代理验证器 $\mathcal{M}_p$；最后由完整的大模型（如 Qwen3-32B 或 DSL-70B）担当最终权威验证器 $\mathcal{M}_t$。

在单轮推断中，草稿模型先自回归生成候选序列及其预测分布；随后代理验证器执行单次并行前向传递，得到代理侧的概率分布与接受长度，并基于输出分布的概率间隔指标计算代理置信前缀长度。根据这两者的关系，系统自适应走向两种处理路径：若首个被拒绝的位置依然处于代理高度自信的范围内，则直接由代理接受前面 token 并局部替换生成修正 token，全程绕过目标模型；若在首个拒绝发生前代理便出现低置信度，则将置信前缀直接接受并对候选树执行剪枝，仅把剩余的不确定分支上报给目标模型做权威验证。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入前缀序列 X"] --> B["草拟阶段：单层草稿模型生成 k 个候选 token"]
    B --> C["代理预验证：轻量代理模型单次并行前向传递"]
    C --> D["置信度评估：计算 top-1 与 top-2 概率间隔及可信前缀"]
    D -->|接受长度 < 可信前缀长度| E["局部修正：代理直接采纳并通过额外修正 token<br/>完全绕过目标大模型验证"]
    D -->|接受长度 ≥ 可信前缀长度| F["动态剪枝升级：直接采纳可信前缀并剪去冗余节点<br/>将剩余分支交由目标大模型权威验证"]
    E --> G["输出本轮生成 token 并更新上下文"]
    F --> G

关键设计¶

1. 代理验证器选型与同系列强对齐特性：利用家族小模型的分布一致性替代大模型验证 TriSpec 选择目标模型的同家族紧凑版本作为代理验证器，根本原因在于两者共享高度一致的预训练数据分布和表征偏好。在 ShareGPT 的逐 token 对齐测试中，同家族小模型与目标大模型的预测完全匹配率高达 82%（远超单层草稿器的 68%），不可接受的分歧仅占 6%，且其独立推理的最终正确性高度可靠。为了使草稿模型能够无缝吸收来自代理模型或目标模型的特征表示，TriSpec 在单层草稿器架构中引入一个轻量单层 MLP 适配器，将代理验证器的隐藏层特征映射至草稿器所期望的特征空间，从而支持草稿模型在代理与目标两种输入源之间无缝切换。

2. 概率间隔路由准则：以 top-1 与 top-2 边际差精确刻画代理可信边界 为防止代理验证器在遇到自身能力短板时产生级联误差，系统需要一个计算轻量且极度敏感的不确定性度量。TriSpec 采用代理模型预测分布在每个位置 $i$ 上的前两名类别概率差（margin）作为二元可信指示函数： $$g(\mathbf{p}^{(p)}_i) = \mathbf{1}\left\{\operatorname{top}_1(\mathbf{p}^{(p)}_i) - \operatorname{top}_2(\mathbf{p}^{(p)}_i) \ge \lambda\right\}$$ 其中 $\lambda \in (0, 1)$ 是用于控制精度与延迟权衡的置信阈值（实验默认取 0.5）。据此，可信前缀长度 $\tau_m$ 被严格定义为首次触发不满足间隔条件的索引（或触及末尾 $k+1$）： $$\tau_m = \min\big(\{i \mid 0 \le i \le k, \, g(\mathbf{p}^{(p)}_{i+1}) = 0\} \cup \{k+1\}\big)$$ 当概率间隔较大（如 $\ge 0.5$）时，代理输出与目标模型的一致率极高，可以安全托付；而分歧多聚集在间隔狭小的模糊 token 上，该准则能精准将不确定性局部阻断。

3. 双分支自适应路由与动态 token 剪枝：实现目标模型免调用与计算卸载 结合代理侧推测采样的实际接受长度 $\tau_a$ 与可信前缀长度 $\tau_m$，TriSpec 自适应划分为两个分支。在分支一（$\tau_a < \tau_m$）中，代理在首次拒绝前均保持绝对置信，因此不仅可以完全接纳前 $\tau_a$ 个草稿 token，还可以安全地采用代理在第 $\tau_a+1$ 位的预测分布抽样出替代 token $x_{\mathrm{bonus}}$，单轮生成即告完成，目标模型调用率在此类轮次直接降为 0。在分支二（$\tau_a \ge \tau_m$）中，由于代理在首次拒绝前便遭遇不确定 token，系统将前 $\tau_m$ 个已被确认可信的 token 先行吸纳，并从候选树中对这部分 token 进行物理剪枝，仅保留以第 $\tau_m+1$ 位置为根的剩余子树传递给目标模型进行权威校验。这不仅避免了目标模型重复计算已知正确的 token，而且减少了后续注意力掩码计算与显存加载开销。

损失函数 / 训练策略¶

TriSpec 的草稿器与适配器支持两种训练范式： 1. 端到端联合训练（Joint Training from Scratch）：草稿模型主干与单层 MLP 适配器同时优化，使用目标模型与代理模型离线抽取的隐藏层状态作为双路监督信号，能够最充分地挖掘两者特征交互的协同潜力； 2. 适配器轻量微调（Adapter-Only Finetuning）：在已有预训练 EAGLE-3 或 HASS 草稿权重的基础上，冻结草稿模型全部参数，仅利用代理特征对单层 MLP 映射头进行微调（参数量仅约 0.42B，耗时约 44 小时），大幅压缩训练算力门槛。

实验关键数据¶

主实验¶

在贪婪解码（Temperature = 0）设定下，论文在涵盖数学推理、通用多任务与代码生成的五大基准（GSM8K、MATH500、GK23-en、HumanEval、MBPP）上全面评估了 TriSpec 的性能。对比基准包括独立大模型、独立小模型、标准投机解码（HASS、EAGLE3）以及基于松弛准则的 SpecCascade。

模型	方法	平均准确率	平均加速比	GSM8K Acc / Speedup	MATH500 Acc / Speedup	HumanEval Acc / Speedup
Qwen3-32B	独立目标模型 (32B)	84.4%	1.00×	98% / 1.00×	85% / 1.00×	87% / 1.00×
(Proxy: 1.7B)	独立代理模型 (1.7B)	73.8% (-10.6%)	2.85×	86% / 2.36×	81% / 3.01×	81% / 2.93×
	HASS 标准 SD	84.4% (±0%)	2.35×	98% / 2.98×	86% / 2.27×	87% / 2.03×
	HASS + TriSpec	83.6% (-0.8%)	3.22×	97% / 3.85×	86% / 3.18×	86% / 2.99×
	EAGLE3 标准 SD	84.4% (±0%)	2.85×	98% / 3.25×	87% / 2.73×	87% / 2.71×
	EAGLE3 + SpecCascade[Chow]	73.2% (-11.2%)	2.98×	95% / 3.39×	70% / 2.91×	76% / 2.82×
	EAGLE3 + SpecCascade[Token]	84.2% (-0.2%)	2.96×	98% / 3.34×	86% / 2.90×	87% / 2.78×
	EAGLE3 + TriSpec	84.2% (-0.2%)	3.55×	98% / 4.18×	88% / 3.49×	87% / 3.27×
DSQ-32B	独立目标模型 (32B)	82.0%	1.00×	93% / 1.00×	86% / 1.00×	85% / 1.00×
(Proxy: 1.5B)	EAGLE3 标准 SD	82.6% (+0.6%)	3.22×	93% / 3.42×	88% / 3.19×	86% / 3.09×
	EAGLE3 + TriSpec	82.2% (+0.2%)	3.67×	91% / 4.14×	88% / 3.69×	88% / 3.32×
DSL-70B	独立目标模型 (70B)	84.4%	1.00×	88% / 1.00×	90% / 1.00×	87% / 1.00×
(Proxy: 8B)	EAGLE3 标准 SD	83.4% (-1.0%)	2.48×	88% / 2.83×	89% / 2.35×	84% / 2.49×
	EAGLE3 + TriSpec	82.8% (-1.6%)	3.36×	86% / 3.74×	88% / 3.35×	87% / 3.07×

消融与微观指标分析¶

论文进一步深入分析了验证负载转移情况（目标调用比率 $r_t$、单轮验证耗时 $t_v$、平均接受长度 $\tau$）以及关键模块配置（草稿训练策略与 Token 剪枝）：

测试集	配置	训练参数量 (TP)	目标调用率 $r_t$	单轮验证耗时 $t_v$(s)	平均接受长度 $\tau$	端到端加速比
MATH500	Qwen3 EAGLE3 标准	-	21.38%	0.094	4.72	2.73×
	+ TriSpec (从头联合训练)	1.77B	9.95%	0.071	4.59	3.49×
	+ TriSpec (仅微调适配器)	0.42B	9.99%	0.072	4.52	3.44×
HumanEval	Qwen3 EAGLE3 标准	-	22.05%	0.103	4.60	2.71×
	+ TriSpec (从头联合训练)	1.77B	11.15%	0.080	4.76	3.27×
	+ TriSpec (仅微调适配器)	0.42B	11.40%	0.081	4.65	3.21×
5基准均值	TriSpec 带 Token 剪枝	-	-	-	4.71	3.55× (Acc: 84.2%)
	TriSpec 无 Token 剪枝	-	-	-	4.58	3.46× (Acc: 84.2%)

关键发现¶

验证瓶颈得到直接突破：相较于 EAGLE-3，TriSpec 将目标大模型的实际调用频率由 21-22% 骤降至约 10-11%，使得单轮平均验证时间 $t_v$ 从 0.094 秒缩短至 0.071 秒，最终在 Qwen3-32B 上取得高达 3.55× 的综合加速比（相比标准 EAGLE-3 相对提速约 25%）。
精度损耗微乎其微且远优于同类松弛算法：SpecCascade 等基于草稿置信度过滤的基线在推理任务上精度崩塌超过 10% 到 40%（例如 MATH500 掉至 58% 或 38%），而 TriSpec 全程维持在平均 0.2% 到 0.8% 的极低波动范围内，证明了代理模型的内在对齐性与概率间隔路由的高鲁棒性。
微调适配器展现优异性价比：仅训练 0.42B 参数的适配器即可复现从头联合训练 98% 以上的加速比（3.44× vs. 3.49×），且训练开销缩短超过 60%，极具工程部署价值。

亮点与洞察¶

将投机解码加速重心由草拟端转向验证端：敏锐地指出在单层草稿与多 Token 预测技术将草拟时间和接受率推向天花板之后，验证时间已成为新木桶理论的决定性短板，通过分流验证开销开辟了投机解码的新维度。
基于置信度间隔的确定性代理路由机制：不依赖草稿模型的过度自信输出，而是完全基于具备充足表达能力的同家族小模型，利用 top-1 与 top-2 概率的边际差距精确隔离分歧风险，兼具速度与安全性。
与树形验证动态剪枝的天然耦合：在代理部分确认后即时裁去树状草稿的确定性节点，仅向目标模型交付不可信子集，避免了计算与显存带宽的冗余浪费。

局限与展望¶

显存与硬件部署门槛略微提高：三元模型需要同时将目标模型、代理验证器以及单层草稿头装载到 GPU 显存中，在显存极其紧张的单卡边缘设备上可能需要量化或分级调度支持。
依赖同家族小模型的存在：当前代理验证器主要依托同系列开源基座模型（如 Qwen3 或 DeepSeek 系列），若面对闭源架构或缺乏合适同源紧凑版本的垂直定制模型，代理模型的有效对齐性与收益可能面临折损。
未来改进方向：可进一步探索对代理验证器进行轻量 4-bit/8-bit 量化甚至静态剪枝，在保留对齐概率分布的同时将代理自身的推理延迟与显存占用进一步压低。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出将同家族小模型作为代理验证器来攻克投机解码中目标模型验证耗时瓶颈的三元协同范式。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 Qwen3、DeepSeek-R1-Distill-Qwen/LLaMA 三大系列模型，多任务、多采样温度、多极端基准（AIME/GPQA）且包含完整的微观验证指标与消融分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层次清晰，图表数据完备，对延迟公式的因式分解与瓶颈分析非常透彻。
价值: ⭐⭐⭐⭐⭐ 对大模型推理系统与投机解码的高并发在线部署具有极强的指导意义与落地潜力。