Ensembling Language Models with Sequential Monte Carlo¶

会议: NeurIPS 2026
arXiv: 2603.05432
代码: https://github.com/chanr0/smc_ensembling
领域: LLM 其他
关键词: 语言模型集成, 序贯蒙特卡洛, 广义均值, 字符级对齐, 自回归生成

一句话总结¶

针对传统自回归解码中局部概率平均无法采样全局字符串集成后验及跨词表对齐难题，本文提出统一的 $f$-集成理论框架与字节级序贯蒙特卡洛（SMC）采样算法，证明共识导向集成在极限下具备严格一致性并大幅超越传统平均基线。

研究背景与动机¶

在大语言模型驱动的生成与推理任务中，不同架构、预训练数据或提示词（Prompt）所诱导出的模型能力往往展现出高度互补性。经典机器学习中通过集成（Ensembling）聚合多源预测以降低方差或增强表征已成为标准范式。然而，在自回归语言生成中实施集成面临着深层理论与计算瓶颈：现有方法绝大多数在自回归解码的每一步对候选 token 概率做局部加权平均（Local Probability Averaging），这种策略本质上只是在不可计算的全局字符串分布上施加了一个局部归一化且有偏的启发式近似，极易在早期累积局部高频通用词（如 "a"、"the"），导致整句语义脱离真正的联合高概率区。

这一缺陷的核心矛盾在于：语言模型本质上定义的是整个变长字符串空间 $\Sigma^*$ 上的离散概率分布，全局最优集成往往要求对完整序列的联合势能进行归一化，但这需要对无限离散序列空间求和，在计算上是完全不可行的；与此同时，不同模型往往采用互不兼容的分词器（Tokenizer），使得在每一步直接对其 token 概率分布进行对齐和聚合充斥着人工启发式假设。

本文的切入角度是：跳出局部 token 对齐与简单概率平均的定式，将多模型集成建立在共享的底层字符/字节概率空间上，并将其严格表述为潜势函数组合下的后验推断问题。核心 idea：基于变分 $\alpha$-散度最小化推导出统摄各类聚合算子的广义均值 $f$-集成族，并提出带有最优建议核与有效样本量重采样的字节级序贯蒙特卡洛（SMC）算法，实现跨异构词表全局序列分布的一致性精确采样。

方法详解¶

整体框架¶

本文构建了一套端到端的语言模型全局集成推断管线。其输入为 $K$ 个待集成的语言模型或提示分支 $\{p_k\}_{k=1}^K$（可在不同模型体系甚至不同分词体系之间）以及集成算子参数；输出为在全局字符串分布 $\Phi(\bm{x}) \propto f(p_1(\bm{x}), \dots, p_K(\bm{x}))$ 下的一致性样本集合及其无偏配分函数估计 $\widehat{Z}$。整个框架通过将 token 概率下沉映射到统一字符/字节空间 $\Sigma^*$ 解决分词器失配，并引入可计算的前缀整形函数作为引导，驱动序贯重要性采样与自适应重采样逐步向下游高势能序列空间扩展。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：K个语言模型/提示潜势<br/>{p_1, ..., p_K}"] --> B["共享字符空间概率映射<br/>统一映射至公共字符/字节空间"]
    B --> C["变分广义均值 f-集成定义<br/>α-散度最小化推导统摄算子"]
    C --> D["前缀整形函数引导建议分布<br/>构造局部可计算的代理前缀势能"]
    D --> E["序贯重要性权重更新<br/>递推计算逐步增量重要性权重"]
    E -->|有效样本量 ESS < τ·M| F["自适应多项式重采样<br/>粒子分支复制与弱粒子剪枝"]
    E -->|权重健康度充足| G["终止符检测与序列完成"]
    F --> G
    G --> H["输出：全局一致性集成样本<br/>与无偏配分函数估计 Z_hat"]

关键设计¶

1. 共享字符空间概率映射：彻底解耦分词器不兼容壁垒

跨模型家族（如 Qwen、Phi 与 Llama）集成的首要难点在于各自词表 $\Delta_k$ 互不重叠且切分边界不一。以往研究多依赖并集词表或嵌入空间投影等启发式操作。本文采用将 token 概率下沉至底层共享字符空间 $\Sigma$（或字节空间 $\mathcal{B}=\{0,\dots,255\}$）的严格统计映射：对于任意解码函数 $\kappa: \Delta^* \to \Sigma^*$，定义字符序列 $\bm{x}$ 的诱导概率为所有能够无损解码为 $\bm{x}$ 的 token 序列 $Y$ 的测度总和： $$p_\Sigma(\bm{x}) \stackrel{\text{def}}{=} \mathbb{P}_{Y \sim p_\Delta}[\kappa(Y) = \bm{x}]$$ 通过这一投影，所有异构基座模型均被置于一致的支撑集测度空间内，前缀概率 $\vec{p}_\Sigma(\bm{x})$ 随之由求和式严格界定，彻底消除了词表对齐 heuristic 引入的系统偏差。

2. 变分广义均值 f-集成：α-散度最优化下的共识与覆盖统一

为超越经验主义的算术平均，本文将集成分布 $\Phi^*(\bm{x})$ 形式化为使得专家先验权重 $\bm{w} \in \triangle^K$ 下加权 $\alpha$-散度之和最小的唯一最优化测度： $$\Phi^* \stackrel{\text{def}}{=} \arg\min_{\Phi \in \triangle^{\Sigma^*}} \sum_{k=1}^K w_k D_\alpha(\Phi \mid\mid p_k)$$ 通过拉格朗日乘子法求解，证明其解析解恰好为幂参数为 $\tau \stackrel{\text{def}}{=} 1 - \alpha$ 的广义均值族： $$\Phi^*(\bm{x}) = \frac{1}{Z} \left(\sum_{k=1}^K w_k p_k(\bm{x})^\tau\right)^{\frac{1}{\tau}}$$ 该广义均值具有深刻的行为谱系：当 $\tau \to 0$ 时退化为专家乘积（Product of Experts，对应向后 KL 散度）；当 $\tau \to -\infty$ 时为几何最小值（Minimum，对应 Rényi-$\infty$）；当 $\tau = 1$ 时为概率算术混合（Mixture of Experts，对应向前 KL 散度）；当 $\tau \to +\infty$ 时为最大值。理论分析证明，$\tau \le 0$ 的共识导向（Consensus-seeking）区域具有零概率截断性质（若任意 $p_k(\bm{x})=0$ 则 $\Phi(\bm{x})=0$），能严格聚焦于专家共同支持的交集；而 $\tau \ge 1$ 的覆盖导向（Coverage-seeking）则扩散于并集。论文进一步证明了广义均值全谱系满足湮灭性（Annihilative Property），即若前缀概率为 0 则全局概率必为 0，为序列渐进采样提供了理论自洽性保证。

3. 前缀整形与方差极小化建议分布：引导序贯重要性采样

全局未归一化目标 $\varphi(\bm{x}) = f(p_1(\bm{x}), \dots, p_K(\bm{x}))$ 的前缀边缘概率 $\vec{\varphi}(\bm{x}) = \sum_{\bm{x}'} \varphi(\bm{x}\bm{x}')$ 包含对无限长序列的求和，本质不可计算。为使得自回归序贯推断成为可能，本文引入局部前缀整形函数 $\vec{\psi}(\bm{x}) \stackrel{\text{def}}{=} f(\vec{p}_1(\bm{x}), \dots, \vec{p}_K(\bm{x}))$ 作为代理引导势能，并推导出了步进重要性权重分解形式： $$\frac{\varphi(\bm{x})}{r(\bm{x})} = \vec{\psi}(\varepsilon) \frac{\vec{\psi}(\square \mid \bm{x})}{\vec{r}(\square \mid \bm{x})} \prod_{t=1}^{|\bm{x}|} \frac{\vec{\psi}(x_t \mid \bm{x}_{<t})}{\vec{r}(x_t \mid \bm{x}_{<t})}$$ 更关键的是，论文在命题 5.2 中通过变分极值推导证明：能够使得单步重要性权重更新方差达到最小的局部最优建议分布 $r^*(\cdot \mid \bm{x})$，严格正比于下一步前缀整形函数值： $$\vec{r}^*(x' \mid \bm{x}) \propto \vec{\psi}(x' \mid \bm{x})$$ 该设计使局部探索最大程度贴合未归一化全局目标的演化趋势，将高维序列空间中的权重漂移降至最低。

4. 自适应序贯蒙特卡洛（SMC）重采样：攻克高维退化并提供无偏配分界

针对长序列自回归过程中粒子重要性权重随时间步呈指数衰减退化（Weight Degeneracy）的顽疾，算法维持 $M$ 个并行活跃粒子，在每个字符步监控有效样本量： $$\widehat{N} \stackrel{\text{def}}{=} \frac{\left(\sum_{m=1}^M w^{(m)}\right)^2}{\sum_{m=1}^M \left(w^{(m)}\right)^2}$$ 一旦 $\widehat{N} < \tau_{\text{res}} \cdot M$（实验中阈值设为 $0.9 \cdot M$），即触发基于归一化权重的多项式重采样，将高势能粒子复制分化、淘汰低权重粒子，并将所有粒子重置为等权重。算法终止时输出样本不仅能在大样本极限下弱收敛到真实全局后验 $\Phi(\bm{x})$，而且其归一化常数估计量 $\widehat{Z} = \frac{1}{M}\sum_{m=1}^M w^{(m)}$ 是真实配分函数 $Z$ 的严格无偏估计，其对数期望 $\mathbb{E}[\log \widehat{Z}]$ 构成证据下界（ELBO），为评估推断质量提供了可严密观测的统计标尺。

实验关键数据¶

主实验¶

评估在三个具有精确客观校验标准的结构化生成基准上开展：JSON Schema（GlaiveAI 规范合规性校验）、Big-Bench Hard（Word Sorting 字典序排序）与 SPIDER（Text-to-SQL 数据库执行准确率）。基座模型涵盖 Qwen2.5-7B-Instruct、phi-4 (14B) 与 Llama-3.1-8B-Instruct。评估指标采用在集成后验分布 $\Phi$ 下的期望准确率（Expected Accuracy, %），在 5 个随机种子下测定均值与 95% 置信区间。

任务 / 数据集	基座模型组合	最佳单Prompt基线	局部概率平均 (Local Avg)	本文 SMC 最优集成 (Token / Byte)	显著性提升 / 结论
JSON Schema	Qwen (同模型异Prompt)	95.6 ± 0.8	95.2 ± 3.2	96.0 ± 0.2 (Product, M=10)	突破单Prompt瓶颈，方差大幅收敛
JSON Schema	Phi (同模型异Prompt)	83.5 ± 1.9	82.0 ± 4.7	87.8 ± 0.8 (min, M=25)	相比局部平均 +5.8%，超越单基线
JSON Schema	Llama (同模型异Prompt)	86.3 ± 1.6	83.4 ± 3.5	89.1 ± 0.4 (min, M=25)	相比单基线提升 +2.8%，无重叠 CI
BBH (Word Sort)	Qwen (同模型异Prompt)	13.9 ± 1.0	9.6 ± 3.0	15.3 ± 2.0 (min, M=10)	局部平均严重劣化(-4.3%)，SMC实现正向增益
BBH (Word Sort)	Phi (同模型异Prompt)	27.7 ± 1.2	25.8 ± 5.8	28.6 ± 1.0 (min, M=25)	相比局部平均提升 +2.8%
BBH (Word Sort)	Llama (同模型异Prompt)	38.6 ± 1.5	41.2 ± 6.5	42.7 ± 0.6 (min, M=25)	显著优于局部平均且置信区间极窄
SPIDER (SQL)	Qwen (同模型异Prompt)	53.6 ± 1.0	45.6 ± 3.7	51.2 ± 1.8 (min, M=10)	局部平均暴跌(-8.0%)，SMC大幅挽回差距
SPIDER (SQL)	Phi (同模型异Prompt)	34.5 ± 1.7	28.4 ± 4.8	36.0 ± 3.4 (Best Local f-Ens)	共识算子显著超越单Prompt与概率平均
SPIDER (SQL)	Llama (同模型异Prompt)	38.4 ± 1.8	39.4 ± 6.3	43.6 ± 3.4 (Best Local f-Ens)	相比单基线净增 +5.2%
SPIDER (SQL)	Qwen + Llama (跨模型跨分词)	53.6 ± 1.0 (Qwen P2)	- (词表不兼容)	55.5 ± 1.1 (Byte SMC, M=10)	突破最佳单模型上限，实现跨架构协同
BBH (Word Sort)	Phi + Llama (跨模型跨分词)	38.6 ± 1.5 (Llama P1)	- (词表不兼容)	41.1 ± 1.0 (Byte SMC, M=10)	跨模型异构集成大幅超越最强单模型

消融实验¶

表 4 与表 6 深入分析了不同广义均值算子族谱（共识导向 vs. 覆盖导向）以及推断质量对集成性能的影响。下表以 BBH (Word Sorting) 与 SPIDER (Text-to-SQL) 上的 Llama 模型同架构双 Prompt 实验（粒子数 $M=10$）为例展现消融对比：

集成算子配置 ($\tau$)	理论散度约束 $D_\alpha$	BBH 期望准确率 (%)	SPIDER 期望准确率 (%)	逼近质量相关系数 ($\rho_{\log \widehat{Z}}$)	行为模式说明
min 集成 ($\tau \to -\infty$)	Rényi-$\infty$ ($D_\infty$)	42.3 ± 0.9	41.9 ± 1.4	+0.22 (BBH) / +0.09 (SPIDER)	极度共识导向，仅保留两专家完全重合的高置信序列
Product 乘积 ($\tau = 0$)	向后 KL ($D_{\text{KL}}(\Phi \mid\mid p_k)$)	40.9 ± 0.7	41.7 ± 1.7	+0.28 (BBH) / +0.16 (SPIDER)	几何加权共识，平衡联合概率质量与锐度
Mixture 混合 ($\tau = 1$)	向前 KL ($D_{\text{KL}}(p_k \mid\mid \Phi)$)	37.4 ± 0.7	38.2 ± 1.6	-0.05 (BBH) / -0.02 (SPIDER)	覆盖导向，期望准确率严格受限于基模型均值
max 集成 ($\tau \to +\infty$)	Rényi-$\infty$ ($D_\infty(p_k \mid\mid \Phi)$)	34.7 ± 1.4	37.9 ± 1.7	-0.14 (BBH) / +0.04 (SPIDER)	极度覆盖导向，受单一分支噪声污染最严重

关键发现¶

共识导向（Consensus）完胜覆盖导向（Coverage）：以 min 和 Product 为代表的 $\tau \le 0$ 集成在所有模型和任务上稳定超越 Mixture ($\tau=1$) 和 max ($\tau=+\infty$)。Mixture 集成的期望准确率在理论上被严格证明上界为各基模型准确率的凸组合，当基模型间存在性能鸿沟时，概率平均必然被较弱模型拉垮；而共识算子能够有效过滤单一分支的错误分支。
推断质量与任务准确率的正相关性：对于共识导向算子，样本级对数配分估计量 $\log \widehat{Z}$（衡量 SMC 采样分布与真实全局目标后验的接近程度）与期望准确率呈显著的中高正相关（Spearman $r$ 最高达 0.31），说明增加粒子数或改善提议分布带来的后验逼近提升，能切实转化为模型在严苛任务上的准确率增长。相反，在覆盖算子中，后验逼近质量与准确率呈现微弱甚至负相关。
粒子扩展边际效应收敛：在粒子消融实验中，后验近似质量在 $M=10 \sim 25$ 时迅速达到饱和平台期，表明采用 10 个粒子即可在有限计算开销下捕获绝大多数全局后验收益。

亮点与洞察¶

理论奠基完备：将启发式的解码时模型集成统一纳入信息几何的 $\alpha$-散度变分框架，清晰揭示了 Product-of-Experts（共识交集）与 Mixture-of-Experts（覆盖并集）在离散序列生成上的本质对偶性与行为边界。
全局后验与局部贪心的纠偏机制：Prompt 交叉实验深刻揭示了自回归贪心集成的“短视”陷阱——局部乘积倾向于在前序词步偏向通用的低信息高频词（如“a great guy”），而全局 SMC 能借助前缀整形和重采样回溯机制，驱动搜索空间真正沉淀在全局联合高概率解（如“Carl Sagan”）。
无须微调的即插即用跨架构协同：完全不依赖共享隐空间重训练或词表对齐 heuristic，仅通过底层字节测度空间与序贯采样，实现了 Qwen-7B、Phi-4 与 Llama-8B 异构模型之间的端到端并行协作，并在 SPIDER 和 BBH 上突破单一最强模型上限。

局限与展望¶

推断延迟与算力开销：SMC 维持多粒子并行跟踪与逐步重采样带来了显著的推理时间倍增。Token 级 SMC（$M=10$）的每样本延迟约为局部集成的 6-7 倍；而在字节级 SMC 下，因序列长度膨胀数倍且需对底层 token 组合测度求和，单样本耗时达到数十至上百秒，目前难以应用于严苛低延迟场景。
专家规模局限：本文的核心实证聚焦于 $K=2$ 的成对模型集成，虽然数学形式天然支持任意 $K>2$，但在更大规模专家集群下共识算子可能面临支撑集交集退化或过锐化问题，多专家联合动态加权机制有待拓展。
任务形式局限：目前验证集中在带有严密格式要求的结构化生成（JSON/SQL/排序）任务，该类任务对多步约束与精确交集极其敏感；在开放式对话、长文创作等开放发散任务中的效能尚待探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从信息几何 $\alpha$-散度最优化导出大模型广义均值集成族，并引入字节级 SMC 解决全局后验一致性采样。
实验充分度: ⭐⭐⭐⭐ 覆盖异构三大主流开源模型家族、同模型双Prompt与跨模型跨分词器对比，消融实验提供了详尽的统计显著性与相关性检验。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密优雅，概念动机清晰，图表与实验分析紧密呼应。
价值: ⭐⭐⭐⭐ 澄清了困扰自回归集成领域的“局部平均瓶颈”，为高可靠性结构化推理与多智能体共识决策提供了坚实的理论基准。

集成算子配置 (\(\tau\))	理论散度约束 \(D_\alpha\)	BBH 期望准确率 (%)	SPIDER 期望准确率 (%)	逼近质量相关系数 (\(\rho_{\log \widehat{Z}}\))	行为模式说明
min 集成 (\(\tau \to -\infty\))	Rényi-\(\infty\) (\(D_\infty\))	42.3 ± 0.9	41.9 ± 1.4	+0.22 (BBH) / +0.09 (SPIDER)	极度共识导向，仅保留两专家完全重合的高置信序列
Product 乘积 (\(\tau = 0\))	向后 KL (\(D_{\text{KL}}(\Phi \mid\mid p_k)\))	40.9 ± 0.7	41.7 ± 1.7	+0.28 (BBH) / +0.16 (SPIDER)	几何加权共识，平衡联合概率质量与锐度
Mixture 混合 (\(\tau = 1\))	向前 KL (\(D_{\text{KL}}(p_k \mid\mid \Phi)\))	37.4 ± 0.7	38.2 ± 1.6	-0.05 (BBH) / -0.02 (SPIDER)	覆盖导向，期望准确率严格受限于基模型均值
max 集成 (\(\tau \to +\infty\))	Rényi-\(\infty\) (\(D_\infty(p_k \mid\mid \Phi)\))	34.7 ± 1.4	37.9 ± 1.7	-0.14 (BBH) / +0.04 (SPIDER)	极度覆盖导向，受单一分支噪声污染最严重